2012年9月12日水曜日

logstash 1.1.1で複数のサーバからApacheログを収集する

Posted on 9/12/2012 by  with No comments
前回の続き。
前回は同一サーバ上のApacheログを直接読み込んでlogstashに貯め込む構成を作ったので、今回は次のステップとして、複数サーバのApacheログをlogstashで収集する構成を作ってみる。
…といっても、まずはひとつのサーバ上で試してみることとする。

公式ページのCentralized Setup with Event Parsingを参考にする。

動作させるコンポーネントとデータの流れは、こんな感じ。
Figure.1 logstashのアーキテクチャ

2012年9月11日火曜日

logstash1.1.1でApacheのログを集めてみる

Posted on 9/11/2012 by  with No comments
先日のfluentd+MongoDBに続き、OSSのログ収集＆検索ソリューション、logstashを試してみた。
前提と仕様
今回はひとまず、同一サーバ上のApacheのログを収集し検索することを目標とする。
環境はCentOS 5.5。

2012年9月7日金曜日

PMシンポジウム2012参戦レポ（1日目）

Posted on 9/07/2012 by  with No comments
9月6日、PMシンポジウム2012(1日目)に行ってまいりました。
参加したセッションについてPostしておきます。
内容を詳細に書くのはとりあえず控えておいて、要点と感想を簡単に。
Posted in 

fluentd+MongoDBで集めたApacheログの検索システムをRailsで試作

Posted on 9/07/2012 by  with No comments
Apacheのアクセスログをfluentdで集めてきてMongoDBに突っ込んで、Webで検索するシステムの試作品を作ったので、作業ログを残す。
WebにはRuby on Railsを使うことにした。
Ruby on Railsのインストール手順は、本Postでは省略。
前提と仕様
今回はテスト用のため、fluentdで集めるのは同一サーバ上のApacheのアクセスログのみ。
環境はCentOS 5.5。
とりあえず、検索条件としてクライアントIPアドレスと期間を指定できるようにしてみる。検索条件の入力省略も許容する。
クライアントIPアドレスには正規表現を使えるようにする。
登録: 投稿 (Atom)