logstash 1.1.1で複数のサーバからApacheログを収集する

前回の続き。 前回は同一サーバ上のApacheログを直接読み込んでlogstashに貯め込む構成を作ったので、今回は次のステップとして、複数サーバのApacheログをlogstashで収集する構成を作ってみる。 …といっても、まずはひとつのサーバ上で試してみることとする。 公式ページのCentralized Setup with Event Parsingを参考にする。 動作させるコンポーネントとデータの流れは、こんな感じ。 Figure.1 logstashのアーキテクチ...

Read More

logstash1.1.1でApacheのログを集めてみる

先日のfluentd+MongoDBに続き、OSSのログ収集＆検索ソリューション、logstashを試してみた。 前提と仕様 今回はひとまず、同一サーバ上のApacheのログを収集し検索することを目標とする。 環境はCentOS 5....

Read More

PMシンポジウム2012参戦レポ（2日目）

PMシンポジウム2012(2日目)のレポートです...

Read More

PMシンポジウム2012参戦レポ（1日目）

9月6日、PMシンポジウム2012(1日目)に行ってまいりました。 参加したセッションについてPostしておきます。 内容を詳細に書くのはとりあえず控えておいて、要点と感想を簡単...

Read More

fluentd+MongoDBで集めたApacheログの検索システムをRailsで試作

Apacheのアクセスログをfluentdで集めてきてMongoDBに突っ込んで、Webで検索するシステムの試作品を作ったので、作業ログを残す。 WebにはRuby on Railsを使うことにした。 Ruby on Railsのインストール手順は、本Postでは省略。 前提と仕様 今回はテスト用のため、fluentdで集めるのは同一サーバ上のApacheのアクセスログのみ。 環境はCentOS 5.5。 とりあえず、検索条件としてクライアントIPアドレスと期間を指定できるようにしてみる。検索条件の入力省略も許容する。 クライアントIPアドレスには正規表現を使えるようにす...

Read More