SITW24 fluentdとダッシュボードを使ったビジュアルなシステム管理

fluentdとダッシュボードを使ったビジュアルなシステム管理 SITW24 2014-07-26 諸星佑樹 @hoshi_sano

おおまかな流れ • 背景 • ビジュアルなシステム管理はなぜ必要か • fluentdとは何か • Fluentdによる収集データの視覚化デモ

背景クラウドな時代 →個人/サービス単位で利用するホスト数の増加

背景インフラ構築、デプロイの自動化の重要性↑ 例） Chef, Capistrano, …etc

背景監視対象はたくさんあるログ、CPU/メモリ使用率、各センサー値、…etc

背景ただでさえ大変なのに、台数増えたらたまんないよ！監視もなるべくシンプルにしたい！ (;ω;)

http://www.fluentd.org/architecture より

fluentdで！

http://www.fluentd.org/architecture より

fluentdとは • (準)リアルタイムデータ収集システム • Treasure Data • ビッグデータのクラウドサービス • Ruby製 • gem版: fluentd • パッケージ版: td-agent • 中身は同じ

fluentdの特徴 • JSON & msgpack • 高速・コンパクト • プラガブル Pluggable • さまざまなプラグインが多くの人の手によって開発されている • プラグインリスト • Routing, Retry, Scalable, …

データ構造 • tag (文字列) • time (epoch) • record (JSON) ‚syslog‛ 1405924812 { ‚host‛: ‚myPC‛, ‚ident‛: ‚kernel‛, ‚message‛: ‚…‛ }

fluentdのデータの流れ Input Plugin Engine Input Plugin Output Plugin Output Plugin （かなり雑に…）ホントはここに Buffer Pluginもいるけど割愛

fluentdのデータの流れ Input Plugin Engine Input Plugin Output Plugin Output Plugin tag time record tag time record tag time record data chunk 別のfluentdからデータが流れてきたりポーリングしたり

fluentdのデータの流れ Input Plugin Engine Input Plugin Output Plugin Output Plugin tag time record tag time record タグを見てどのOutput Pluginを使うか判定

fluentdのデータの流れ Input Plugin Engine Input Plugin Output Plugin Output Plugin tag time record tag time record tag time record chunk tagやrecordを書き換えて engineに戻すものも。 Filter系のOutput Plugin 別のfluentdへデータを送ったり、ストレージにデータを書き込んだり

Input と Output の組み合わせでいろんな応用が可能！

今日の主題統一＆視覚化

GrowthForecast

Elasticsearch + Kibana

共通点 client API storage graph user process

共通点 client API storage graph user process GrowthForecast

共通点 client API storage graph user process Elasticsearch Kibana

デモ環境 agent1(VM) ホストマシン agent2(VM)

GrowthForecastデモ目指すもの

dstat • サーバのリソース状況を取得するコマンド • fluentdで送受信可能な形式に • →GrowthForecastでグラフ化

fluent-plugin-dstat <source> type dstat tag dstat option -cm delay 1 </source> <match dstat> type stdout </match> 取得したデータにはこのタグをつけます dstat実行時のオプションを指定しますとりあえず出力してみます

fluent-plugin-dstatで得られたもの dstat { "hostname":‚agent1", "dstat":{ "total cpu usage":{ "usr":"0.215", "sys":"0.436", "idl":"99.301", "wai":"0.033", "hiq":"0.0", "siq":"0.017" }, "memory usage":{ "used":"77672448.0", "buff":"12271616.0", "cach":"40595456.0", "free":"256532480.0" } } } タグ • 値はちゃんと取れてる • でもGrowthForecastが期待するデータ構造になってない • 厳密には、GrowthForecastへデータを送るためのPluginが期待するデータ構造でない • ネストしてるのがダメ

fluent-plugin-map <match dstat> type copy <store> type map tag ‚dstat.agent1.cpu" time time record record['dstat']['total cpu usage'] </store> <store> type map tag ‚dstat.agent1.mem" time time record record['dstat']['memory usage'] </store> </match>

fluent-plugin-map dstat { "hostname":‚agent1", "dstat":{ "total cpu usage":{ "usr":"0.215", "sys":"0.436", "idl":"99.301", "wai":"0.033", "hiq":"0.0", "siq":"0.017" }, "memory usage":{ "used":"77672448.0", "buff":"12271616.0", "cach":"40595456.0", "free":"256532480.0" } } } dstat.agent1.cpu { "usr":"0.215", "sys":"0.436", "idl":‚99.301", "wai":"0.033", "hiq":"0.0", "siq":"0.017" } dstat.agent1.mem { "used":"77672448.0", "buff":"12271616.0", "cach":"40595456.0", "free":"2565322480.0" }

GrowthForecastへのデータストア $ curl -F number=10 ¥ http://gfhost:5125/api/service/section/graph JSONを投げると自動でグラフ化

fluent-plugin-growthforecast <match dstat.**> type growthforecast gfapi_url http://localhost:5125/api/ service dstat-demo tag_for section remove_prefix dstat name_key_pattern .* </match> http://gfhost:5125/api/service/section/graph dstat.agent1.mem { "used":"77672448.0", "buff":"12271616.0", "cach":"40595456.0", "free":"2565322480.0" } タグをsectionに使うけどもタグからdstat を除去します

GrowthForecast簡単で便利！ …だけど最近はあまり流行ってない？ • 数値しか受け付けない • 再利用性がちょっと低い • JSONでグラフデータをエクスポートする機能はあるけど

fluentd + GrowthForecast参考情報 • GrowthForecast を CentOS 6.3 にインストールして Supervisor で管理してみた • GrowthForecastというグラフ表示ツールで捗る話 • dstatをfluentd + GrowthForecastで可視化する

Elasticsearch + Kibana デモ目指すもの

Elasticsearch • 高速スケーラブル検索エンジン • REST APIによるデータ操作 • スキーマレス • 各フィールドの型は自動で決定 • 「ちょっと試す」のが簡単 • zip/tar.gzを展開するだけですぐ使える

Elasticsearch $ bin/elasticsearch [-d] [-p] 起動 $ curl -X PUT ¥ http://localhost:9200/blog/article/1 -d ¥ '{"title": "First Aritcle", "content": "This is my 1st article.", "tags": [‚tips", "elasticsearch"]}' APIでデータストア

Elasticsearch $ curl -X PUT ¥ http://localhost:9200/blog/article/1 -d ‘{...}’ インデックス ≒ RDBのテーブルドキュメント ≒ RDBのレコードインデックスドキュメント ID

Kibana • Elasticsearchをバックエンドとしたログ視覚化ツール • HTML、CSS、JSなどで構成 • webサーバに置けばすぐ使える

fluent-plugin-elasticserach <smatch dstat.**> type elasticsearch host 127.0.0.1 port 9200 type_name dstat logstash_format true logstash_prefix dstat logstash_dateformat %Y%m%d include_tag_key true tag_key _key </match> この設定でGrowthForecastのデモで使ったデータをそのまま Elasticsearchにストアできる Kibanaは元々logstashというログ収集ツールのフロントエンドだったため、 logstashのフォーマットと親和性が高い

• Elasticsearch + Kibanaでできることはデータのグラフ化だけではない • クエリによるsyslogやapachelogのフィルタリング、時間毎のカウントなども可能 • だけど… • GrowthForecastほどのお手軽感はない • 扱えるものが増えるのでそりゃ当たり前なんだけど • 便利でかっこいいダッシュボードを作るには作りこみが必要

fluentd + Elasticsearch + Kibana 参考情報 • fluentd + Elasticsearch + Kibanaで始めるログ解析 • Kibana入門 • Kibana3を環境構築だけで終わらせない (前編)(後編)

応用編詳細は話しませんが… Zabbixとの連携(fluent-plugin-zabbix) Norikra(stream processing with SQL) アラート(有料サービス, IRC, mail, …) ネットワーク監視(fluent-plugin-network-probeなど)

SITW24 fluentdとダッシュボードを使ったビジュアルなシステム管理

by Yuki Morohoshi, Working at 株式会社ネットワーク応用通信研究所(NaCl)

on Jul 27, 2014

Statistics

Views

Actions

2 Embeds 4

Accessibility

Categories

Upload Details

Usage Rights

Report content