可視化ツールのことがよくわからなかったので、現状確認会を開催しました。
可視化ツール現状確認会 on Zusaar http://www.zusaar.com/event/7437003
LTのスライド&ブログまとめ
あがっているものから随時更新します。
可視化ツール紹介 (showyouさん)
可視化ツール現状確認会でDISってきました #可視化 - White scenery @showyou, hatena http://showyou.hatenablog.com/entry/2014/06/05/003432
Mackerel と Graphite について (y_uuk1さん)
Mackerel を使ったサーバメトリクス可視化の背景っぽいやつ #可視化 - ゆううきブログ http://yuuki.hatenablog.com/entry/mackerel-based-server-metrics-visualization
Kibana & Grafana & Influga (hakoberaさん)
InfluxDBのフロントエンドであるInflugaの紹介をしていただきました。また、Kibana / Grafanaとの比較もありました。InfluxDBへのクエリ例なども紹介していただきました。
可視化とは何だったのか (harukasanさん)
可視化ツール現状確認会に参加してきました。 #可視化 - BLOG.harukasan http://blog.harukasan.jp/entry/2014/06/05/105205
harukasan、エモかったです。
あなたの知らないrrdtool (shoichimasuharaさん)
RRDtoolの職人芸を見ました・・・。
D3.jsとジオマッピング (Takaki_さん)
D3.jsでのジオマッピングの取り扱いについて紹介していただきました。Geoデータを扱うためのJSON形式についての紹介も。
mbostock/topojson https://github.com/mbostock/topojson
Zipkinについて (synkさん)
Zipkinでのモニタリングについて紹介していただきました。
Graphiteについて (mickey19821 さん)
Graphiteの運用についての話でした。
雑感とか所感とか雑談した内容とか
今日は話聴いてて思ったのは、 @harukasan の話にもあったんだけど、やっぱりどこのレイヤーでツールをあてはめるか、という点だと思う。すっとまだ環境が整備されていない状況で時系列にメトリクスを作りたいならGrowthForecastみたいにカジュアルにグラフをつくれる(続
— Kenta Suzuki (@suzu_v) 2014, 6月 4
承前)のは、やっぱり活きる場面があると思う。ただ今日の話というのは監視をスケーラブルにやるとか、長期間のログをどこまでいわゆる可視化ツールのレイヤーで保持し、閲覧できるようにするかという話が加わっている。場面によってはやはり、Kibana+ ESだとフルスタックすぎると思ってる。
— Kenta Suzuki (@suzu_v) 2014, 6月 4
承前)で、時系列DBをうまく使おうという話やZipkinみたいな仕組みがあって、これを当てはめていく。んだけど、結局HadoopのレイヤとかMPPでやればいいよねっていう話がある。これはレイヤの違いの話で、モニタリングと分析のレイヤをごっちゃにすると齟齬が起きる。
— Kenta Suzuki (@suzu_v) 2014, 6月 4
ある程度リアルタイムに何かを見ようとするなら、サンプリングしてリッチなストアに載せるか、ストリームで処理して事前にWindow関数的なものをかませてしまうか、という手段が効率敵だと思ってる。
— Kenta Suzuki (@suzu_v) 2014, 6月 4
という点で、各社いろんな状況の話が聴けたので有意義だったなぁと思うのでした
— Kenta Suzuki (@suzu_v) 2014, 6月 4
結局見せるレイヤはD3なりRRDtoolなりの職人が必要だし、どういうデータをどこに渡すかというのをデザインする必要もあるし、万能なツールは無い。けど、状況によってコスト効率よく使える手段があるのは確かだし、やりたくないならSaaSつかってもいいし、使い分ければいいよね感はある
— Kenta Suzuki (@suzu_v) 2014, 6月 4
それと、弊社ではElasticsearch + Kibanaを運用してます。Elasticsearchの負荷が大変だったりするので、プロキシを挟んでいます。
Kusabana http://voyagegroup.github.io/kusabana/
Kusabanaはインターンの @rail44 *1が書いたツールです。memcachedにキャッシュさせてます。Kibanaからのクエリだとauto-refreshでtime rangeが変動してしまったりするんですが、そのへんをいい感じにするようにしてたりします。それと、クエリによってキャッシュ時間を変えることもできたりします。パッチ歓迎です。
その他
- lightningケーブルの忘れ物を預かっております。心当たりの方は @suzu_v まで連絡ください。
- 次回は寿司?
*1:彼は将棋好きなプロキシエンジニアです。