[デブサミ秋2015] 新卒入社エンジニアが２年間fluentdを運用して学んだ事いろいろ

3. Copyright © GREE, Inc. All Rights Reserved. グリーでの fluentd の利用方法 • サービスごとに数台のアグリゲーターを用意 • TreasureData や内製のHadoopクラスタにデータ転送 webサーバアグリゲーター Copyright © 2014 The Apache Software Foundation. Apache Hadoop, Hadoop, Apache, the Apache feather logo, and the Apache Hadoop project logo are either registered trademarks or trademarks of the Apache Software Foundation in the United States and other countries.

7. Copyright © GREE, Inc. All Rights Reserved. ログを追加しやすい設定例 • ログは基本的にJSONで • カラムの追加が容易 • アプリケーション側でtagをつけるようにする <source> type unix </source> 例１ <source> type tail format json path /path/to/log.json tag log </source> <match log> type rewrite_tag_filter rewriterule1 _tag ^(.+)$ db.$1 </match> 例２ tagとrecordを自由に渡せるレコード内でテーブルに相当するtagを指定する

9. Copyright © GREE, Inc. All Rights Reserved. プラグインをforkして改造しない • fluentdのバージョンアップに追従しづらくなる • 例1: 拡張 out_webhdfs • 問題点 • fluentdのバージョンアップ時にデータが壊れてしまった • 本家のアップデートをマージするのが大変だった • 対応 • 一部のメソッドに変更点をまとめることができた • WebHDFSOutput を継承するようにした

10. Copyright © GREE, Inc. All Rights Reserved. プラグインをforkして改造しない • fluentdのバージョンアップに追従しづらくなる • 例2: 拡張 in_tail • 昔のfluentdの時から使ってる( fluentd-0.10.35 以前 ) • 問題点 • 公式のtailに追加された機能を取り入れるのが難しい • 内製のパーサが動かなくなった • 対応 • どうしようもなかった • 割りきって使っている • 運用でカバー • テストをたくさん追加した

14. Copyright © GREE, Inc. All Rights Reserved. まとめ • fluentdの運用でこうした方が良いと思うこと • webサーバのfluentdの設定変更が少ない形にする • プラグインをforkして改造しない • ドキュメントを書く(自戒) • なるべく公開されているプラグインを使う • 追加機能は本家にコントリビュート • シンプルに使う • 困ったら#fluentdをつけてtwitterでつぶやくと吉 : )

[デブサミ秋2015] 新卒入社エンジニアが２年間fluentdを運用して学んだ事いろいろ

gree_tech