FluentdとDatadogの連携 (補足編)

すでにTreasure Dataさまに、英語で素晴らし記事を提供していただいているので、Datadog Agent 5.2以降を使ったFluentdの監視のための設定記事は、そのポストが日本語版に翻訳されて掲載されるの待つことにします。

今回のブログポストでは、現在ネット上に点在するFluentdとDatadogに関連する情報で、先のポスイトで十分表現されていない部分を補足したいと思います。

Datadog のFluentdインテグレーションの監視項目

インテグレーションの提供者である@takusさんのQiitaの「Datadog で Fluentd のバッファ監視をする方法」記事でも書かれているように、Datadogが公式に提供しているFluentdインテグレーションは、Fluentd本体の健康状態を把握する目的でバッファーの状況を把握する仕組みになっています。

具体的には、Fluentdの各種outputプラグインのretry_count, buffer_queue_length, buffer_total_queued_sizeをDatadog側で収集し、グラフ化したり、他のイベント事項と関連付けをして把握することで、予防的な視点でFluentdの健康状態を追跡するようになっています。

Fluentdで処理したログ情報のDatadogへの送信

Fluentd本体をDatadogから監視しているということは、Fluentdで処理している各種のログ情報をDatadog上で動的に可視化してインフラ全体の状況を把握するのも目的に含まれるのではないかと思います。

Fluentd側に組み込むDatadog Pluginに関して

この目的のために、Fluentdでのログの処理結果をDatadogへ送信するfluentdのpluginが次の2種類になります。

• fluent-plugin-dd
• fluent-plugin-datadog

前者と後者のpluginをざっと見比べてみると、以下のようになります。

上記の状況を見ると、現状では、特別な理由がない限りfluent-plugin-ddの選択で問題がないと思われます。

Fluentd側からメトリクスを送信するサンプル

Fluentdからメトリクスを送信しするには、いろいろな準備と方法があると思います。
次に紹介するブログを読むと、Fluentd側で必要な処理が理解できると思います。是非参考にしてください。

• fluentd 復習（1）〜 fluentd-plugin-datacounter と fluent-plugin-map や fluent-plugin-dd を使った可視化の例〜
• Fluentd で HTTP ステータスコードを集計して Datadog で可視化 or 監視する
• fluentdとDataDogでアクセスログをグラフ化

Datadogでは、全ての機能が体験できる14日間のフリートライアルを準備してしています。

Fluentdから出力されるメトリクスを動的に視覚化し、他のメトリクスやイベントと関連付けて、インフラの状況を把握しようと考えている場合は、Datadogを是非試してみてください。