FluentdとAWSを使ったログの運用

FluentdとAWSを使ったログ運用 2014/04/05 JAWS-UG 千葉支部 vol3 泉谷圭祐（@syguer）

自己紹介 • 名前泉谷圭祐 • 所属 • TIS株式会社 IT基盤サービス企画室 • eXcale（https://www.excale.net/）の中の人 • 好きなAWSのサービス • Route 53 • SNS • Twitter @syguer • Facebook https://www.facebook.com/keisuke.izumiya

突然ですが、

こんなことありませんか？

あとで大事な領収書が…

・Immutable Infrastructure ・Auto Scale

ポイ捨ての時代

大事なものはちゃんととっておく

Fluentd • Ruby製のコマンドラインツール • 設定が簡単、みかけの動作はシンプル

構成図

設定例

ﬂuentdの設定（1）

fluentdの設定（1） # Input <source> type tail path /var/log/messages format syslog pos_file /var/log/fluentd/messages.pos tag messages </source> # Output <match messages> type forward send_timeout 60s recover_wait 10s heartbeat_interval 1s phi_threshold 8 hard_timeout 60s <server># <= 送信先サーバーの指定 name log_proxy host 192.168.1.1 port 24224 </server> </match>

ﬂuentdの設定（2）

ﬂuentdの設定（2） # Input <source> type forward port 24224 bind 0.0.0.0 </source> # Output <match messages> type s3 aws_key_id ACCESS_KEY aws_sec_key SECRET_KEY path / ! s3_bucket BUCKET_NAME s3_endpoint END_POINT s3_object_key_format %{time_slice}%{path}_%{index}.%{ﬁle_extension} ! time_slice_format %Y/%m/%d/ time_slice_wait 10m store_as text </match>

lifecycleの設定

注意したい点

氷河は簡単には溶かせない

氷河は簡単には溶かせない • 一旦Glacierに入れてしまうと出すのに4時間ほどかかる • アーカイブする期限については検討が必要

HeartBeatがUDP

HeartBeatがUDP • ﬂuentdはforward先が生きているかudpで見ている • SecurityGroupの設定を足すか、ﬂuentdの設定にオプションを入れる必要あり heartbeat_type tcp # v0.10.31以降

Terminateするとログが消える

Terminateするとログが消える • ﬂuentdはシャットダウン時にバッファをﬂushするが、いわゆる電プチだとアウト • これを解決する方法は…

ごめんなさい

参考リンク・fluentdで始めるログ管理【基本編】 http://blog.excale.net/index.php/archives/1704 ! ・fluentdで始めるログ管理【フォワード設定まとめ】 http://blog.excale.net/index.php/archives/1997 ! ・これは便利！fluentdが更に便利になるfluent-plugin-forest http://blog.excale.net/index.php/archives/2506

CDP Log Aggregation パターン参考URL http://aws.clouddesignpattern.org/index.php/CDP:Log_Aggregation_%E3%83%91%E3%82%BF %E3%83%BC%E3%83%B3

クラウド時代のログ運用を始めよう

ご清聴ありがとうございました

http://dev.classmethod.jp	295
http://syguer.hatenablog.com	112
http://toatoshi.hatenablog.com	90
http://blog.excale.net	70
https://openlink.to	12
http://openlink.to	11
https://twitter.com	4
http://plus.url.google.com	1
http://feedly.com	1
https://54.249.80.26	1

FluentdとAWSを使ったログの運用

by Keisuke Izumiya, Working at ＴＩＳ on Apr 06, 2014

Statistics

Views

Actions

10 Embeds 597

Accessibility

Categories

Upload Details

Usage Rights

Report content

FluentdとAWSを使ったログの運用 Presentation Transcript