Transcript

• 1. Log Collect with Google-fluentd
• 2. 前置
• 3. Purpose? 携帯端末(iOS/Android)の操作ログを収集 操作ログはjson形式 解析基盤は、Google Cloud Logging + Big Query を利用
• 4. Why Big Query? SQL！ json構造体に対してSQL発行 権限制御されたwebインターフェース ストリーミングインサート！ ログバッファ容量にやさしい ストレージ価格が安い！(TB/月) Microsoft Azure Standard Storage / 約2,500円 Amazon S3 / 約3,300円 Amazon Redshift dw2.large(160GBytes SSD) / 22,600 円 Google BigQuery / 約2,000円
• 5. sums it up クライアント httpでサーバーに対し、jsonデータをポスト サーバー Fluentdのin-httpでデータ受信 Google Cloud Loggingでログ確認 Google Big Queryでビッグデータ解析 Simple!!
• 6. 全体像
• 7. OVERVIEW Cloud Logging Big QuerySmart Phone HTTP Protocol json format fluent-plugin- google-cloud Streaming Insert in Compute Engine ② ① ③ ④
• 8. ①-1.Google-fluentd Google Compute Engineで稼働するfluentd インストール方法はこちら https://cloud.google.com/logging/docs/install/com pute_install td-agent 2.1.2 相当？ root@td-agent01:/etc/google-fluentd# /usr/sbin/google-fluentd -- version google-fluentd 0.10.57
• 9. ①-2.Google-fluentd Setting 使用感はfluentdと変わらない configは/etc/google-fluentd/google-fluentd.conf root@td-agent01:/etc/google-fluentd# ls -al /etc/google-fluentd/ total 78236 drwxr-x--- 5 root root 4096 Dec 2 21:25 . drwxr-xr-x 94 root root 4096 Feb 16 06:44 .. drwxr-x--- 2 root root 4096 Dec 2 21:19 catch-all-inputs.d -rw-r--r-- 1 root root 80071266 Feb 16 06:18 google-fluentd_1.1.1-0_amd64.deb -rw-r----- 1 root root 1021 Dec 1 22:53 google-fluentd.conf -rw-r----- 1 root root 11324 Nov 19 23:56 LICENSE drwxr-xr-x 2 root root 4096 Feb 16 06:18 pkg drwxr-xr-x 2 root root 4096 Feb 16 06:19 plugin -rw-r----- 1 root root 249 Nov 20 18:25 README.md 起動停止はserviceコマンドで root@td-agent01:/etc/google-fluentd# service google-fluentd restart * Restarting google-fluentd google-fluentd
• 10. ①-3.Google-fluentd Custom in_HTTPプラグインを起動させてみる TCP Port:8888でサーバーが起動 root@td-agent01:/etc/google-fluentd# cat << EOF > /etc/google- fluentd/catch-all-inputs.d/in_http.conf <source> type http port 8888 bind 0.0.0.0 body_size_limit 32m keepalive_timeout 10s </source> EOF root@td-agent01:/etc/google-fluentd# service google-fluentd restart * Restarting google-fluentd google-fluentd
• 11. ②.Client HTTP通信でjsonを投げ込む $ curl -X POST -d 'json={"message":"test_message3"}' http://***.***.***.***:8888/test Keyが「message」の部分のみ取り込まれる 理想：（できない） curl -X POST -d ‘json={“action”:“login”,“user”:2}’ http://***.***.***.***:8888/test 現実：（messageだけ入る） curl -X POST -d 'json={"message":"test_message2","id":"001"}' http://***.***.***.***:8888/test
• 12. ③-1.Google Cloud Logging? Google App Engine & Google Cloud Engineでの ログを確認するツール 無料 GUIでの簡単な検索機能 Fluentタグでの絞り込み BigQuery & Cloud Storageへの連携機能 2015年2月現在αリリース
• 13. ③-2.Cloud Logging Interface
• 14. ③-3.Cloud Logging Interface Search Log Data Fluentd tag
• 15. ③-4.How to Send BigQuery? Very Simple!!
• 16. ④. Confirm BigQuery 完了!!
• 17. 所感
• 18. Impression Cloud Logging ⇒ BigQuery連携は、テーブルが 存在しない場合は自動作成される Fluentdのtagでフィルタできるので便利 既存の知識が使えるので、難易度は低い