Amazon Elasticsearch Serviceを使ったログ収集基盤の構成を考えてみた
みなさんこんにちは。@ryuzeeです。 6月10日にAmazon Web Services企業導入ガイドブックが発売になっていますのでよろしくお願いします。
さて今回はAWS上でログ収集と分析をする際に、Amazon Elasticsearch Serviceを使う前提とした場合だとどのような構成案がありそうかいくつか考えてみたのでご紹介します。
なお、検討の材料にしている全体の構成としては、複数のVPC(またはAWSアカウント)があって、さらにオンプレ側とDirect ConnectやInternet VPNで接続しているような、よくあるそれなりの規模の構成になります。 各VPCの中には複数のサブネットがあり、そのうちのいくつかはプライベートサブネットに分かれているものとします(個人的にはインターネットゲートウェイの有無しか違いがないので、プライベートサブネットあまり作りたくない)。
構成パターン1：FluentdのAggregatorを利用する
定番のログ集約用のAggregatorを用意する例。Amazon Elasticsearch ServiceはVPC外のサービスでアクセスするには、インターネットに繋がらないといけない(実際にはAWSの中で折り返し)ので、Aggregatorはパブリックサブネットに配置します。それぞれのVPCやアカウントとはVPCピアリングで直結し、AggregatorまではローカルIPでアクセスする形になります。 Aggregator側からAmazon Elasticsearch Serviceにデータを登録するためには、fluent-plugin-aws-elasticsearch-serviceプラグインを利用します。 またここで併せてログをS3に保存したければ、fluent-plugin-s3を併用すれば良いでしょう。
この構成のメリットは以下のとおりです。
- Aggregatorまでの転送は定番なやり方で、既存のやり方と大きく変える必要がない
- Elasticsearch側へのデータ反映までのタイムラグが少ない
- ネットワーク的な経路を迷う必要がない
- データ加工を色々やりたければ、ProcessorのノードをEC2で作ることもでき、このあたりも今までと変わらない
一方で以下の点については考慮が必要です。
- Aggregatorの可用性。複数台で構成することもできるが、EC2のインスタンスを自前で運用しないといけない
- EC2の料金のインパクト
構成パターン2：S3 + Lambdaを利用する
こちらの例はEC2を使わずに実現する例。各サーバのFluentdでfluent-plugin-s3を利用し、指定したS3のバケットにログをためていきます。プライベートサブネットからの場合はプロキシを通します。 Lamdaでは、S3のバケットにファイルが作られたら、そのイベントをトリガーにしてLambda Functionを起動し、データをElasticsearch側に登録します。詳細なやり方についてはAWSのサイトでも紹介されています。
この構成のメリットは以下のとおりです。
- EC2がないので運用としては楽
- データ加工をしたい場合もLambdaである程度自由にできる
- S3のライフサイクルポリシーを使えば古いログを自動でアーカイブできる
一方で考慮点としては以下が挙げられます。
- 一旦S3にファイルを出力し、それをトリガーにするのでデータ反映までのタイムラグは多少増える(flush_intervalの設定による)
- flush_intervalを短く設定すると、大量のファイルがS3上に作られてしまう
- Lambdaのデバッグはちょっと面倒
構成パターン3: Kinesis Streamsを利用する
Kinesis Streamsは、次々と送られてくる大量のデータをリアルタイムで集めてくれる土管のようなサービスです（Kinesis Firehoseは同じような感じでS3などにファイルを溜めてくれるサービスですが東京にはまだありません）。 各サーバからKinesis Streamsにログを送り続けて、そのデータをKinesis App(EC2上に実装)やLambdaを使って順番に処理していく形になります。 なお、fluentdのプラグインは、fluent-plugin-kinesisとなり、こちらもプロキシに対応しているので、プライベートサブネットからの場合はプロキシ経由にします。
この構成のメリットは以下のとおりです。
- Kinesis Streams自体が大量データのリアルタイム収集を目的として作られている
- 従って構成パターン2に比べてタイムラグを減らせる
- データの処理にLambdaを使う場合は、EC2が不要になり運用は楽
一方で考慮点としては以下が挙げられます。
- Kinesis AppをEC2上に作ると運用がめんどくさい
- Lambdaで作った場合は構成パターン2と同様にデバッグがちょっと面倒
- S3にも保存しておきたい場合は、別のやり方と併用する必要がある
まとめ
さてどれがいいでしょうねぇ…
著作
著者／訳者：荒木靖宏, 大谷晋平, 小林正人, 酒徳知明, 高田智己, 瀧澤与一, 山本教仁, 吉羽龍太郎
出版社：マイナビ出版( 2016-06-10 )
定価：￥ 2,797
AWSを企業に導入する際に知っておくべきAWSサービスの全貌から、セキュリティ概要、システム設計、導入プロセス、運用までをまとめた書籍。操作の仕方ではなくどのように導入していくかの考え方や設計方法に焦点をあてています
著者／訳者：Jimmy Janlén / 原田騎郎, 吉羽龍太郎, 川口恭伸, 高江洲睦, 佐藤竜也
出版社：Leanpub( 2016-04-12 )
定価：$14.99
この本は、チームの協調とコミュニケーションを改善したり、行動を変えるための見える化の実例を集めたものです。96個(+2)の見える化の方法をそれぞれ1ページでイラストとともに解説しています。アジャイル開発かどうかに関係なくすぐに使えるカタログ集です
著者／訳者：原田騎郎 安井力 吉羽龍太郎 角征典 高木正弘
出版社：オライリージャパン( 2016-03-25 )
定価：￥ 2,138
チームの仕事や課題を見える化する手法「カンバン」について、その導入から実践までを図とともにわかりやすく解説した書籍です。カンバンの原則や流れの管理などの入門的な事柄から、サービスクラス、メトリクスの使用、プロセスの改善など、一歩進んだ応用的な話題までを網羅的に解説します。カンバンを一から学びたい、組織で使ってみたいと考える方に最適な実践的な入門書です。
サーバ/インフラエンジニア養成読本 DevOps編 [Infrastructure as Code を実践するノウハウが満載! ]
著者：吉羽龍太郎 新原雅司 前田章 馬場俊彰
出版社：技術評論社( 2016-02-26 )
定価：￥ 2,138
DevOpsの基本と主にツール面からの解説。Ansibleによるサーバ管理、CircleCIでの継続的インテグレーションフロー、Dockerの話まで幅広いトピックを扱っています
著者／訳者：西村直人 永瀬美穂 吉羽龍太郎
出版社：翔泳社( 2013-02-13 )
定価：￥ 2,520
スクラム初心者に向けて基本的な考え方の解説から始まり、プロジェクトでの実際の進め方やよく起こる問題への対応法まで幅広く解説。マンガと文章のセットでスクラムを短期間で理解できます。スクラムの概要を正しく理解したい人、もう一度おさらいしたい人にオススメ。
著者／訳者：渡辺 一宏 吉羽 龍太郎 岸田 健一郎 穴澤 康裕
出版社：インプレス( 2014-09-19 )
定価：￥ 4,320
Webアプリケーション開発における継続的インテグレーションについて、CakePHPのサンプルをベースにして、その概要から使用ツール解説、導入方法、メンテナンスまでを解説
Chef実践入門 ~コードによるインフラ構築の自動化 (WEB+DB PRESS plus)
著者／訳者：吉羽 龍太郎 安藤 祐介 伊藤 直也 菅井 祐太朗 並河 祐貴
出版社：技術評論社( 2014-05-22 )
定価：￥ 2,992
スタンドアロンでのChef Soloの利用から始めて、クックブックの書き方や注意すべきポイント、さらにはクックブックのテスト、継続的インテグレーションなど幅広いトピックを解説
Software in 30 Days スクラムによるアジャイルな組織変革“成功"ガイド
著者／訳者：Ken Schwaber、Jeff Sutherland著、角征典、吉羽龍太郎、原田騎郎、川口恭伸訳
出版社：アスキー・メディアワークス( 2013-03-08 )
定価：￥ 1,680
スクラムの父であるジェフ・サザーランドとケン・シュエイバーによる著者の日本語版。ビジネス層、マネジメント層向けにソフトウェア開発プロセス変革の必要性やアジャイル型開発プロセスの優位性について説明
How to Change the World 〜チェンジ・マネジメント3.0〜
著者／訳者：Jurgen Appelo, 前川哲次(翻訳), 川口恭伸(翻訳), 吉羽龍太郎(翻訳)
出版社：達人出版会
定価：500円
どうすれば自分たちの組織を変えられるだろう？それには、組織に変革を起こすチェンジ・マネジメントを学習することだ。アジャイルな組織でのマネージャーの役割を説いた『Management 3.0』の著者がコンパクトにまとめた変化のためのガイドブック
寄稿
著者／訳者：原田騎郎, 吉羽龍太郎, 山口陽平ほか
出版社：技術評論社( 2014-10-24 )
定価：￥ 1,598
特集の「強いチームの作り方」を寄稿。刻々とニーズが変化する近年のソフトウェア開発では、既成観念にとらわれない新しいアイデアが不可欠ですが一方で意見の対立がメンバーの衝突を引き起こすことも多くあります。本特集では、意見の違いをメンバーどうしが受け入れ、新しいアイデアへつなげていけるチームの作り方を解説しています
著者／訳者：Mitchell Hashimoto
出版社：オライリージャパン( 2014-02-21 )
定価：￥ 2,808
Vagrantの概要やマシン設定から、プロビジョニング、ネットワーク、ボックス、さらにはプラグインによる拡張までを網羅した開発者自身による解説書。日本語版限定で「Vagrantプラグイン」と「Packer」について寄稿。また伊藤直也さんによる描きおろしも含まれている
100人のプロが選んだソフトウェア開発の名著 君のために選んだ1冊
出版社：翔泳社( 2012-02-22 )
定価：￥ 1,944
ソフトウェア技術者のための名著案内。国内最大級の開発者向けカンファレンス「DevelopersSummit」のベストスピーカーを中心とした、100名の執筆陣が書籍を選定・紹介。アジャイルプラクティスについて寄稿