con_mame さんの他のスライド

関連するスライド

このスライドの内容

1. Amazon EC2 Container Service Updates
   Yutaka Hoshino
   Solutions Architect
   
   Amazon Data Services Japan K.K
   ©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved
2. Amazon EC2 Container Service
3. Amazon EC2 Container Service
   • コンテナ管理サービス
   – シンプルなAPIでEC2クラスタ上のDockerコンテナを管理
   • プライベートレポジトリ対応・Diskマウント対応
   – Dockerコンテナの管理を簡単に行えるようにしたサービス
   • EC2インスタンスのリソース管理
   • デプロイ管理
   – EC２インスタンス上に複数のコンテナを起動出来る
   • EC2インスタンスのリソースを効率的に利用可能
   – クラスタの構成管理などの運用が不要
   • コンテナインスタンスを起動してクラスタに参加させるだけ
   • リソースの空いているコンテナインスタンスにコンテナを自動的に起動
   • 明示的にコンテナインスタンスを指定してコンテナを起動することも可能
4. ECSの構成要素
   • Task Definition
   – 1つ以上のコンテナをを定義し、CPUやメモリ割当、Container間のLinkな
   どを設定する。現在のところ1つのTask Definition内で定義されたコンテナ
   は同一のContainerインスタンスで稼働する
   • タスク
   – コンテナを起動するために必要なリソース(CPU/Memory)やポートの
   EXPOSE、Entry pointやlinkの設定
   – コンテナ間の関係を定義
   • コンテナ
   – タスクにより生成されたDockerコンテナ
5. ECSの構成要素
   • コンテナインスタンス
   – ECS Container Agentが稼働していて、コンテナを起動するEC2インスタ
   ンス
   – クラスタ内で動いているインスタンスの集合はTaskを実行するためのリ
   ソースプールとして扱われる(Multi-AZにも対応)
   – 動的にクラスタにインスタンスを追加可能
   – Optimized-AMIが用意されているが、CoreOSやECSエージェントを導入
   出来れば動作可能 (ECSエージェントもDockerで動作)
   • サービス
   – タスクとELBなどAWSサービスの集合
6. ECSの構成要素
   • ECS Container Agent
   – コンテナインスタンスの中で動くエージェント。このエージェントを通してコン
   テナインスタンス内で稼働するコンテナの開始や停止などの管理やコンテ
   ナインスタンスのリソース状況の把握を行う
   – ECS APIへの通信を行うのでECSコントロールプレーンからの通信は開
   放しなくて良い
   – Apache 2.0ライセンスでgithub/Docker hubで公開中 (
   http://bit.ly/1aNkiWU と http://bit.ly/1yqaZYf)
   • イメージ
   – クラスタの中にサービス・タスク・インスタンスがある
7. ContainerインスタンスをECSクラスタに登録する
   • ECSクラスタ
   – Containerインスタンスの集合
   • ECS Optimized AMIの場合はUser Dataにクラスタ名
   を指定すると自動で追加される
   – クラスタはマネージメントコンソールからも作成可能
   – ECS container Agentを別途起動させる環境ではdocker run時に環境変
   数として指定する
8. ECS Container Agent
   $ docker run --name ecs-agent -d \
   -v /var/run/docker.sock:/var/run/docker.sock \
   -v /var/log/ecs/:/log -p 127.0.0.1:51678:51678 \
   •
   Docker version 1.5.0以上
   -v /var/lib/ecs/data:/data \
   •
   ECS APIと通信出来るように
   -e ECS_LOGFILE=/log/ecs-agent.log \
   -e ECS_LOGLEVEL=info \
   -e ECS_DATADIR=/data \
   -e ECS_CLUSTER=cluster_name \
   -e AWS_ACCESS_KEY_ID=xxx \
   -e AWS_SECRET_ACCESS_KEY =xxx \
   -e AWS_DEFAULT_REGION =ap-northeast-1 \
   amazon/amazon-ecs-agent:latest
9. ECS 利用料金
   • ECS自体の利用料金は不要
   • コンテナインスタンスとして使用するEC2インスタン
   スの料金
   – オンデマンド・RI・Spot料金
   – Spot instanceを利用する場合はTerminateされる可能性を考慮する
   • ELBを利用する場合はELBの料金
10. ECSを使うメリット
    簡単なクラスタ管理
    柔軟なスケジューリング
    パフォーマンスに
    応じたスケール
    セキュリティ
    AWSサービスとインテグレーション
11. 簡単なクラスタ管理
    • クラスタの状態をagent経由で管理
    • コンテナ自体の死活を含めた管理
    • 簡単にスケール出来る
12. ECS
    Container
    Container
    Container
    Container
    インスタンス
    インスタンス
    インスタンス
    インスタンス
    (c4.2xlarge)
    (t2.smal )
    (t2.smal )
    (t2.medium)
    
    
    
    コンテナ(群)
    コンテナ(群)
    
    コンテナ(群)
    Task
    Task
    Task
    ECS agent
    ECS agent
    ECS agent
    ECS agent
    Default Cluster
    App1 Cluster
    ECS Control
    Task
    Plane
    Definition
    (JSON)
13. 柔軟なスケジューリング
    • EC2インスタンスのリソースの空き状況や必要なコンテナ数な
    どに応じて自動的にコンテナの起動をスケジューリング
    – サービススケジューラの追加
    • 3rdパーティスケジューラサポート
    – Apache Mesos
    – https://github.com/awslabs/ecs-mesos-scheduler-driver
14. パフォーマンスに応じたスケール
    • 分散アプリケーション
    • コンテナデプロイの自動化や管理を簡
    単に
    • 数秒で数千のコンテナを起動可能
15. セキュリティ
    • VPCのみで利用可能
    • Security Group と IAM role サポート
    • 既存のセキュリティのプラクティスが使え
    る
16. セキュリティ
    Security GroupやNACLが利用可能
    Container
    Container
    Container
    Container
    インスタンス
    インスタンス
    インスタンス
    インスタンス
    (c4.2xlarge)
    (t2.smal )
    (t2.smal )
    (t2.medium)
    
    
    コンテナ(群)
    
    コンテナ(群)
    
    コンテナ(群)
    Task
    Task
    Task
    ECS agent
    ECS agent
    ECS agent
    ECS agent
    Default Cluster
    App1 Cluster
    Availability Zone A
    Availability Zone B
17. AWSサービスとインテグレーション
    • ELBサポート
    • IAM roles や security groupsとイン
    テグレーションが可能
    • 強力なAPI
    – 独自のスケジューラを利用可能
    – 既存のアプリケーションデプロイシステ
    ムと連携可能
18. ユースケース
    • サービスへの適用
    • Microservices
    • 環境依存のアプリケーションをコンテナにパッキング
    して管理
    • CIやテスト
    • レコメンドエンジンや検索辞書など複数パターン
    でテストや検証を行う場合に複数のコンテナを
    使って並列で実行
    • バッチクラスタ
    • 開発環境
    • 学習環境
19. ECS Service Updates
20. ECS GA リリース
    現在、東京、バージニア、
    
    オレゴン、アイルランド リージョンで利用可能
21. Amazon ECS service scheduler
    • Serviceスケジューラ
    – Container Auto-Recovery: 稼働しているコンテナ数が設定値より下
    回ると自動的に新コンテナを起動する
    – Container Load Balancing: ELBと連携し、自動的にELBへのアタッ
    チ、デタッチを行う
    – Container Deployments: 新バージョンのTaskを実行すると自動的に
    新Taskでコンテナを起動し、旧コンテナを自動的に停止する。ELBへ
    のアタッチ、デタッチも自動で行われる
22. Amazon ECS service scheduler
    • ELB対応
    – コンテナのELBへのアタッチ、デタッチだけでなく、ELBのヘルスチェックと
    連携してUnhealthyになったコンテナのTaskを自動的に実行する
    • Service Roleが必要に
    – ECSがELBにアクセスするために使用
    • Service 作成画面で事前
    作成したELBを使用
    • コンテナ側ポート番号は指
    定しておく
23. Amazon ECS service scheduler
    • Service Role
    – ECS Container AgentがEC2インスタ
    ンスとELBに対してAPIコールを行う
    – ELBへのアタッチ、デタッチを行う
    – Service Roleはインスタンスにつけるの
    ではなく、Serviceに対して設定する
24. Amazon ECS Console
    • マネージメントコンソール対応
    – Preview中はAPI/CLI経由のみでした
    – Clusterの作成からTaskの実行までコンソール上で行えます
    – Task Definitionの作成もGUIで容易に
25. Amazon ECS Console
    クラスタ概要
26. Amazon ECS Console
    サービス内容変更
    Task Definitionと実行コンテナ数
    Update Serviceを行うと新タスクでコンテナを起動し、旧タスクのコンテナを
    停止する。ELBへの登録・解除も自動で行われる。
27. Amazon ECS Console
    タスク一覧
28. Amazon ECS Console
    タスク詳細
    Task概要
    実行しているイン
    スタンスのポー
    ト・IPアドレス
29. Amazon ECS Console
    クラスタインスタンス情報
    クラスタインスタンス
    詳細情報
    登録済リソース・利用
    可能リリソース
    インスタンス状態
30. Amazon ECS Console
    • Task Definition
    – JSONでコンテナに割り当てるリソースなど
    を設定
    – コンテナ間の依存関係も記述
    – 書くのが手間…
31. Amazon ECS Console
    • Task Definitionコンソール
    – Management Console上でTask Denisonの作成が可能
32. CloudTrailインテグレーションとリージョン拡大
    • CloudTrailを用いてECSに対する操作の監査が簡
    単に行えるようになりました
    • 東京リージョンがサポートされました
    – 東京・バージニア・オレゴン・アイルランド
33. ECS Tips
34. ECSクラスタ リソース管理
    • ECSを使用したシステムでは以下の2点を考慮する
    必要があります
    – クラスタ内のContainerインスタンスリソース(CPU/メモリ/ポート)
    • CloudWatchのカスタムメトリクスなどを使用
    – コンテナ内のログの管理
    • Amazon CloudWatch logsやFluentdなどを使用しコンテナインスタンス
    外に収集しておく
35. ECSクラスタ リソース管理
36. ECSクラスタ リソース管理
    • CLoudWatchで監視を行い閾値を下回ったらインス
    タンスを新規に起動したりアラートを発報
37. リソースグループ
    • タグを利用してEC2やRDSなどのAWSリソースをグルーピングし、
    システムを横断してリソースを管理可能
    – ECSコンテナインスタンスに共通のタグを付与しECSクラスタを管理
    – グルーピングする条件を指定しておけば、条件にあうインスタンスが起動すると自動で追加され
    る
38. リソースグループ
    • タグを利用してEC2やRDSなどのAWSリソースをグルーピングし、シ
    ステムを横断してリソースを管理可能
    Clusterタグにdemoが指定された東京リー
    ジョンのEC2インスタンスを指定する例
    各インスタンスの状態を一覧で
    確認可能
39. Dynamic Port Mapping
    • Task DefinitionのhostPortの記述を省略するか
    hostPortに0を指定することで自動的に49153〜
    65535ポートで空いているポートを使用する
    – 49153〜65535ポートは自動割当が出来るよう、明示的にExposeす
    るhostPortに指定しないようにする
    • 現在、ELBはDynamic Port Mappingに対応してい
    ないため、ELBを使用する場合はExposeするポート
    を明示的に指定する必要がある
40. ECS Log rotation
    • ECS Container Agentのログは自動
    でLog rotationが行われない
    /var/log/ecs/ecs-agent.log {
    size 5MB
    – コンテナインスタンス内の /var/log/ecs/ecs-
    missingok
    rotate 10
    agent.log
    compress
    –
    delaycompress
    このログはECSのデバッグに使える
    notifempty
    – /etc/logrotate.d/ecs-agent に設定を書くことで copytruncate
    }
    rotationが行える
41. ECS現在の制限
    • インスタンスタイプを変更した場合ECSが認識している、
    CPU/Memoryのリソース状況は変更前のまま保持していま
    す
    – インスタンスタイプを変更する場合は新しいインスタンスを起動し、ク
    ラスタに追加(おすすめ)
    – sudo stop ecs; sudo rm -f /var/lib/ecs/data/ecs_agent_data.json;
    sudo start ecs を実行することでECS Agentのデータをクリアする。
    (この場合新規コンテナインスタンスとして認識するためECS上に以
    前のデータのインスタンスデータが残ってしまう)