20140621 july techfesta (JTF2014) 突発＊＊むけAWS

July Tech Festa 2014 突発イベント・突発開発をドンドン楽にするAWSの新サービスの紹介 2014年6月22日荒木靖宏 (@ar1 ) プリンシパルソリューションアーキテクト Amazon Web Services

自己紹介 • 名前 – 荒木靖宏(twitter: ar1) • 肩書 – JAWS-UG→AWSへ – プリンシパルソリューションアーキテクト • 好きなAWSサービス – Amazon Virtual Private Cloud – AWS Direct Connect

AWSの様々なサービスお客様のアプリケーション認証 AWS IAM モニタリング Amazon CloudWatch Web管理画面 Management Console デプロイと自動化 AWS Elastic Beanstalk AWS CloudFromation IDEプラグイン Eclipse Visual Studio ライブラリ & SDKs Java, PHP, .NET, Python, Ruby Development & Administration AWS グローバルインフラ Geographical Regions, Availability Zones, Points of PresenceAZRegion ネットワーク & ルーティング Amazon VPC / Amazon Elastic Load Balancer / Amazon Route 53 /AWS Direct Connect Infrastructure Service コンピュータ処理 Amazon EC2 Auto Scale ストレージ Amazon S3 Amazon EBS Amazon Glacier AWS StorageGateway データベース Amazon RDS Amazon DynamoDB Amazon SimpleDB コンテンツ配信 Amazon CloudFront メッセージ Amazon SNS Amazon SQS Amazon SES 分散処理 Elastic MapReduce 検索エンジン Amazon Cloud Search キャッシング Amazon Elasticache ワークフロー管理 Amazon SWF Application Service

よく聞く話 • サービスが多くてよく分からない • 組み合わせ方が分からない • 使い方が正しいのか分からない • 書籍や日本語資料が少ない © MSクリップアート

55 AWS Cloud Design Pattern Floating IP Bootstrap Job Observer Rewrite Proxy http://aws.clouddesignpattern.org

6 AWSクラウドデザインパターンとは... AWSクラウドを使ったシステムアーキテクチャ設計を行う際に発生する、典型的な問題とそれに対する解決策・設計方法を、分かりやすく分類して、ノウハウとして利用できるように整理したもの。

うまく組み合わせると・・ • ピーク対応が楽 • セキュアなシステム構築 • 安価に世界展開 • 障害にも強い

例えば... (Web Storage Archive) • 解決したい課題サーバで大量に発生するログを一元管理したい • クラウドでの解決容量無制限ウェブストレージを利用し、キャパシティを気にすることなく格納可能 • 実装 EC2上でローテートされたログをAPI等のツールを利用しS3に転送 • 利点ディスクスペース管理が不要になり、堅牢性の高いストレージでログを管理 • 注意点 AutoScale時には、停止前に該当ログの退避の仕組みを実装する必要がある  構造

Webでノウハウを共有 WIKI http://aws.clouddesignpattern.org/index.php FACEBOOK https://www.facebook.com/awscdp

書籍でノウハウを共有 http://www.amazon.co.jp/dp/4822211967/ Amazon Web Services クラウドデザインパターン設計ガイド

CDPカテゴリ • 基本 Snapshot Stamp Scale Up Ondemand Disk • 可用性を向上 Multi-Server Multi-Datacenter Floating IP Deep Health Check • 動的コンテンツを処理 Scale Out Clone Server NFS Sharing NFS Replica State Sharing URL Rewriting Rewrite Proxy Cache Proxy Scheduled Scale Out  静的コンテンツを処理 Web Storage Direct Hosting Private Distribution Cache Distribution Rename Distribution  データをアップロード Write Proxy Storage Index Direct Object Upload  リレーショナルデータベース DB Replication Read Replica In-memory DB Cache Sharding Write  バッチ処理 Queuing Chain Priority Queue Job Observer Scheduled Autoscaling  運用保守 Bootstrap Cloud DI Stack Deployment Server Swapping Monitoring Integration Web Storage Archive Weighted Transition Hybrid Backup  ネットワーク On-Demand NAT Backnet Functional Firewall Operational Firewall Multi Load Balancer WAF Proxy Cloud Hub

突発＊＊対応基本方針データベースやサーバのスケールアップ CloundFront導入ユーザ体験の向上とサーバ運用の省力化コンテンツの動的・静的サーバの分離静的なものはS3へ DNSをRoute53へアーキテクチャの見直し

13 運用がカバー

突発イベント • いつやってくるかわからないイベントには – 逃げ方を運用がカバー

• CDN(Contents Delivery Network)の技術を利用した高速なデータ配信サービス – エッジにコンテンツをキャッシングし、アクセスユーザを最も近いエッジに誘導 • 利用形態 – Webコンテンツの広範囲配信 – 動画コンテンツの広範囲配信 CloudFrontとは

サービス側のメリットサーバ台数、能力の削減可用性向上ユーザ体験の向上ユーザ側のメリットダウンロード総時間短縮、初期応答時間短縮ダウンロード成功率の向上 CloudFront導入のメリット

Best Practices サイトまるごとCloudFront化 • サーバ台数削減、コスト削減 • エンドユーザ体験向上 • モデルのシンプル化 +

Best Practices 静的コンテンツの外出し • サーバ台数削減、コスト削減 • エンドユーザ体験向上 • 信頼性と安定性の向上 +

Elastic Load Balancing Amazon CloudFront www.mysite.com 19 Dynamic Content Amazon EC2 Static Content Amazon S3 Your Users ユーザはまず CloudFront へ最低レイテンシへの誘導 TCP最適化 Persistent Connections CloudFront から Origin 動的/静的のコンテンツわけオリジンへのPersistent connections 経路のモニタリング配信最適化

London Paris NY RTMP Served from S3 /images/* 1 S3 オリジン Download distributions

London Paris NY RTMP Served from S3 /images/* 1 Served from EC2 *.php 2 S3オリジン＋Dynamic EC2 オリジン (or オンプレ)

Best Practices DNSをRoute53でホスティング • DNS解決も高速化 • SLA100%の信頼性とスケーラビリティ • 速く、簡単に、安く • レイテンシベースのルーティング、ヘルスチェック Region 1 Region 2

London Paris NY RTMP Served from S3 /images/* 1 Served from EC2 *.php 2 S3オリジン＋同一ドメイン EC2 オリジン (or オンプレ) Single CNAME www.mysite.com 3

London Paris NY Static and Dynamic Content Served from EC2 *.phpSingle CNAME www.mysite.com Served from S3 /images/*

http://aws.amazon.com/jp/architect ure/ AWS アーキテクチャセンター

26 運用がカバーの限界

突発開発へ歩みをすすめよう • いつやってくるかわからないイベントには – 逃げ方を • いつやってくるかわからない開発には – 攻め方を

Job Observerパターン • キュー内のジョブを効率よく処理するパターン • 動的にリソースを調達

Webへの適用例 AWS Cloud Amazon Simple Queue Service (SQS)Instances Auto Scaling Auto Scaling ユーザ要求のうち非同期でいいものはSQSをバッファにつかう

AWS ElasticBeanstalk：構築・デプロイの自動化サービス Instance Amazon RDSElastic Load Balancer Instance Auto scaling GroupCloudWatch deploy!WAR ZIP Java Python PHP .NET Ruby nodeJS Docker

ElasticBeanstalkの論理構成 Application Environment Version RespositoryURL Environment Configuration Configuration Template Environment URL Environment Configuration WAR/ZIP WAR/ZIP WAR/ZIP WAR/ZIP Environment URL Environment Configuration

ElasticBeanstalkのDockerサポート • ElasticBeanstalkで任意のDockerコンテナを実行可能に – Dockerコンテナとして構築できれば任意のDistribution・任意の言語で構築した実行環境をElasticBeanstalkにデプロイ出来る • さらに、下記のような運用が可能 – ローカルのコンテナ上でコードを開発＆テスト – 同じコンテナをElasticBeanstalk上の本番環境にデプロイ meets

各環境の中には • 自動で構築されたDocker環境 – Load-balanced / Single Instance – 各インスタンスに1つの管理されたコンテナ Application Environment URL Environment Configuration AWS Management Console Admin SSHUsers Developer ZIP Instance Amazon RDSElastic Load Balancer Instance Auto Scaling GroupCloudWatch AMI Dockerfile

Environment 各インスタンスの中には EC2 HM AutoScaling Nginx (tcp:80) Docker (tcp: xxxx) コンテナの上げ下げコンテナとの接続ポートの更新コマンド各インスタンス・マネージされたコンテナが1つ・Host Manager (HM)がコマンドを実行

コンテナの設定記述の仕方 • 次の2種類の記述方式を利用可能 – Dockerfile • 一般的なコンテナの構築に使われるDockerfile • AWS特有ではないため、どこでも作成・編集・構築が可能 • コンテナの構築方法を指示するファイルなのでコンテナ起動オプションを指定したい場合は不十分 – Dockerrun.aws.json • ElasticBeanstalk独自の形式 • 使用するコンテナイメージ、コンテナから参照するボリュームなどを指定 • コンテナの構築方法自体は指定できない（要Dockerfileと併用）

Dockerfileの例 • いわゆる普通のDockerfile – EXPOSEで指定したポートがnginxとの接続に使われる注：nginx経由で外部に開けるポートは1つだけ • その他注意点 – FROMとEXPOSEは必須 – CMDとENTRYPOINTのどちらかは必須

Dockerrun.aws.jsonの例プライベートレポジトリを使用する際に必要 S3バケット上に置いた認証情報ファイルを指定使用すべきイメージコンテナがEXPOSEするポートを指定（ElasticBeanstalkが使用するのはContainerPortのみ）コンテナにマウントすべき EC2インスタンスのディレクトリを指定コンテナ内のログディレクトリを指定

デプロイの仕方 • デプロイ時のファイル形式も2種類 – 単一ファイル • Dockerfile / Dockerrun.aws.jsonのみのデプロイの場合 • Pros: アーカイブを作る必要がなく簡便 • Cons: ElasticBeanstalkの環境カスタマイズやリソースファイルのデプロイ等は出来ない – ZIPアーカイブ / gitでデプロイ • Dockerfile / Dockerrun.aws.jsonあるいは両方を含むアーカイブ • Pros: Dockerfileでイメージを構築して起動オプションを指定して起動したり、環境カスタマイズを行ったりすることが可能 • Cons: アーカイブを作らないといけない柔軟性とコンテナ記述ファイルのバージョン管理も考慮すると gitで管理してgit aws.pushでデプロイがおすすめ

デプロイ時の動作 (1/4) EC2 HM AutoScaling Nginx (tcp:80) Docker (current, ver 1) 1. Deploy指示 Version Respository Version 1 Version 2

デプロイ時の動作 (2/4) EC2 HM AutoScaling Nginx (tcp:80) Docker (current, ver 1) 1. Deploy指示 Docker (staging, ver 2) 3. Staging コンテナ作成 Version Respository Version 1 Version 2

デプロイ時の動作 (3/4) EC2 HM AutoScaling Nginx (tcp:80) Docker (old, ver 1) 1. Deploy指示 Docker (current, ver 2) 3. Staging コンテナ作成 4. Nginx設定変更 Version Respository Version 1 Version 2

デプロイ時の動作 (4/4) EC2 HM AutoScaling Nginx (tcp:80) Docker (current, ver 2) Version Respository Version 1 Version 2

S3をプライベートレポジトリとして利用 Developer 1. docker push4. docker pull 2. deploy registry registry registry registry Docker registry container with AWS credentials Region app app app registry app 3. docker run registry 5. docker stop registry 詳細： http://aws.typepad.com/sajp/2014/06/eb-docker-private-repo.html

CDPカテゴリ -基本パターン Snapshot Stamp Scale Up Ondemand Disk -可用性を高める Multi-Server Multi-Datacenter Floating IP Deep Health Check -動的コンテンツを処理 Scale Out Clone Server NFS Sharding NFS Replica State Sharing URL Rewriting Rewrite Proxy Cache Proxy -静的コンテンツを処理 Web Storage Direct Hosting Private Distribution Cache Distribution Rename Distribution -クラウドへのアップロード Write Proxy Storage Index Direct Object Upload -リレーショナル・データベース DB Replication Read Replica Inmemory DB Cache Sharding Write -バッチ処理 Queuing Chain Priority Queue Job Observer Scheduled Autoscaling -運用保守 Bootstrap Cloud DI Stack Deployment Server Swapping Monitoring Integration Web Storage Archive -ネットワーキング OnDemand NAT Backnet Functional Firewall Operational Firewall Multi Load Balancer WAF Proxy CloudHub

まとめシステム規模に合わせた可用性を持つシステムを構築が可能に低コストで耐障害性の高いシステムを簡単に構築することが可能にシステムが拡大しても、運用者の負担を削減する仕組みづくりが可能にシステム「試行」速度をあげることが可能に

まとめ (改善・革新) 今までできていたことを、より早く、簡単に、安く実現できる今までできなかったことが実現できる改善革新

• CDPでAWSをもっと楽しく

無料でAWSを３０分で試せるようになりました新しいビデオとLabでAWSについて無料で勉強！ • http://bit.ly/aws30mTry • 新しいAWSの導入ビデオ "Introduction to AWS” を公開 • Introduction to Amazon Simple Storage Service (S3) • Introduction to Amazon Elastic Compute Cloud (EC2) • Introduction to AWS Identity and Access Management (IAM) • Introduction to Amazon Relational Database Service (RDS) • Introduction to Amazon Elastic Block Store (EBS) • Introduction to Elastic Load Balancing • ビデオに対応したlabを用意。 • 30分程度で完了するボリューム • 現在は英語版のみ。日本語対応中

ご清聴ありがとうございました。 https://www.facebook.com/awscdp

20140621 july techfesta (JTF2014) 突発＊＊むけAWS

by yasuhiro araki, Debian Developer, Solutions Architect at Amazon Web Services

on Jun 21, 2014

Statistics

Views

Actions

2 Embeds 4

Accessibility

Categories

Upload Details

Usage Rights

Report content

20140621 july techfesta (JTF2014) 突発＊＊むけAWS Presentation Transcript

https://twitter.com	3
https://www.linkedin.com	1