Transcript

• 1. まる見え、AWS!! ～AWSオペレーションのすべて～ アマゾン データ サービス ジャパン 酒徳 知明
• 2. 自己紹介 酒徳 知明(さかとく ともあき) エコシステム ソリューション部 ソリューション アーキテクト • エンタープライズ SIパートナー様のご支援 • ISVパートナー様のご支援 • 運用監視サービス担当 • AWS CloudTrail, AWS Config, Amazon CloudWatch
• 3. クラウドならではの運用管理 リソース管理API管理
• 4. クラウドならではの運用管理 リソース管理API管理 AWS CloudTrail AWS Config
• 5. AWS CloudTrail
• 6. AWS CloudTrailによりロギングされるイベント API call Event Non-API call Event • サポート サービスから発行されるAPI  StartInstances  CreateKeyPair • ユーザのサインイン アクティビテイ  AWS マネジメント コンソール  AWS ディスカッション フォー ラム
• 7. JSON形式での出力
• 8. 蓄積したJSONファイルをどう扱うか??? 可視化文字列検索アラート
• 9. CloudWatch Logs Metric Filter の利用 • CloudTrail と CloudWatch Logs の連携 – アカウント内でコールされた特定のAPIを監視し、呼ばれたと きに電子メール通知を受けることが可能 CloudTrail CloudWatch Logs CloudWatch Logs Metric Filter http://aws.typepad.com/aws_japan/2015/03/cloudtrail-integration-with-cloudwatch-in- four-more-regions.html
• 10. CloudWatch logs Metric Filter（1/3） • ログイベントから特定の文字列の検索が可能
• 11. CloudWatch Logs Metric Filter（2/3） • 特定文字列のエントリ頻度によりアラーム作成が可能 → “error”という文字列が3回以上エントリーされるとアラーム上げる “error”という文字列を監視 “error”という文字列のエン トリー回数
• 12. CloudWatch Logs Metric Filter（3/3） • Metric Filterからアラーム作成、SNS連携が可能 Metric FilterをトリガーにしたCloudWatch アラームの作成が可能
• 13. Metric Filtersサンプル • アカウントrootログインの監視 { ($.eventName = "ConsoleLogin") && ($.userIdentity.type = "Root") } • 認証失敗の監視 {$.errorCode = "AccessDenied" || $.errorCode = "UnauthorizedOperation"} • 特定インスタンスタイプのEC2が作成されたかの監視 {$.eventName = "RunInstances" && ($.requestParameters.instanceType = “*.8xlarge" || $.requestParameters.instanceType = “*.4xlarge"} • セキュリティグループ変更の監視 {($.eventName = "AuthorizeSecurityGroupIngress") || ($.eventName = "AuthorizeSecurityGroupEgress") || ($.eventName = "RevokeSecurityGroupIngress" ||($.eventName = "RevokeSecurityGroupEgress") || ($.eventName = "CreateSecurityGroup") || ($.eventName = "DeleteSecurityGroup")}
• 14. CloudWatchアラーム CloudFormationテンプレート http://aws.typepad.com/aws_japan/2015/03/cloudtrail-integration- with-cloudwatch-in-four-more-regions.html CloudFormationをつかったメトリック フィルタの自動作成
• 15. AWS CloudTrail API Activity Lookup • CloudTrailコンソールまたはAWS SDK, AWS CLIからAPIアクティ ビティを検索する機能 • 東京リージョンでも利用可能 • CloudTrailが有効にするだけで自 動で利用可能 • 最新の7日間のAPIアクティビ ティの検索 http://aws.typepad.com/aws_japan/2015/03/new-aws-api-activity-lookup-in- cloudtrail.html
• 16. Amazon CloudSearch, Amazon Elastic Beanstalk https://medium.com/aws-activate-startup-blog/searching-cloudtrail-logs-easily-with-amazon-cloudsearch-2d716e23efee CloudTrail Amazon SNS Topics Amazon SQS Queue Amazon ElasticBeanstalk Worker Role Amazon S3 Backet Amazon CloudSearch ① ② ③ ④ ⑤ ⑥ ⑦
• 17. CloudTrail JSON to CloudSearch Table • eventTime • eventVersion • userIdentity • eventSource • eventName • awsRegion • sourceIPAddress • userAgent • errorCode • errorMessage • requestParameters • responseElements • requestID • eventID • eventType • apiVersion • recipientAccountID CloudTrail JSON CloudSearch
• 18. CloudTrail JSON “userIdentity” "userIdentity": { "type": "AssumedRole", "principalId": "AROAIDPPEZS35WEXAMPLE:AssumedRoleSessionName", "arn": "arn:aws:sts::123456789012:assumed-role/RoleToBeAssumed/MySessionName", "accountId": "123456789012", "accessKeyId": "AKIAIOSFODNN7EXAMPLE", "sessionContext": { "attributes": { "creationDate": " 20131102T010628Z ", "mfaAuthenticated": "false" }, "sessionIssuer": { "type": "Role", "principalId": "AROAIDPPEZS35WEXAMPLE", "arn": "arn:aws:iam::123456789012:role/RoleToBeAssumed", "accountId": "123456789012", "userName": "RoleToBeAssumed" } } } CloudTrail JSON • Type • arn • accountID • accessKeyId • accountId • userName
• 19. CloudTrail JSON to CloudSearch Table • eventTime • eventVersion • userIdentity • Type • arn • accountID • accessKeyId • accountId • userName • eventSource • eventName • awsRegion • sourceIPAddress CloudTrail JSON CloudSearch • userAgent • errorCode • errorMessage • requestParameters • responseElements • requestID • eventID • eventType • apiVersion • recipientAccountID
• 20. Amazon CloudSearch, Amazon Elastic Beanstalk https://medium.com/aws-activate-startup-blog/searching-cloudtrail-logs-easily-with-amazon-cloudsearch-2d716e23efee CloudTrail Amazon SNS Topics Amazon SQS Queue AWS ElasticBeanstalk Worker Role Amazon S3 Backet Amazon CloudSearch ① ② ③ ④ ⑤ ⑥ ⑦
• 21. AWS Elastic Beanstalk Worker Tier • SQSに登録されたタスクを 非同期処理するTier • SQSメッセージは自動的に HTTPエンドポイントにPOST • 200 OKならDelete Message • エラー応答ならリトライ Webアプリを実装するだけでSQSを使った非同期処理Workerを実装
• 22. Amazon CloudSearch, Amazon Lambda CloudTrail Amazon Lambda Amazon S3 Bucket Amazon CloudSearch ① ② ③
• 23. ElasticSearch, Kibana https://blogs.amazon.com/aws_solutions/archive/2014/10/processing-cloudtrail-logs-into- logstashelasticsearchkibana.html CloudTrail Amazon SNS Topics Amazon SQS Queue ElasticSearch Amazon S3 Backet ① ② ③ ④ ⑤ ⑥ ⑦ Logstash
• 24. ElasticSearch, Kibana, Amazon Lambda https://blogs.amazon.com/aws_solutions/archive/2014/10/processing-cloudtrail-logs-into- logstashelasticsearchkibana.html CloudTrail ElasticSearch Amazon S3 Backet ① ② ③ ④ Logstash Amazon Lambda
• 25. 用途に応じた使い分けが必要 可視化文字列検索アラート
• 26. AWS Config
• 27. AWS Config • AWS Configは、AWSリソースのレポジトリ情報を取得 し、リソースの設定履歴を監査、リソース構成の変更を 通知することができるフルマネージドサービスです。 • AWS Configは、Amazon EC2インスタンスのタグの値、 セキュリティグループのルール、NACL、VPCといった AWSリソースの構成属性変更を記録します。
• 28. AWS Config Configuration Stream Configuration SnapshotConfiguration History • リソースが作成、変更、また は構成項目を削除されるたび に、作成され、構成ストリー ムに追加される • SNSトピック連携可能 • あるポイントでのコンフィグ レーション アイテムの集合 • 自動で定期的あるいは変更ト リガで作成され、Amazon S3 にエクスポートされる • 設定履歴は、任意の期間にお ける各リソースタイプの構成 要素の集合 • リソースの設定履歴を、指定 したS3バケットに保存 Snapshot @ 2014-11-12, 2:30pm
• 29. リレーションシップ • アカウント内のAWSリソース間の関係 • 双方向の依存関係が自動的に割り当てられる Example: セキュリティ グループ“sg-10dk8ej” とEC2 インスタンス “i-123a3d9” は互いに関連関係にあります
• 30. SNS Notification 連携 • ConfigurationItemChangeNotification • AWSリソースの作成、変更、削除が行われた場合 • ConfigurationSnapshotDeliveryStarted • 特定のS3バケットに対し、Configuration Snapshotが実行された場合 • ConfigurationSnapshotDeliveryCompleted • 特定のS3バケットに対し、Configuration Snapshotが完了した場合 • ConfigurationSnapshotDeliveryFailed • 特定のS3バケットに対し、Configuration Snapshotが失敗した場合 • ConfigurationHistoryDeliveryCompleted – 特定のS3バケットに対し、Configuration Historyが完了した場合
• 31. AWS Config リレーションシップ Security Group EIP ENI EBSVPC Route Table NACL SubnetVPN IGW CGW EC2
• 32. サポートされるAWSリソース • AWSリソースは、AWS Management Console、コマン ドラインインターフェース（CLI）、AWS SDK、または AWSパートナーのツールを使いユーザーが作成できるエ ンティティ Amazon EC2 Instance, ENI... Amazon EBS Volumes AWS CloudTrail Amazon VPC VPC, Subnet...
• 33. AWS Config パートナー
• 34. AWS Config パートナー