ATC301 AWS re:Invent 2017/11/27 - 1 Million Bids in 100ms - Using AWS to Power Your Real-time Bidder 翻訳

1. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS re:Invent 1 Million Bids in 100ms—Using AWS to Power Your Real-time Bidder R a m K u m a r R e n g a s w a m y , C o - f o u n d e r a n d C T O , B e e s w a x E r i c k D a m e , S o l u t i o n s A r c h i t e c t , A W S •A T C 3 0 1 •N o v e m b e r 2 7 , 2 0 1 7

2. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. このセッションへの期待 • Real-Time Bidding (RTB) on AWS の紹介 • Beeswax の紹介 • 主な考慮事項 • パフォーマンス ̶ ingestion and speed • スケール ̶ globalization and regionalization • コスト ̶ operations and spot market • データ ̶ data lake, analytics, and insights

4. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. なぜ RTB on AWS？ • イノベーション:最先端のネットワーキングとコンピューティング機能（Network Load Balancer、High IO インスタンス) •パフォーマンスリーダーシップとユニークなec2スポット市場での価格 •より⼤きな中国とインドを含む世界的なビジネス展開 •低レイテンシのデータ処理とキャッシングの幅広いテクノロジーの選択肢 •⼤規模かつ急速に成⻑しているパブリッシャーとブランドのエコシステム

5. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Beeswax̶about us Ari Paparo CEO Ram Rengaswamy CTO Shamim Samadi CPO GLOBAL OFFICES CUSTOMERS FOUNDERSINVESTORS Angel Investors from: NEW YORK LONDON SAN FRANCISCO (coming soon) FreeWheel AOL Admeld Google Adelphic Right Media MOAT Maxifier DoubleClick MediaMath LiveRamp MoPub Twitter Millennial Quigo Yieldmo

6. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Beeswax Programmatic Cloud Out of the Box DSP Functionality: Full DSP functionality on Day 1 Partner through robust integrations: Combine and customize Programmatic Cloud partners to design a custom bidder Build through Extensible APIs: Build a truly bespoke bidder on top of our REST APIs Header Bidding Functionality Data Visualization Dynamic Creative Optimization Fully managed RTB platform on

11. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. NLBによるRTBアプリケーションの負荷分散 • 低レイテンシ - HTTPパースせずパケットを直接バックエンドにルーティング • トラフィックスパイクに強い - 突発的な負荷に対して低レイテンシを維持しながら秒間数百万リクエストを処理 • 固定IPアドレス - より安定する。DNSはTTLを無視して様々な場所にキャッシュされる ExchangeからのHTTP/S 経由のBidリクエストバックエンドインスタンスプールに負荷を均等に分散

12. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Elastic Network Adapter (ENA) • ハードウェアにチェックサムをオフロードする • ネットワークデバイスへの複数のRx / Txキュー(8つ) • ハードウェアで受信側ステアリング(Receive Side Steering:RSS)をサポート • CPUsにIRQ負荷を分散する

18. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Test it yourself̶Bees with Machine Guns (マシンガンを持った蜂) https://github.com/newsapps/beeswithmachineguns 10 million requests 1 million at a time

20. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon DynamoDB Accelerator (DAX) 主な利点 • リードのパフォーマンスとスケール：単⼀DAXクラスタから数百万回のread/sでマイクロ秒の応答時間 • 低コスト：ホットデータを持つテーブルのDynamoDBテーブルのプロビジョニングされた読み取り容量を減らす Features • フルマネージドサービス、ハイアベイラビリティ • DynamoDB APIとの互換性 • Write-through • 1つまたは複数のテーブルに対する柔軟な使⽤ • 最⼤10個の読取りレプリカをスケールアウトします • 完全に統合されたAWSサービス • セキュア

21. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Aerospike • ⾮常に⾼い性能のKVS（リードレイテンシ<2ms） • 各ENIは最⼤250K ppsを処理できます • 複数のENIを使⽤してインスタンスごとのパケットを増やす • client、fablic、XDRなどのAerospikeの通信⽤途ごとに別のENIを使⽤する • ENAを使⽤しコア間で割り込みを分配する • Placement groups • 帯域幅を最⼤化し、クラスタ内のノード間のレイテンシを最⼩限に抑える • NVMe SSD - はるかに低コストで⾮常に⾼いパフォーマンス

25. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Building with pods US-east-1 Availability zone ASG ASG Elastic Load Balancing Availability zone ASG ASG US-west-1 Availability zone ASG ASG Elastic Load Balancing Availability zone ASG ASG EU-west-1 Availability zone ASG ASG Elastic Load Balancing Availability zone ASG ASG

26. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Hive ̶ Pods間でのデプロイ⽅法 • Hiveはbeeswaxのシステム管理ツールです • オートスケール/ ECSなどの実装の詳細を抽象化します • リソースの作成、デプロイなどの⼀般的なタスクをサポートします • Pythonで書かれ、boto3 apiで構築されています • アクセス制御にIAMを活⽤しています • ローカルにAWS CloudFormationテンプレートをセットアップし、グローバルに複製する • Examples: • hive <service_name> is --region <region_name> • hive <service_name> deploy --region <region_name>

27. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. グローバルDNSサービスを活⽤ • Geographic Routing • DNSを使⽤してすべての操作を⼤陸にローカライズする • EU規制(GDPR)への対応を簡素化 • Latency Routing • DNSを使⽤してユーザーへの最短パスでルーティング • Traffic Flows • 複雑なルーティングシナリオの設定を簡素化 • 例えば、ユーザを⼤陸に閉じ込め、ユーザへの最速ルートを⾒つける ※ GDPR(General Data Protection Regulation)：EU一般データ保護規制、2018年5月25日より施行予定 ※「AWSへのGDPRコンプライアンスのナビゲート」ホワイトペーパー https://aws.amazon.com/jp/blogs/security/introducing-the-new-gdpr-center-and-navigating-gdpr-compliance-on-aws-whitepaper/

28. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. セキュアなグローバルネットワークを簡単に導⼊ • 配置されたリージョン間のステートの同期 • 予算、コンバージョン、Cookieのマッチング • AerospikeのXDR(cross(X)DatacenterReplication) を使⽤して同期する • AWSソリューションに基づくVPCのトランジット • ⾼可⽤でセキュアなIPsecトンネル • ENAを使⽤してEC2上の Cisco CSR(CloudServiceRouter) • 任意のVPC内の任意の2つのノード間のルート us-east-1us-west-2 eu-west-1

29. 異なるリージョンのVPCを接続するインターリージョンVPCピアリングを発表 • 同⼀リージョン間に限定されていたVPCピアリングが別リージョンのVPC間でも設定可能に • リージョン間の通信にはAWSが管理する回線を利⽤する。パブリックインターネットに迂回することはない • 通信路はデフォルトで暗号化が適⽤される • バージニア、オレゴン、オハイオ、アイルランドで先⾏利⽤可能に。他リージョンは順次展開

30. Amazon DynamoDBでグローバルテーブル機能を発表 • 複数のリージョンにまたがるマルチマスターのグローバルテーブルを作成できるようになった • 書き込まれたデータは結果整合性で各リージョンに展開される。従って、同⼀データが別のリージョンで更新された場合は後勝ちとなる • テーブル名やハッシュキーは全リージョンで同⼀の設定にする必要がある。また、既存テーブルのグローバル化は現時点では未対応 • バージニア、オハイオ、アイルランド、フランクフルトで利⽤可能。他は2018年を予定

34. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Auto Scaling group Auto Scaling group Collect metrics Alarm fires when threshold is crossed Auto Scaling Scaling event is triggered Elastic Load Balancing

35. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Beeswax̶Auto Scale based on QPS • ベストプラクティス：CPUしきい値でCloudWatch Alarmを使⽤してスケールアップ/ダウン • オートスケーリングのスケジュール機能を使い、指定した時間での⾃動アクションを使⽤し、毎⽇の⽇の出前にPre-Warm (必要台数起動)します。 • 全ての必要なライブラリを含むAMIを作っておくことでで起動時間を最適化する

36. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. スポットインスタンスの詳細オプション • インスタンスの可⽤性を維持するためのスポットフリート • 継続的に稼働しなければならない作業時間確保のスポットブロック(1〜 6時間) コミットメントレベル • なし *特定のEC2インスタンスタイプ、地域、および利用可能なゾーンに基づくオンデマンド価格と比較

37. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Waterfall Auto Scaling Group • スポット価格を市場よりも⼤きく、オンデマンドより⼩さく設定する • ⼊札時に常に市場レートを提供します • グループをオンデマンドインスタンスのグループとスポットインスタンスのグループに分ける • スポットグループ内のスポットインスタンスの数に関するcloudwatchアラーム • GroupInServiceInstances • スポットグループ内のスポットインスタンスの数がしきい値を下回った場合にオンデマンドグループのインスタンス数を調整する Network Load Balancing Availability zone #1 Availability zone #2 On-demand Auto Scaling group Spot Auto Scaling group

38. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. aws autoscaling create-auto-scaling-group --auto-scaling-group-name on-demand-asg --launch-configuration-name my-lc -- availability-zones "us-east-1a" "us-east-1b" --load-balancer-names "my-nlb" --max-size 5 --min-size 1 --desired- capacity 2 aws cloudwatch put-metric-alarm --alarm-name AddCapacity --metric-name CPUUtilization --namespace AWS/EC2 --statistic Average --period 120 --threshold 80 --comparison-operator GreaterThanOrEqualToThreshold --dimensions "Name=AutoScalingGroupName,Value=on-demand-asg" --evaluation-periods 2 --alarm-actions PolicyARN ## this will add servers to the on-demand-asg group when CPU threshold is at 80% aws cloudwatch put-metric-alarm --alarm-name RemoveCapacity --metric-name CPUUtilization --namespace AWS/EC2 --statistic Average --period 120 --threshold 40 --comparison-operator LessThanOrEqualToThreshold --dimensions "Name=AutoScalingGroupName,Value=on-demand-asg" --evaluation-periods 2 --alarm-actions PolicyARN ## this will remove servers from the on-demand-asg group when CPU threshold is at 40% Waterfall ASG̶on-demand config

39. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. aws autoscaling create-auto-scaling-group --auto-scaling-group-name spot-asg --launch-configuration-name my-lc -- availability-zones "us-east-1a" "us-east-1b" --load-balancer-names "my-nlb" --max-size 5 --min-size 1 --desired- capacity 2 aws cloudwatch put-metric-alarm --alarm-name AddCapacity --metric-name CPUUtilization --namespace AWS/EC2 --statistic Average --period 120 --threshold 50 --comparison-operator GreaterThanOrEqualToThreshold --dimensions "Name=AutoScalingGroupName,Value=spot-asg" --evaluation-periods 2 --alarm-actions PolicyARN ## this will add servers to the spot-asg group when CPU threshold is at 50% aws cloudwatch put-metric-alarm --alarm-name RemoveCapacity --metric-name CPUUtilization --namespace AWS/EC2 --statistic Average --period 120 --threshold 20 --comparison-operator LessThanOrEqualToThreshold --dimensions "Name=AutoScalingGroupName,Value=spot-asg" --evaluation-periods 2 --alarm-actions PolicyARN ## this will remove servers from the spot-asg group when CPU threshold is at 20% Waterfall ASG̶spot config

40. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. なるべくスポットインスタンスを使うようにスケールインスケールアウトさせる 0% 20% 40% 60% 80% 100% 平均 CPU 使⽤率オンデマンドインスタンス追加スポットインスタンス追加 • 例えばCPU負荷が60％の時はスポットインスタンス追加のアクションが実⾏される • もしスポットが起動できなかった場合、負荷が上がり続け、80％を超えたらオンデマンドインスタンスを起動する • なるべくスポットインスタンスを利⽤するようなスケールアウトポリシーしきい値 50%以上：スポット追加 80%以上：オンデマンド追加

41. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. なるべくスポットインスタンスを使うようにスケールインスケールアウトさせる 0% 20% 40% 60% 80% 100% 平均 CPU 使⽤率オンデマンドインスタンス削除スポットインスタンス削除 • 例えばCPU負荷が30％の時はオンデマンドインスタンスを削除アクションが実⾏される • さらに負荷がさがった場合にスポットインスタンスの削除を⾏う • なるべくスポットインスタンスを利⽤するようなスケールインポリシー ※スポットインスタンスは急に停⽌する可能性があるのでそれを考慮した最⼩台数を設定するしきい値 40%以下：オンデマンド停⽌ 20%以下：スポット停⽌

42. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Beeswax̶sweet ʻspotʼ for RTB ベストプラクティス：⼊札者を完全にステートレスにする • S3/EFSなどのスケーラブルで永続的なデータストアに利⽤し、起動時そこからインメモリにステートを読み込む •すべての操作をKinesisなどのスケーラブルで永続的なデータストアに記録する •⾼性能広告ターゲティングでは、すべてのキャンペーンの状態をメモリに保存する必要があります •永続化ストレージを使っているので、スポットインスタンスが終了しても、データ損失はありませんベストプラクティス：bidderの起動時間を最⼩限に抑える •スポットのリスクは、市場の需要が増加するとキャパシティを失う •オンデマンドのキャパシティを素早く起動することでリスクを軽減する •全てのライブラリのインストールと設定をAMIに固める

45. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Central storage Secure, cost-effective storage in Amazon S3 Amazon S3 Catalog & search Access & search metadata DynamoDB Amazon ES Amazon Athena Amazon EMR Amazon Redshift Processing & Analytics Use predictive and prescriptive analytics to gain better understanding Amazon Kinesis FirehoseAWS Direct Connect AWS Snowball AWS DMS Data ingestion Get your data into Amazon S3 quickly and securely Data lake & AWS services AWS Glue

46. Amazon S3 Selectと Amazon Glacier Selectを発表 • S3 Select(プレビュー)：ファイル全体をダウンロードせず必要なデータのみをシンプルなSQL でクエリ可能に。最⼤400%の性能改善 – Lambdaファンクションから利⽤すると便利。Athenaや Redshift/EMRがS3 Selectをサポート予定 – プレビュー期間は無料で利⽤でき⾮圧縮のCSV/JSONをサポート。暗号化ファイルは現時点では⾮対応 • Glacier Select(⼀般利⽤開始)：GlacierにアーカイブされたデータにもS3 Selectと同様に直接クエリを発⾏可能に。AWS Glueとの連携も – スキャンしたデータ量(GB)、応答データ量(GB)、リクエスト数にで課⾦。データ取り出しスピードによって単価が異なる

47. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. なぜ S3? スケーラブルで丈夫 •事実上無制限のオブジェクトの数 •⾮常に⾼い帯域幅 - 総スループット制限なし •3つのAZにオブジェクトを複製して保存コスト効率化 •ストレージ⽤のEC2を実⾏する必要はありません（HDFSとは異なります） •⼀時的なHadoopクラスタとEC2のスポット・インスタンスを実⾏できます •ライフサイクルポリシーによる階層型ストレージ（Standard、IA、Glacier）柔軟なアクセス •ビッグデータフレームワークによる直接アクセス（Spark, Hive, Presto） •共有アクセス：複数の（Spark, Hive, Presto）クラスタは同じデータを使⽤できます

49. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. シナリオ • 広告データがあります • 私はそのデータを豊かにしたい • 私はそのデータに対して複雑なクエリを実⾏したい • もしかしたら、そのデータセットを他の開発者やデータサイエンティストに与えたい • 私はトレンドを理解し⼊札決定のロジックを更新する必要があります • 私の機械学習モデルはこのデータに適⽤できるはず

51. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Beeswax data flow Streaming collectors Streaming message hub Streaming delivery Data lake Customer API ETL joins and aggregations Optimization and analysis Query

52. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. キャンペーンパフォーマンスのクエリと分析パフォーマンスレポーティングキャンペーンマネージメント • Pull reports into your dashboard • Automate creation of line items, campaigns, and creatives Rest API for automation • Native support of multiaccount access control • Granular roles and permissions • Activity logs for tracking Roles, permissions, & accounts

53. トラフィックの実⽤的なインサイトを得る ● Kinesisへのクエリのサンプル1％ ● S3データレイクに格納 ● 任意の宛先へのストリーミング(パートナーサービス利⽤可) ● 在庫の発⾒に役⽴つ ● ビジネス推進に役⽴つインサイト: ○ 使⽤しない広告サイズはありますか？ ○ ⼗分なモバイルリクエストを受け取っていますか？

ATC301 AWS re:Invent 2017/11/27 - 1 Million Bids in 100ms - Using AWS to Power Your Real-time Bidder 翻訳

Amazon Web Services Japan

ATC301 AWS re:Invent 2017/11/27 - 1 Million Bids in 100ms - Using AWS to Power Your Real-time Bidder 翻訳