AWS、超高性能なクラウド基盤を実現するために独自開発した技術を説明。AWS re:Invent 2019

Amazon Web Services（AWS）のデベロッパー向け年次イベント「AWS re:Invent 2019」が、米ラスベガスで開催中です。

基調講演の前夜に行われたセッション「Monday Night Live」には、AWSグローバルインフラストラクチャ＆カスタマサポート担当VP、Peter DeSantis氏が登壇。

DeSantis氏は、従来は専用のスーパーコンピュータで行われてきたような超高速なコンピューティングをクラウドでも実現するためにAWSは投資をし続けてきており、クラウドを進化させてきたと指摘。

そのためにどのような技術がAWSのインフラで使われているのかを説明しました。

独自のスイッチやNitro Controllerで高性能ネットワークを実現

超高速な処理をクラウド上で実現する上でカギとなる技術の1つ目は、広帯域で低レイテンシなネットワークの実現です。

AWSはそのためにネットワークスイッチ機器と、それらを制御するためのソフトウェアを独自に開発。

第三世代にあたる2019年現在、展開されているネットワークの性能は、2013年に展開されていた第一世代にあたるネットワークの性能と比較して、6年で20倍も向上していることを示しました。

そのうえで、すべてのAmazon EC2マシンに搭載されているAWS独自の「Nitro Controller」は、サーバのCPUサイクルもキャッシュも、ネットワークもストレージも、すべて仮想化するものであり、これによって帯域やレイテンシなどのネットワーク性能をそれ以外の性能に依存せずに最適化し、かつ独立してスケールできる仕組みになっているとのこと。

Nitro Controllerとは、昨年のre:Inventで明らかにされた「Nitro System」の一部として、Amazon EC2のサーバに組み込まれているAWS独自のカスタムチップです。

• Amazon EC2の最新基盤として「VMware Cloud on AWS」や「EC2ベアメタル」の実現にもつながったAWSの「Nitro System」とは？

TCPをバイパス、AWSに最適化されたプロトコルを利用可能

AWSはネットワークプロトコルにも手を入れているとDeSantis氏。

汎用の通信プロトコルとして使われているTCPは、OSのカーネルスペースで動作しており、しかもミリ秒の世界であるインターネットのために作られたプロトコルであり、HPCが要求するマイクロ秒の世界ではオーバーヘッドになるとDeSantis氏は指摘。

そこでAWSは独自に「Elastic Fabric Adapter」（EFA）と呼ばれる、AWSとNitro Controllerに最適化されたネットワーキングスタックを開発。

EFAをコミュニケーションライブラリとしてインスタンスに組み込むと、TCPの処理やカーネルをバイパスし、アプリケーションからNitro Controllerに通信内容を直接渡すことができるようになります。

Nitro Controllerは、内蔵された独自のトランスポートプロトコルである「SRD」（Scalable Reliable Datagram）を用いることで、一貫して広帯域で低レイテンシな通信を実現すると説明されました。

EFAとSRDを用いると、ベストケースでは当然ながらTCPよりも速く、ワーストケースであってもTCPのベストケースより速いことが示されました。

EFAは最小限の変更でアプリケーションに組み込み可能だとのこと。

米国海軍研究所はAWSの最新インスタンス群を用いて気象予報の処理を実行。

これまで使っていたオンプレミスのスーパーコンピュータの処理（チャートの青いライン。横軸でプロセッサが増えると、縦軸の処理時間が短くなる）よりも高い性能（チャートの赤いライン）を示したことが紹介されました。

DeSantis氏はまた、機械学習処理においてもAWSは高い性能を発揮することを解説。近々、AWSが機械学習専用に開発中のチップ「Inferentia」が登場することを明らかにしました。