Mesosphere社に行って来た　ー　クラウドをメインフレームっぽくするOS?

この１週間毎日どこかの面白いクラウド関連のサンフランシスコのスタートアップとミーティングしてきた。インターネットのメッカとも言えるサンフランシスコでは最近のトレンドや動向、そしてそのサービス内容を日本に伝えたらいいなと思って、ブログシリーズにしたみた。

今回のそのシリーズの第1社のMesosphereにお邪魔した時の話をしたいと思う。

Mesosphereは何をやっているかというと、Apache MesosベースのDCOSというOS（的なもの）を開発している会社。

DCOSって何？

何回もしつこく様々な質問を繰り返し、「じゃあ、PaaS的なもの？」や「え、じゃあ、AWSやAzureとマッピングができるということ？」や「Mesosのマネージドサービスなの？」などの質問に対して、「間違ってはいないが、ちょっと違う」しか返ってこない。
そもそもDCOSはなにをやってくれるかの確認質問をしていくと、革命的なサービス概念やクラウドに対する考え方が少しずつ現れてきた。
DCOSはデータセンターオペレーティングシステム(OS)という略だが、まさにその通りだった。データセンターにあるノード（クラウド上の仮想サーバでも、オンプレの物理サーバでも）を束ね、一つのOS(っぽく)にしてくれるものだった。つまり、クラウド型のメインフレームという言い方もできる。クラウドの無限リソース(CPU、メモリーとストレージ)を一つのOSのようなものにしてくれるサービスだった。やっと概念が理解できた気がする。
コマンドラインやUIからそのOSを操作ができ、簡単にフレームワーク、ライブラリーやアプリケーションをインストールができる。ほー、これはなかなかすごいことだ。

例えば、複数のクラウド上のノードにSparkやHDFSをインストールしようと思えば、そのオーケストレーションや運用がかなり大変だが、一つのOS内であれば比較的に簡単だろう。
DCOSならまさにそんなイメージで、コマンドラインにログインして、sparkのインストールコマンドを実行すれば、物理レイヤーの無限なノードに数にインストールし、運用や監視してくれる。
下の物理レイヤーはなんでもOK（Openstack, AWS, Azureやオンプレなど）だからこそ、既存のHWを生かすハイブリッドクラウドが簡単になる。

DCOSはOSであることは実はかなり意味深い。MesosというApache発のプロジェクトがあって、DCOSはMesos上でできている。MesosはDCOSのカーネルであり、OSの一部だけである。
また例え話しよう。LinuxはOSではなくて、カーネルである。Red HatのようながRed Hat Enterprise LinuxというLinuxカーネルベースのディストリビューション（=OS）を提供する。
この用語でいうと、

Red Hat = Mesosphere
Linux = Mesos
Red Hat Enterprise Linux = DCOS

のような考え方になる。しかし、Linuxと違って、一台のサーバで動くのではなく、分散型のインフラで動いているからこそ、クラウドと相性抜群。すごくない？うん、かなり革命的。

どういう会社やサービスが使っているの？

分かりやすい会社からいうと、Twitter、AppleやAirBnBだ。Twitterではクラウドの膨大なスケーラビリティの要件は当然だが、デベロッパーにとって使いやすい環境も必要だったからこそ、大量のリソースを簡単にしてくれるMesosにしたという。
AirBnBでは多くのビッグデータプロジェクトやアナリティクスをHadoopでやっていて、かつAWSのビッグユーザだ。普通に考えると、Amazonが提供するElastic Mapreduce (EMR)というHadoopのマネージドサービスを使うのが自然な流れだが、EMRは幾つかの制約もあって、自分の好きなように使えんかったとAirBnBの技術トップが説明してくれる。そこで、AWSのインフラを使ったまま、DCOS上の好きなHadoop distやバージョンなどを管理することにした。

なるほど。自分のクラウド型のマネージドサービスを簡単に作れるということ。ある意味、自己流EMRやKibanaやElastic Searchのマネージドサービスを作れる。

ベンダーロックインされないし、自分の好きなように使えるし、そしてハイブリッド型でオンプレやSoftlayerのようなIaaSも簡単にミックスができる。

私の個人的な感想

色々デモやサービスの概念を説明してくれる最中に、頭の中で日本市場とのフィットを考え出した。日本市場にも、特にSI業界にこういうものが必須になってくるだろう。
メインフレームのような考え方でコモディティ化しているIaaSのクラウド基盤を自分のサービスにする必要が出てくるだろう。お客様の代わりに、ベンダーロックインも気をつけながら、クラウドの美味しいところをつまみ食いしていくのがSIの信念のではないか。二重投資も避け、ハイブリッドがベストプラキティスにもなりつつある。
オープンソースであるMesos (DCOS)ベースのライブラリーやアプリケーションを作っていくのがSIのベストプラキティスにはなる時代もそれほど遠くないだろう。ある特定のクラウドベンダーの
専門SIは最近の流行りではあるが、本当はマルチベンダーが正しいと私は個人的に考えている。マルチベンダーやハイブリッドクラウドのSIをやろうと思えば、MesosやOpenStack以外の選択肢は今のところないのでは？

IT業界のロックイン⇨オープン化の永遠の繰り返し

上記のような流れと流行りを見ると、IT業界の歴史的なオープン化の背景を思い出される。例えばだが、

• メインフレーム：クローズドなメインフレーム ⇨ オープンメインフレーム
• データベース：OracleやSQL Server ⇨ PostgreSQLやMariaDB
• OS：Windows Server ⇨ Linux
• ミドルウェア：Websphere, Weblogicなど　⇨　node.jsやtomcatなど
• PaaS：Heroku/Force.comなど ⇨　Cloud Foundry
• クラウド: AWS, Azureなど　⇨ …. OpenstackやMesos（サンフランシスコは今ここかな？）

今まで多くの領域ではオープン化が進んできた。今現在のクラウド業界ではトップ2社のプレイヤーがクローズド型である。APIは確かに提供しているが、APIがあるからオープンであるのが大間違え。AzureやAWSサービス(例：DynamoDBやAmazon Machine Learningなど)はAWS意外のインフラで動かない。ソフトをダウンロードするのももちろん不可能。その一方、Openstack、Cloud FoundryやMesosなどというオープンソース型のクラウドサービスが次々出てきている。(AWS上にDCOSを動かすが多いけれども・・)

これからの展開は非常に楽しみ。サンフランシスコで感じたトレンドは明らかにオープン化と自動化だったが、日本でいつそのブームがくるだろう。

そして最後の最後だけど、今回の取材に協力していただいたMesosphereのデベロッパーエバンジェリストのMichael Hausenblach氏、Aaron Williams氏と事業開発のFiona Co氏にお礼を申し上げたいと思います！感謝します！