米Intelのサンタクララ データセンターに見る、圧倒的な日米格差

　やや時間が経ってしまったが、3月末に米国サンフランシスコで開催された「Intel Cloud Day」の翌日、米Intelのサンタクララのデータセンターを見学する機会があった。同社が誇る世界でも最高効率のデータセンターなのだが、そこで気付かされたのは、日本のデータセンターがいかに不利な状況に置かれているかということだった。

　高効率を目指したデータセンターの例としては、国内ではIDCフロンティアの北九州／白河やさくらインターネットの石狩などの施設がよく知られている。これらの施設を見学した経験を踏まえると、Intelのデータセンターはあまりに恵まれているように見えてしまうのだった。

高効率を目指す取り組み

　今回見学したIntelのサンタクララのデータセンターは、同社の本社の敷地内にある。ちなみに、サンフランシスコの市内からは車で1時間弱といったところで、フリーウェイ101号線のすぐ北側、Great Americaというテーマパークのすぐ裏手といった立地だ。ここには一般向けの展示として“Intel Museum”も併設されているので、訪れたことのある人も多いだろう。どうでも良いことだが、昔筆者がこの博物館を見学したときには、確か“Intel Computer Museum”という名前だったような気がするのだが、いつの間にか名前が変わっているようだ。

　昔と違う点はもう1点。今はGoogleマップなどで日本に居ながらにして詳細な航空写真を見ることができる。実際に見てみると、正面から見える本社ビルの後ろに、本社よりも大きな建物が存在することが分かる。これが今回見学したデータセンターなのだが、元をたどれば同社の半導体製造工場（Fab：Foundryの意味らしい）だったという。かつてはFab D2と呼ばれていたこの製造拠点は、2009年に閉鎖が発表されており、その後データセンターに転用されたという経緯だ。

　データセンターの運用を担当する同社のIT部門のCTOで、Intel Fellowの肩書きも持つShesha Krishnapura（シェシャ・クリシュナプラ）氏によれば、同社のデータセンターの用途は大きく「シリコン／チップのデザインのためのコンピューティング」「オフィス向けの一般用途（電子メールやコラボレーションツールなど）」「マニュファクチャリング・コンピューティング（Fabやアセンブリラインの管理など）」「エンタープライズ・アプリケーション」の4種だという。

　グローバルでの総計としては、データセンター数が60、IT負荷が消費する電力量は57.5メガワットで、2018年までには70メガワットに達するという。数年前に「メガソーラー」という言葉が流行ったが、一企業のITで70メガワットという電力を消費するという規模には驚くほかない。

　同社のデータセンターは1990年代から段階的に進化を続けている。1990年代のデータセンターではラックあたりの電力量は5kWで、ホットアイル／コールドアイルの分離は行なわれず、天井からの冷気の吹き下ろしでマシンルーム全体を冷却するというシンプルな手法を採用。PUEでは2.0以上というレベルだったそうだが、その後ラックあたりの給電量が10kW、15kW、30kWと増大していくにつれ、ホットアイル／コールドアイルの分離やラック列横端からの冷気吹き出しに変わるなど、データセンター自体のアーキテクチャを進化させていった。

　そして、今回見学対象となった最新のデータセンターでは、ラックあたりの電力量は43kW（独自デザインの60Uラックを使用）、これを外気冷却でまかなうことでPUEは1.06まで低下させている。

2つの異なる冷却手法

　サンタクララのデータセンターでは、同じ敷地内に異なる冷却方式を採用するマシンルームが混在している。水冷方式（Close-Coupled Water Cooling、Space A）と外気冷却（Free-Air Cooling、Space B）だ。実は効率的にはSpace Bの方が優秀で、PUE 1.06というのはSpace Bの値となる。Space Aの水冷方式は設計目標値でPUE 1.07となり、ほぼ同水準とはいえ効率が微妙に悪化している。Space Aのほうが後で出来たようなのだが、効率が下がる冷却手法を採用した理由はシンプルで、「天井高が足りなかった」ということだ。

　まず、外気冷却の方を見てみると、こちらはマシンルームの天井が煙突のように高く採られており、天井から外気を採り入れて吹き下ろし、ホットアイルの熱気は横壁に設置されたルーバーから排出される、というエアフローになっている。実物を見ると、正直ごく大ざっぱなものに見えるのだが、実際には多分CFD（数値流体力学）などを駆使してエアフローのシミュレーションや解析が行なわれているのだろう。

　クリシュナプラ氏が筆者として名を連ねるホワイトペーパーでは、天井から採り入れた外気を貯めておく“Supply-Air Plenum”（空気だまり）には、スクールバスを2台並べて駐車できるだけのスペースを確保しているという。広大なスペースからゆったり送風する方が、狭い通路を通して送風するより抵抗が少ないだろうことから、こうした空間の確保が可能かどうかが、効率を大きく左右するものと思われる。

　同様の配慮は、日本のデータセンターを見慣れた人にとってはマシンルームを一目見た瞬間に、すぐ気がつく差となって眼前に展開する。何しろ、確保されているスペースが異様に広いのである。感覚的な例えとしては、エンクローズされているホットアイルに入った場合、日本のデータセンターでは通路の両側にラックが並んでいる、というごく当たり前の感想になるところ、Intelのサンタクララデータセンターでは、部屋の壁側にラックが並べてあり、部屋の真ん中は空きスペースになっている、という見え方になる。通路幅としては日本の標準的なデータセンターの2倍近いスペースが確保されているようだ。

　空気流体力学的にホットアイル／コールドアイルの幅の最適値があるのかどうか残念ながら詳しくは分からないのだが、闇雲に広いスペースを採っているとも思えないため、多分効率を考えた最適値として設定されたモノだろう。そして、この幅を日本のデータセンターで確保可能かと考えると、それはちょっと難しそうだ。少なくとも、かつて見学したIDCフロンティアの白河データセンターやさくらインターネットの石狩データセンターでは、こんな通路幅を確保したラック列はなかったものと記憶している。

　さて、続いてSpace AのClose-Coopled Water Coolingだ。こちらは水冷式の熱交換器をホットアイル直上に設置し、ホットアイルの熱気をその場で冷却して即コールドアイル側に回す、という局所冷却型のシステムになっている。熱気で温められた冷却水は屋外の熱交換器に送られ、クーリングタワーで冷やされた冷却水に熱を渡して再びホットアイル天井に戻っていく、という流れだ。

　直下のラックが1ラック当たり43kWという大消費電力量であることを考えると、ホットアイル直上の熱交換器だけで十分な冷却ができる点も驚きだし、オーバーオールでのPUEを1.07まで下げている点も驚嘆に値するだろう。天井に設置されているのは当然ながらホットアイルの熱気が上昇し、冷却された空気は下降する、という自然対流を十分に活用するためだ。実際、空気の循環のために消費する電力量はごくわずかで済んでいるという。

シリコンバレーと日本の格差

　Intelがデータセンターの効率を高めるために並々ならぬ努力を払っていることは間違いないだろう。しかし、今回サンタクララのデータセンターを見学して感じた素直な感想は、「日本と比べてずいぶん恵まれた条件だ」となる。

　まずは、気候である。サンフランシスコは「霧の」という枕詞が付くように、既設によってはシトシトと雨が降り続くこともあるが、サンタクララの辺りはどちらかと言えば砂漠的な気候と考えてよい。しかも、ロスアンゼルス周辺のように高温ではなく、適度に寒冷で適度に乾燥した気候がほぼ一年中続く場所だ。実際、Space Aでの外気冷却のカバー率は97％だそうで、外気冷却だけでは対応できず冷却器を運転したのは1年間で36時間ほどだという。これが日本なら、真夏の時期に36日間は冷却器の運転が必要、という話になっても不思議ではない。

　さらに、この辺りはベイエリアと言われるだけあって、サンフランシスコ湾が深く入り込んだすぐ脇、つまり海沿いのエリアとなっている。詳細は聞いていないが、多分冷却水としては海水を活用しているのではないだろうか。真水に関しては水不足が大きな社会問題になる土地柄ではあるが、サンフランシスコの沖合にはアラスカ沖から南下する寒流が流れており、冷却水としては申し分ない。

　ついで、スペースの余裕だ。これはIntel特有の事情とも言えるが、なにしろスペースは有り余っている印象だった。これは単にホットアイル／コールドアイルの通路幅というだけにとどまらず、実のところマシンルームとして利用可能な広大なスペースが予備として空いているのである。かつてのFabがいかに巨大な建物だったか、ということでもあるが、同時に半導体製造工場として建設された建物であることから、天井高が極めて高く採られていたり、また床の耐荷重も十分すぎるレベルに達しているだろうことがうかがえる。

　日本の高効率データセンターは、基本的には何もない土地にまっさらの状態から建屋を建設しているため、むやみに大きな建物をつくることはできない。そんなことをしたら初期投資額が莫大になってしまい、少々の高効率化では取り返せないだろう。一方、Intelのサンタクララデータセンターでは、廃止されたFabという広大なスペースが転用できているため、スペースに対するコストはごく低いことが想像できる。実際、Space A、Space Bに匹敵する空きスペースが残っており、新たにマシンルームとして改装を行なうところだという話だった。

　もちろん、これはFabの転用という特殊な状況によって得られたアドバンテージではあろうが、四季の気候変化が大きく、降水量／降雪量も相応に多い日本国内で同水準の高効率データセンターを実現するために必要な創意工夫は、やはりIntelのサンタクララデータセンターよりも多く求められるに違いない。風土に依存する話なのでうらやんでも仕方ない部分はあるが、グローバルな競争環境の中、日本国内のデータセンターがいかに厳しい競争に直面しているのかを改めて思い知らされる形となった。