(cache) Google: 始まりは 112台の自作サーバー、そして 5000億円／四半期のデータセンター資産へ

Google: 始まりは 112台の自作サーバー、そして 5000億円／四半期のデータセンター資産へ

Posted in .Chronicle, .Selected, Data Center Trends, Google by Agile Cat on August 19, 2014

Google: From 112 Servers to a $5B-Plus Quarterly Data Center Bill
http://wp.me/pwo1E-7Lz
Yevgeniy Sverdlik – July 23, 2014
http://www.datacenterknowledge.com/archives/2014/07/23/from-112-servers-to-5b-spent-on-google-data-centers-per-quarter/

It was only 15 years ago that Google was running on slightly more than 100 servers, stacked in racks Sergey Brin and Larry Page put together themselves using cheap parts – including insulating corkboard pads – to cut down the cost of their search engine infrastructure.

それは、たった 15年前のことである。Sergey Brin と Larry Page の手により、Google が 100台少々のサーバー上で動き始めたのだ。絶縁体として用いられるコルク･ボードパッドまで含めて、安価なパーツで構成されるサーバーが、ラックの中に積み上げられていった。そうすることで、検索エンジンのインフラ･コストを、彼らは削っていった。

That do-it-yourself ethos has stayed with the company to this day, albeit it is now applied at much bigger scale.

この、日曜大工的な精神は、そのまま同社に生き続けているが、いまでは比べものにならないスケールで適用されている。

Google data centers cost the company more than $5 billion in the second quarter of 2014, according to its most recent quarterly earnings, reported earlier this month. The company spent $2.65 billion on data center construction, real estate purchases and production equipment, and somewhat south of $2.82 billion on running its massive infrastructure.

7月初めに報告された、直近の四半期決算によると、2014年 Q2 における Google データセンターのコストは、$5 billion 以上とされている。同社は、データセンターの建設および、不動産の取得、設備の購入などに＄2.65 billion を投資し、また、大規模なインフラストラクチャを運用するために、$2.82 billion を費やしている。

The $2.82 billion figure is the size of the “other cost of revenue” bucket the company includes its data center operational expenses in. The bucket includes other things, such as hardware inventory costs and amortization of assets Google inherits with acquisitions. The size of this bucket in the second quarter represented 18 percent of the company’s revenue for that quarter. It was 17 percent of revenue in the second quarter of last year.

この $2.82 billion という数字は、データセンターの運用コストを含む、同社における「その他のコスト」を、大まかなところでザックリと示している。この数字には、たとえばハードウェア在庫の金額や、Google の買収先から継承する償却資産といったものが含まれている。今年の Q2 における、この数字の規模は、同じ Q2 の売上高に対する 18％を占めている。そして、昨年の Q2 では、この数字は 17％であった。

Google’s largest server order ever

While the amount of money Google spends on infrastructure is astronomically higher than the amount it spent 15 years ago, the company makes much more money per server today than it did back then.

いまの Google が、インフラに費やすコストは、15年前とくらべて天文学的に膨らんでいる。つまり、当時と比べて、サーバーごとに費やす金額が大きくなっているのだ。

“In retrospect, the design of the [“corkboard”] racks wasn’t optimized for reliability and serviceability, but given that we only had two weeks to design them, and not much money to spend, things worked out fine,” Urs Hölzle, Google’s vice president for technical infrastructure, wrote in a Google Plus post today.

「いまになって、振り返ってみると、あの “コルク･ボード” ラックのデザインは、信頼性と保守性という意味で最適化されていなかった。しかし、二週間でデザインを完了し、しかも、多額の費用をかけられなかったことを考えると、上手くいったのだろう」と、Google の VP for Technical Infrastructure である Urs Hölzle が、今日の Google＋にポストしている。

One of Google’s early “corkboard” racks is now on display at the National Museum of American History in Washington, D.C.

In the post, Hölzle reminisced about the time Google placed its largest server order ever: 1,680 servers. This was in 1999, when the search engine was running on 112 machines.

そのポストで Hölzle は、当時としては史上最大である、1680 台のサーバーを発注したときの思い出にも触れている。それは、1999年のことであり、すでに同社の検索エンジンが、112台のマシン上で実行されていたときの話しでもある。

Google agreed to pay about $110,000 for every 80 servers and offered the vendor a $2,000 bonus for each of the 80-node units delivered after the first 10 but before the deadline of August 20th. The order was dated July 23, giving the vendor less than one month to put together 800 computers (with racks and shared cooling and power) to Google’s specs before it could start winning some bonus cash.

Google は、80台のサーバーを１ユニットとし、それぞれのサーバーに対して $110,000 を支払うことに合意した。そして、8月20日までに、最初の 80 ノード x 10ユニットを納入することで、ユニットごとに $2000 のボーナスを提供すると、そのベンダーに約束した。この発注は 7月23日付けであり、そのベンダーは 800台のコンピューターを、1ヶ月足らずで調達しなければならなかった（ラックと共有ファンと電源も含む）。しかも、ボーナスを手にする前に、Google の要求するスペックに合わせなければならない。

Hölzle included a copy of the order for King Star Computer in Santa Clara, California. The order describes 21 cabinets, each containing 60 fans and two power supplies to power those fans.

Hölzle は、そのブログ･ポストに、Santa Clara, California の King Star Computer 宛に発行した、発注書をコピーしてくれた。それは、21台のユニットを発注するものであり、それぞれに 60台のファンと、そのための 2つの電源が取り込まれるものであった。

There would be four servers per shelf, and those four servers would share:

1つのシャシーに 4台のサーバーが配置され、以下を共有する：

400-watt ball bearing power supply
Power supply connector connecting the individual computers to the shared power supply
Two mounting brackets
One plastic board for hard disks
Power cable

Each server would consist of:

個々のサーバーの構成要素：

Supermicro motherboard
265 megabytes of memory
Intel Pentium II 400 CPU with Intel fan
Two IBM Deskstar 22-gigabyte hard disks
Intel 10/100 network card
Reset switch
Hard disk LED
Two IDE cables connecting the motherboard to the hard disk
7-foot Cat. 5 Ethernet cable

Google’s founders figured out from the company’s early days that the best way to scale cost-effectively would be to specify a simple server design themselves instead of buying off-the-shelf all-included gear. It designs its hardware on its own to this day. Other Internet giants that operate data centers at Google’s scale have followed suit.

Google の創設メンバーたちは、同社が立ち上がったときから、すべてのギアが取り込まれた既成品サーバーを購入するのではなく、ニーズに適合するシンプルなサーバーを自らデザインすることが、大きなスケールで費用対効果を向上させる方法だと、理解していたことになる。そして、ハードウェアを独自にデザインするという考え方は、今日まで続いている。さらに言えば、Google スケールでデータセンターを運営する、他のインターネット･ジャイアントたちも、それを追随してきたことになる。

ーーーーー

とても面白い話なので、楽しみながら訳すことができました :) そして、分かったことは、今日に至るまで Google が、既成品としてのサーバーを、まったく購入していないという、徹底したカスタム路線を貫いていることです（多少の例外はあるかも？）。いつ頃から、台湾の ODM に発注先が切り替わったのか、そのあたりは分かりませんが、データセンターを運用する側が、つまりユーザー側が、サーバーをデザインすべきという発想の原点が、ここにあるのでしょう。 Open Compute Project Japan を、お手伝いしている Agile_Cat としても、このトピックを皆さんと共有できて嬉しいです。何かの機会があり、Washington, D.C. へ行くことがあるなら、National Museum of American History で初代 Google サーバーを見学したいものですね。