2019年11月，スパコン（スーパーコンピュータ）のトップカンファレンスであるSC19で，小形のAI専用スパコンがデビューをはたしました。「⁠CS-1」と名付けられたそのマシンは，ウェハースケール，つまり30cmシリコンウェハーを一枚まるごと使った巨大なCPUをもち，その広大な領域に埋め込まれた40万ものコアに，ターゲットのニューラル・ネットワークをそっくり全部マッピングして並列動作させます。

このあまりにもシンプルで，かつ壮大なアイデアをストレートに実現したのはCerebras Systemsというスタートアップ・カンパニーです。

筆者はいくつものスタートアップ，とくにハードウェア・システムを開発する企業を見てきました。Cerebrasについても二年ほど前から何度か訪問して開発状況などを見てきましたが，これほど野心的なスタートアップは滅多にありません。

このCerebrasの技術についてはすでに多くの記事が，それも私の尊敬する方々によって出されています（注1⁠）⁠。そこで本稿では，その技術ではなく起業の経緯などに焦点を当てた，つまりこのモンスターマシンを生んだ企業のスタートアップストーリーをお届けします。

注1）

たとえば安藤氏の記事「高速ディープラーニングが可能なWSEをCerebrasはどうやって実現したのか」など。

CS-1

繰り返しになりますが，控えめに言ってもCS-1はとてつもないモンスターです。本記事はCerebrasの技術についてはあまり書かず，スタートアップストーリーや彼らの大きなビジョンを伝えることが目的なのですが，さりとて何も技術に関する情報がないと各エピソードの重みがわかりません。

そこでまずはじめに，簡単にCS-1のおおまかな設計について解説します。以下のCerebrasの各Blogがとても良くできているので，それを適宜引用して説明します。

• Blog 1：“⁠Wafer-Scale Processors: The Time Has Come⁠”
• Blog 2：“⁠Cerebras Wafer Scale Engine: Why we need big chips for Deep Learning⁠”
• Blog 3："ISPD 2020 Contest: Wafer-Scale Deep Learning Accelerator Placement Contest"

WSE - Wafer Scale Engine

まず第一に，CS-1を特異なものにしているのはもちろんその心臓部，つまり30cm（12inch）ウェハーをまるごと使ったCPU（写真1）です。CerebrasはこれをWSE - Wafer Scale Engineと呼んでいます。そのサイズは215mm×215mm。ここに専用のプロセッサが40万コア含まれており，全体のトランジスタ数は1.2兆にも達します。プロセスはTSMCの16nmです。

もともとウェハーは円形ですが，写真2に示したように周辺部分を切り落としてこの形にしています。通常のCPUなどでは，ウェハーの中の小さな長方形1つずつのサイズに切り分けて，それぞれが1つのチップの中に収まります。WSEは12×7つまり84チップを合わせて1つにしたようなものです。

各チップ内部のコアは写真3のような2次元メッシュ構造のネットワークによって相互接続されています。そして，チップ間も前述の写真2の青い線，つまりチップ間の隙間を乗り越えた配線層を通じてつながれており，結果的にWSE全体で巨大な2次元メッシュネットワークを構成しています。WSEはこの四角に切り落とした左右の側面からデータの入出力が行われます。

ところで通常，各チップは切り離して利用されます。そのため，このチップ間の隙間「スクライブ・ライン」上に金属による配線層を形成させることもありません，というかそんなことはできないように半導体の製造工程はできあがっています。つまりこれは製造工程そのものに手を入れる，半導体製造企業（今回はTSMC社）側の技術開発を必要とする，結構大変なアプローチです。