Hatena::ブログ(Diary)

shi3zの長文日記 RSSフィード Twitter

2015-09-17

ドワンゴは本気です。120万CUDAコア 最大ノード1TB RAMの人工知能研究用GPUファームを無償貸与 23:10

 なんてこった・・・

 どこにいってもコレだ


https://i.gyazo.com/4acbc632ae0f804f1b51e1c88e4c9f67.png


 俺だけか?

 というか俺がリターゲティングされているのか???


https://i.gyazo.com/b58ee10b821c6a6e157649ec049ba167.png

 まあいいんだけど。



 というわけで、とりあえずドワンゴが割りとマジでディープラーニングやりますというニュースの本気度を伝えるために、挨拶代わりにGPUサーバーファームを作りました。


http://pc.watch.impress.co.jp/img/pcw/docs/721/741/01.jpg

ドワンゴ、ディープラーニング専用GPUサーバー「紅莉栖(くりす)」を構築 〜TITAN XのQuad SLIを100台。人工知能研究用に無償貸し出し - PC Watch

http://pc.watch.impress.co.jp/docs/news/20150917_721741.html



 明日から稼働です。

 とりあえずこれが僕のドワンゴでの復帰(?)後の初仕事になりました。



 やるぞ、ということになってドワンゴ人工知能研究所と、ドワンゴ社内の知能情報セクションに聞いたところ、「メモリ1TBくらいのがいくつか欲しい」ということなので、ひとまず2台だけ1TBにしましたが、こういうタスクが必要ならば、随時増やしていきます。


 どれくらい本気かというと、秋葉原中のTITAN Xを買い占めてもまだ足りず、しかたがないので海外から在庫をかき集めてハッカソンに間に合わせた。現時点でも20x4=80枚のTITAN Xがデータセンターにあるわけで、普通に考えてちょっと頭おかしい。放熱大丈夫か?と思うんだけど、そこはバッチリです。


 僕も今、TITAN Xx2のマシンをみんなで共有してるんだけど、やっぱいろいろやるとすぐ一杯になっちゃう。だからもう思う存分ブン回せる環境が欲しい。だから作った。夢よ。これは。研究者の夢。しかも100台


 これが計画された当初から、ドワンゴに出社する度に、若い技術者から「紅莉栖はまだですか?いつからですか?」と聞かれるほどwktkでクールなスーパークラウド。NVIDIAに非公式に確認したところ、2015年9月現在、世界初にして世界最大最高速のMaxwell世代のGPUファームです。


 これを明後日から始まる全脳アーキテクチャハッカソンで無償開放するとともに、ドワンゴのAIxCGプロジェクトのインターンは使い放題。


 1TBだぜ1TB。

 

 軽く想像を絶する。

 1TBっつうのは要するに1024GB。でかすぎる。


 その昔、540MB入るCD-ROMは、新聞の記事が10年分保存できると言われたものですが、1TBのメインメモリーというのは、その2000倍ですので、ざっと2万年分の新聞記事が保存可能。人類開闢から現在まで新聞があったとしたら全部ヒープに入る。


 狂ってる!!!


 さらに本番環境では21TBの共有ストレージも用意する予定。

 

 来年にはMaxwellの次の世代のPascalというGPUが出るので、それがでたらそれも入れていきたい。現行世代の10倍程度の性能らしいので人類がもう滅ぼされる可能性も高い。


 な、本気でしょ?


 GoogleYoutubeを画像解析してネコを発見したんだったら、ドワンゴはニコ動を画像解析してもっと面白いものを発見してやるぜ。


 ニコ動がYoutubeよりもいいのは、映像と同期したコメントのビッグデータを持っているということ。

 Youtubeにつけられているコメントはあくまでも映像全体へのコメントだが、ニコ動のコメントは映像に同期してる。すなわち、写っているものがなんなのか、コメントから類推することができる。この性質を使えば、Googleよりも精度の高い人工知能を作ることができるかもしれない。それに生放送のデータとかもある。


 ドワンゴのインターン(および研究者)は、この膨大な動画データの全てとコメントデータを自由に使って研究することができる。膨大なデータと世界有数の計算リソースが好きなだけ使えて、なんと給料まで貰える。こんな話があって本当にいいのか!?


 転職はもちろん、インターンも幅広く募集。

 インターンで作業した内容で修士/博士論文を書いてもOK。


 さあとりあえず気軽な感じで応募してみよう。


 なあに、とって喰われるわけでもなし。

 採用者には焼きそばよりも美味い肉を僕が焼いてあげます。

新しい時代のエンジニアについて

http://dwango.co.jp/recruit/beyondtheweb/index.html