機械学習の性能と品質を測る、新ベンチマークMLPerfが登場

有料会員限定記事　現在は登録会員（無料）の方も閲覧可能です

　機械学習の業界標準ベンチマーク「MLPerf」が間もなく登場する。米フェイスブック（Facebook）が2018年9月13日にシリコンバレーで開催した「@Scale Conference」でその内容が明らかになった。AI専用プロセッサの多様化に対応し、異なるアーキテクチャ間で性能を比較できるようにすることが狙いだ。

　MLPerfは2018年5月から、米グーグル（Google）や米インテル（Intel）などの大手IT企業、カリフォルニア大学バークレー校（UC Berkeley）や米スタンフォード大学（Stanford University）などの大学・研究機関が連携して策定を進める機械学習のベンチマーク。2018年10月末までに仕様が決まり、11月には最初のベンチマーク結果が各社から発表される予定だ。

　9月13日の@Scale Conferenceは、フェイスブックがシリコンバレーの主要企業に呼び掛けて開催した大規模システム開発の勉強会だ。その基調講演にカリフォルニア大学バークレー校の教授を長く務め、現在はグーグルのエンジニアとしてディープラーニング（深層学習）専用プロセッサ「TPU（Tensor Processing Unit）」を開発するデイビッド・パターソン（David Patterson）氏が登壇し、MLPerfはスーパーコンピュータのベンチマーク「SPEC」に相当する存在になるとした。

グーグルのデイビッド・パターソン氏

[画像のクリックで拡大表示]

　パターソン氏はグーグルがMLPerfの策定に参加する理由について、「我々はTPUに関して、プロダクションアプリケーション（現場で使用しているアプリケーション）での性能比較で、第1世代TPUはCPUに比べて29倍高速で、第2世代TPUはCPUに比べて消費電力当たりの性能が83倍改善したと説明している。しかし機械学習の性能をどう測定するかは難しい問題だ。そこで様々な会社と一緒にMLPerfの策定を進めることにした」と説明している。

性能とモデルの精度にトレードオフ

　MLPerfが求められるようになった背景には、グーグルのTPUに代表されるAI専用プロセッサの台頭がある。AI専用プロセッサは、CPUやGPUと仕組みが大きく異なるため、その性能を比較するのが難しいのだ。

　例えば推論専用の第1世代TPUは、行列演算ユニットが使用する数値の精度を8ビット整数に抑えることによって、1個のプロセッサに6万5536個もの行列演算ユニットを実装した。その結果、TPUが1サイクル当たりに実行できる行列演算の回数はCPUの数千倍以上にも達した。CPUやGPUが搭載する行列演算ユニットの精度は、倍精度（FP64、64ビット）や単精度（FP32、32ビット）、半精度（FP16、16ビット）だった。

　もっとも行列演算の精度を下げると、機械学習モデルの精度が下がるという副作用がある。演算効率と精度にはトレードオフの関係があるのだ。演算回数が増えたことを指して、単純に機械学習の性能が改善するとは言い難い。

　グーグルや米マイクロソフト（Microsoft）は、モデルの精度を下げずに行列演算の精度を抑えられるよう、IEEEの規格には無い独自の浮動小数点精度を設けてもいる。推論専用のプロセッサだけでなく、機械学習モデルのトレーニング（訓練）に利用できるプロセッサにも、浮動小数点精度を抑える動きが広がっている。こうした各社の取り組みが、性能の比較をさらに難しくしている。