画像認識技術を使ったゲームの取り組み【CEDEC 2011】

●ノウハウもたまり、画像認識技術を使ったゲームが今後さら出てくる!?

　2011年9月6日〜8日の3日間、神奈川県のパシフィコ横浜・国際会議センターにて、ゲーム開発者の技術交流などを目的としたCEDEC（コンピュータエンターテインメントデベロッパーズカンファレンス） 2011が開催されている。

　本稿では、開催初日にセッションひとつとして行われた“画像認識技術の使い方と最新の取り組み”についてリポートしていこう。昨今のゲームでは、顔認識技術を使ってプレイヤーの動きをリアルタイムで感知して、ゲームに反映する技術が使われているものがある。『グランツーリスモ5』で使われた“フェイストラッキング”もそのひとつ。このフェイストラッキングとは、プレイステーション3のUSBカメラ“PlayStation Eye”を利用した機能で、同カメラに顔を認識させた状態でレース中にプレイヤーが顔を左右に動かすと、ドライビング中の視点も連動して左右に動くというもの。本セッションの後半では、『グランツーリスモ5』の顔認識実装例も紹介された。

ソニー・コンピュータエンタテインメント Worldwide Studios JAPAN スタジオ テクノロジー部の掛智一氏（左写真）。JAPANスタジオの制作の PlayStation Move タイトルの開発サポートにも従事。

　本セッションではまず、ソニー・コンピュータエンタテインメント Worldwide Studios JAPAN スタジオ テクノロジー部の掛智一氏により、同社の顔認識ライブラリ“libface”が紹介された。“libface”では顔の位置や大きさ、傾き、目や鼻などのパーツ、男女や年齢、メガネなどの属性、笑顔などの認識結果情報が取得できる。スクリーンでは、カメラを通じて感知された人の顔の動作を認識して、3Dモデルで作られたキャラクターがリアルタイムでフェイシャルアニメーションを展開するデモが披露された。だが、そのままの認識情報データだけでは、ブレ（微振動、ノイズ）・トビ（誤認識、突発的な値の変化）が発生し、3Dモデルの動きがカクカクしたり、なめらかなフェイシャルアニメーションは描けない。ソニー・コンピュータエンタテインメント 半導体システム開発部 / 研究部(兼務)の小口貴弘氏によると、そこで重要となるのが、それを抑制するためのフィルタだという。具体的には、首はさほど早く動かない、瞬きはすごく早いといった部位ごとの特性を加味して調整・最適化を施すフィルタを通すことで、なめらかなアニメーションが描けるようになるのだ。また、認識情報の速度処理速度の違いにより、たとえば60フレームで動くゲームでは非同期処理の調整も必要となってくるが、これも“コンボリューションフィルタ”で調整が可能だという。
　上記、顔認識を使ったフェイシャルアニメーションについて解説を行った小口氏は、顔認識技術のノウハウもたまり、なめらかなフェイシャルアニメーションを実現するフィルタも整備されてきたので、この技術をゲームに採用するいい時期ではないかと述べた。また、ユーザーの反応をゲームに反映することで、新しいおもしろさが提供できるのでは、と受講者へアピールも。

ソニー・コンピュータエンタテインメント 半導体システム開発部 / 研究部(兼務)の小口貴弘氏

　続いて、ポリフォニー・デジタルの内村創が登壇し、『グランツーリスモ5』の顔認識事例を紹介。そもそも同作に顔認識“フェイストラッキング”を採り入れた理由については、ゲーム面とデザイン面のふたつの理由があったという。ゲーム的な理由については横のクルマを確認したいが、もうコントローラにボタンがなかったことを挙げた。デザイン面では、内装視点が追加されたため、車内を見回せるとおもしろそうだ、という理由からだという。“フェイストラッキング”を採用したことによるユーザーの評価では、「予想外に認識精度がいい」や「ボイスチャット用いPlayStation Eyeを持っていればOK（導入コストが少し低い）」といったポジティブな意見から、「慣れないと操作しにくい」、「目線と顔の動きがズレて気持ち悪い」などといったネガティブなものまで、さまざまな意見が集まったとのこと。顔認識技術を使ったメリットとして、「リアル志向のゲームではリアリティが増す」、「CPU負荷は割と低い」などを挙げた。一方で「メモリ使用量が多い」、「シビアな制御にはまったく向いていない」というデメリットも感じたという。

　最後に、掛智一氏は今後の課題として、暗所、逆光、斜光時など顔認識性能の低下時への対策などを挙げ、その取り組みも紹介し、本セッションを締めくくった。

　自分の顔の動きがゲーム内に反映される顔認識技術。セッションはアイデアの一例として、キスイベントなどで使ってもおもしろいのでは、というユニークな提案も。新しいプレイ感覚だけではなく、アイデア次第ではいままでにないゲーム体験をも味わせてくれそうだ。