ドコモ伝統の顔芸リターンズ！というわけで、CEATEC 2012 ドコモブースでひときわ来場者の注目を集めたのは、装着するだけで自分撮りができるメガネ型のウェアラブル端末「ハンズフリービデオフォン」でした。

しかも今回は、複数カメラの実写とCGモデルをリアルタイムに合成する驚異のフランケンシュタイン方式。上の写真では変な隈取りをした敵キャラに見えなくもありませんが、実物は両目周辺が生身の実写、周囲がCGアバターという絶妙のキメラ感を漂わせています。


(画像：デモのセットアップ。)

メガネ型端末といえば、自分が見ている主観映像を相手に見せるビテオ通話機能はよく紹介されます (たとえば Google の Project Glass など)。しかしお互いに顔を見て話す対面ビデオ通話には、自分撮りのためにカメラを手に持って構え続けねばならない課題がありました。

ドコモのメガネ型端末ではこの問題を、「メガネの各所に搭載した超広角カメラで着用者を撮影し、歪み補正を施したうえで正面顔を再構成する」という荒業で解決します。プロトタイプの詳細や実演動画は続きをどうぞ。

(解説パネル)



端末のプロトタイプはこんな感じ。デザインはロボットデザイナーとして知られる園山隆輔 氏。カメラは普通のメガネであればヒンジがある部分の上下と前方、顔面撮影用の内側を加えて4つ x 左右。さらに後頭部にひとつ。

(目の表情を撮る内側カメラ)

今回のデモでは内側のふたつと後頭部しか使われていないものの、形状としてはフル機能のメガネ端末コンセプトとしてデザインされています。たとえば下向きの広角カメラでは足元や手元を撮ることができるため、メガネ側で仮想キーボードを表示して、打鍵する指の動きで入力といった使い方も可能。


後ろから。後頭部カメラのマウント部分は、将来的にバッテリーなどを収めるスペースとしても想定されています。メガネ型端末はレンズ側にカメラやディスプレイがありフロントヘビーになりがちであることから、後頭部ユニットにそれ以外の部品を集めてバランスをとる役割もあり。

通常のメガネと異なり後頭部でU字につながっているため、レンズのあいだを結ぶブリッジや鼻で支えるノーズパッドは無し。俯いてもメガネは落ちません。またレンズ (ディスプレイ) 部分を開くことも可能。意義は聞きそびれましたが、むやみにかっこいいのは確かです。(お話をうかがったドコモ先進技術研究所 先端技術研究グループ 主幹研究員 福本氏いわく、「ここに電動モーターを仕込みたかった」) 。



こちらは同じ構造のまま、スリムになったコンセプトモックアップ。


実際のデモの様子はこちら。 (英語で解説しているのは来日中のEngadget 本家編集長ティム)。

今回のデモでは、あからさまにCG然とした首や肩まわり、構造的にキャプチャしようがない髪型や鼻の穴などはともかく、表情を大きく伝えるはずの口もとあたりまでほとんどCGで、眼の周囲の狭い範囲だけが実写合成になっています。妙に濃いアイメイクに見えるのは、実写画像のライティングとCGアバターがあまり合っていないため。

解説によると、今回のデモで眼の周囲だけを使うことにした理由は、カメラの解像度が720pと低く、歪みを補正すると周辺の解像度が低くなりすぎるため。画角としてはすでに顔のほとんどの部分を実写映像でカバーできており、あとは解像度の高いカメラを使うことでよりリアルに、実写の正面顔に近いものを合成することが可能とのこと。

現状のCG顔では「内向きカメラなんて使わずに声と頭の角度からアバターを口パクさせればいいんじゃないの」「カメラ入力をCGパーツの位置・形状に変換すれば？」とも思えますが、実写を使うことによって、記号的なアバターでは不可能な微妙な表情のニュアンスや、あるいは化粧すら伝えられる点がポイントです。(もちろん、(今は/この相手には) 顔を見せたくないからアバターで、も選択できます)。

こちらは特別に見せていただいた、内側カメラで実際にキャプチャできている範囲をアバターに重ねた画像。CG部分をグレーで示しています。確かにおでこのあたりはハイライトが入ったうえに歪み補正で引き伸ばされて、金属光沢のある鉄仮面状態。

福本氏によれば、デモとしてどの程度まで実写を合成するかは議論があったものの、パッと見た印象で破綻が少なく「整った」顔に見えることを優先したとのこと。現状でできるだけ実写部分を多くしたバージョンも怖いもの見たい気がしますが、来場者にモニタで大写しする顔芸としてはインパクトが大きすぎそうです。
今回のデモはアプリケーションのひとつとして「ハンズフリービデオフォン」機能を紹介しているものの、プロトタイプは「全部入り」のメガネ型端末コンセプトとして設計されています。いわく、「ARはできてあたり前」(福本氏)。

自分撮りのほかにも、同じ広角カメラを使った画像認識入力や各種センサーによるバイタルモニタリング、さらにはCEATEC 2009で幕張メッセを震撼させた顔芸デモ「目で操作できるイヤホン」のような入力形式に至るまで、「ケータイをメガネ型にした」だけではないヒューマンインターフェースデバイスの研究が背景にあります。

ウェアラブル端末といえば Google の 夢見がちな ヴィジョンあふれる創業者みずから陣頭指揮を執る Project Glass ばかりが話題となっていますが、メガネ型ケータイが量販店で売られる時代になっても、日本製の魅力的な製品や技術に期待して良さそうです。CEATEC JAPAN 2012 は6日(土)まで幕張で開催中。実物はドコモブースで見られます。