目でキャラと交流/ツール操作、視線追跡型HMD「FOVE」がKickstarterで資金調達

　FOVEは、世界初の“視線追跡型”ヘッドマウントディスプレイ「FOVE」(フォーブ)の量産開始を実現するため、Kickstarterを利用した資金調達を19日から開始。25万ドルのクラウドファンディングを目指しており、349ドル以上のバック(出資)をした人を対象に、FOVEの特別割引先行予約を開始している。

　 アーリーバード(早期申込者)向けには200台を用意する予定で、価格は349ドル。セカンドアーリーバード向けが375ドル、デフォルトが399ドルを予定。先行予約終了後は、400〜500ドルでの販売を想定している。Kickstarterでの販売ではない、一般的な製品化の目処は「Kickstarterの動向にもよるが、できるだけ早く製品化を実現したい」(FOVE CTO Lochlainn Wilson氏)という。

　19日には、秋葉原のDMM.make AKIBA Baseにて、キックオフ発表会が開催された。

　装着者の頭部の動きをセンサーで検出し、その動きに合わせて風景などをヘッドマウントディスプレイ(HMD)に表示すると、その風景の場所を訪れたような感覚が味わえる。しかし、現実の視界と比べると、風景の全てにピントが合ってしまっており、手前にあるものに目を向けると、奥の風景がボケるといった表現はできない。

　また、ゲームなどをHMDでプレイし、映像の中の特定のポイントを指定(例えば敵キャラクターに銃の照準を合わせるなど)しようとした場合、マウスやキーボード、コントローラーを用いた2次元的な操作では、素早く正確に、自然にポインティングできないという問題がある。

　FOVEはそれを解消するために、視線追跡技術(アイトラッキング)を導入。装着したユーザーが注目しているポイントを、視線の動きを検知する事で判断。ピントが合っていない部分をボカして人間が自然だと感じる表現にしたり、敵キャラクターを見るだけでそこに照準を合わせたり、キャラクターと視線を交わしたり、感情を自由に表現するといった事が可能になるという。

　さらに、人間の周辺視野は性能が低く、不足している情報のほとんどを脳が補っている。この特性と視線追跡技術を組み合わせた「フォビエイテッドレンダリング」という技術をFOVEに応用可能。ユーザーが注視している部分のみ、高精度に映像をレンダリングするパワーを集中させ、逆に見えていない部分を低解像度でレンダリングする事で、全体的なプロセッシングパワーを抑えられる。これにより、現在は高スペックPCが必要なバーチャルリアリティ(VR)映像の表示を、将来的には低スペックのノートPCやスマートフォンでも楽しめるようになると予測している。

　FOVEでは、「受動的な観賞体験を通じてユーザーを仮想現実世界に存在させる事」をVRの第1段階、「ハンドトラッキングに代表される動作感知を通じた、仮想現実での操作」を第2段階の進化ととらえており、「視線を送る事でツールを操作し、注視する事で情報を引き出し、感情を込めることでキャラクターの注意を引いてやりとりする事が可能になる。感情表現という新しい概念をVRに導入する」というFOVEを「第3の世代」としている。

FOVEのハードウェア

　解像度2,560×1,440ドットの5.8型、液晶ディスプレイを採用(両目に対してディスプレイは1枚)。視野は100度以上で、フレームレートは90fpsを予定し、低残光が特徴という。

　視線追跡センサーは、小型の赤外線視線追跡システムを2つ装備。視線追跡精度は0.2度以下になる予定。追跡の頻度は片目につき120fps。

　頭部の動きを追跡するセンサーも搭載。HMD自体の重量は400gを予定。USB 3.0、Display Portを備え、Display Portを備えたPCから映像を表示する。デバイス上にステレオミニのヘッドフォン端子も備える予定。

「ソードアートオンラインのような世界が実現できるのではないか」

　FOVEの小島由香CEOは、かつてPlayStation向けのゲームを手がけており、当時も視線追跡技術を使って、キャラクターとコミュニケーションするゲームを作ろうとしたものの、実現には至らず、その悔しさをバネにFOVEを創り出したという。大学時代からの「オタク友達(笑)」というLochlainn Wilson氏と共に、約1年前にFOVEを立ち上げた。

　HMDを一から自分達で作ると時間がかかってしまうため、最初は市販品を改造し、視線検出用のデバイスなどを搭載。これまでの試作機の中には、発泡スチロールで作ったものもあったという。

　「最初はiPadを使い、視線をトラッキングしようと考えていたが、眼と認識用のカメラの距離が遠くて精度が出せなかった。眼との距離を近づければいいと考えているうちに、HMDが良いのではないかと、彼(Lochlainn Wilson氏)とラーメンを食べながら(笑)話している時に決まった」と振り返る。

　これまでも人間の視線を追尾する技術は存在するが、自動車のドライバーがどこを見ていたか? など、視線の軌跡を記録し、後で映像と組み合わせて確認するなど、あまりリアルタイム性を追求したものではなく、VRやゲームで活用するためには、より高速な視線追跡技術を自分達で開発する必要があったという。

　今後の展開としては、2015年第3四半期を目処に開発キットを提供する予定。プラットフォームとして、ゲーム開発に用いられるUnity、UnrealEngine、Cryengineを使って開発されたコンテンツと互換性があり、既存のVRコンテンツをFOVEに移植しやすい開発環境になっているという。

　さらに、VRコンテンツを配信する「Wear VR」とパートナー関係も構築。FOVE対応のコンテンツを提供していく予定。

　小島CEOは同時に、さらなる研究開発についても語り、「さらなる進化としては、(人間の表情を読み取る)フェイシャル・レコグネイションシステムも研究していきたい。ポータブルへの展開も模索していく」という。

　視線だけでなく、装着したユーザーの表情を読み取り、感情をVRに反映させる。小島CEOは、「表情が認識できれば、本当に仮想現実の世界に入る事ができ、もう1人の自分を、そこに存在させる事ができるのではないかと考えている。(仮想現実の世界で主人公達が冒険を繰り広げるライトノベルやアニメの)“ソードアートオンライン”のような世界が実現できるのではないか」と、今後の夢を語った。

ゲームやVR以外の展開も

　発表会で行なわれたトークショーでは、プログラミングもできる女優であり、バーチャルリアリティに関する研究も行なっていたという、池澤あやかさんがゲストとして登場。

　実際にFOVEを装着した池澤さんは、視線に合わせてビームの照準がキッチリ動く事や、自分の眼からビームが照射され、敵を倒す新しい体験に興奮した様子。開発のキッカケや苦労したポイントなどを、小島CEO達から聞き出していた。

　さらに、ゲームやVR以外の可能性として、インタラクティブシネマや、医療、教育、観光、会議といった分野にも活用可能。障害がある人達とのコミュニケーションをスムーズにするために、視線追跡を使ってコミュニケーションロボットを操作したり、文字を入力して言葉を伝えるといった活用もできるという。FOVEでは実際に様々な提案を受け、それが実現できるかどうか、実際に取り組みを進めているという。

　さらに、手足に障害があり、筑波大学附属桐が丘特別支援学校に通う沼尻光太君が、視線でピアノの鍵盤を押す情報を入力、それをMIDIでグランドピアノに送り、演奏にチャレンジした「Eye Play The Piano」プロジェクトも紹介。学校の合唱コンサートで、実際に演奏を披露した様子も上映された。

　発表会には沼尻君もゲストとして登場し、「手にあまり力が入らないので、自分でグランドピアノを演奏するのは難しいのですが、新たなテクノロジーのおかげで、演奏するという体験ができ、とても嬉しかった。今後も新たな曲を練習していきたい。そして、“自分で音楽を演奏する”という楽しみを、他の人にも体験して欲しい」と喜びを語った。