［E3 2015］西川善司の3DGE：網膜投射型デバイスを採用するHoloLens，試して分かったMR対応型HMDのすごさと課題

Microsoftブース

　E3 2015のMicrosoftブースでは，来場者がWindows 10搭載の複合現実（Mixed Reality，以下 MR）型ヘッドマウントディスプレイ「HoloLens」を装着して，コンテンツを楽しめる機会が用意されていた。
　筆者もそれを体験してきたので，今回はそのレポートを行いつつ，HoloLensの正体について，少し突っ込んで考察してみたい。

　それに先だって1つ，紹介がてらお断りしておくと，Microsoftは，今回のE3でHoloLensをを「MRデバイス」と表現していたため，冒頭でも書いたとおり，本稿はそれに倣うことにする。
　MRというのは，「現実世界の視界に対してCGを合成した映像表現手段」なので，拡張現実（Augmented Reality，以下 AR）の親戚のようなものだといえる。実際，ARとMRをほとんど区別しない研究者もいるが，概念的には「現実世界の視界よりもCGの割合が多いもの」，あるいは「現実視界よりもそこに合成されるCGコンテンツの重要度が高いタイプの体験」をMRと呼ぶ（関連記事）。

CGが現実世界に「遅延なし，ズレなし」で張り付いて見える衝撃

HoloLensのイメージ

　HoloLensは，Oculus VRの「Rift」やソニー・コンピュータエンタテインメントの「Project Morpheus」（開発コードネーム，以下 Morpheus）と同じく，頭に被り，眼前に広がる表示映像を見て活用するという，ヘッドマウントディスプレイ（以下，HMD）の一種だ。しかし，CGに加え，現実世界も透けて見えるというのが，RiftやMorpheusとは決定的に異なるポイントとなる。

　また，RiftとMorpheusに代表される仮想現実（Virtual Reality，以下 VR）対応型HMDは，ホストコンピュータとしてのPCやゲーム機を必要とする「ディスプレイデバイス」なのに対し，HoloLensは，それ自体がコンピュータだというのも，決定的な違いの1つだ。そう，HoloLensはWindows 10搭載のPCなのである。
　最終製品のスペックは未公開ながら，業界筋ではプロセッサして「Atom」SoC（System-on-a-Chip）の搭載が有力視されている。

Microsoftが示している，HoloLensでMinecraftをプレイするイメージ。HoloLensはAtomプロセッサベースのため，GPU性能がそれほど高くない。そのため，GPU負荷の低いMinecraftがデモ用に採用されたのだと言われている

こちらはE3 2015のMicrosoftプレスカンファレンスでデモされたHoloLensのデモの一幕

　さて，MicrosoftがE3 2015合わせで実施したプレスカンファレンスでは，「Minecraft」の世界に対し，HoloLensを装着した人がちょっかいを出すという，実に未来感あふれるデモが行われたのだが，MicrosoftブースにおけるHoloLens体験は，もう少し，シンプルなものだった。

白衣を着たスタッフが，来場者の二眼の瞳の距離を計測にやってくる。写真は計測の様子

「69」と書かれたカードが渡された。以降は写真の撮影が禁止されてしまったため，体験中の写真がない。この点はご了承を

　体験開始の順番が回ってくると，ブーススタッフが，専用の測定装置を使って，各来場者の両眼の瞳の間隔距離を計測し，その値を書いたカードを渡してくれる。

　続いてブースの奥に進むよう促された来場者は，このカードを別のスタッフに見せることで，その値に調整したHoloLensを被せられることになる。
　被せられたHoloLensは電源が投入済みで，ブース内で次に進むべき場所をCGマーカー付きで表示してくれる。前述のとおり，HoloLensでは現実視界が透過して見えているので，CGマーカーは現実視界に“添付”されたような感じで見える。

　現実視界にCGをオーバーラップ表示できるHMD機器としては，すでにセイコーエプソンがAndroidベースのMOVERIOシリーズをリリース済みだ。筆者も1週間ほど使っていたことがあるが，HoloLensの見え方も，基本的にはMOEVRIOシリーズとよく似ている。
　ただ，今回のデモですごかったのは，そのCGマーカーが，現実世界の視界に対して，ほぼ遅延なく，安定的にくっついて見えてくれるところだ。人間が歩けば，それこそ視界は上下に揺れるわけだが，その微妙な揺れに対しても逐一遅延なくCGマーカーが追従する。「現実視界にCGマーカーが完全に張り付いている」見え方と言ってもいい。

　意地悪な筆者は，首を大きく傾けながら歩いてみたりもしたのだが，その「斜めになった筆者の視界」上でも，CGマーカーは，現実世界上に置かれている位置から微塵もズレることなく張り付いて見えていた。
　こうした「現実世界にCGを張り付かせる」手法としては，現実世界側に，重複しないユニークな幾何学模様のARマーカー群を配置するのが常套手段だが，ブース内にはそれらしいARマーカーがなかったことも付記しておきたい。
　おそらく，通路のジオメトリ構造自体はHoloLens側でリアルタイムに取得し，その最奥面の固定座標にCGマーカーを配置させる仕組みになっていたのだと思われる。

　知っている人も多いと思うが，HoloLensには，「Kinect」とほぼ同じ原理に基づく投射型深度センサーが組み込まれている。これは赤外光を面照射して，その反射光が返ってくるまでの時間をCMOSベースの距離イメージセンサからToF（Time of Flight）方式で測定するものだとされる。照射範囲は120度だ。
　ToFとは，照射された赤外光が反射されて照射側に戻ってくるまでの時間差から，シーンの深度分布を計測する技術のこと。これはMicrosoftが2009年に買収したイスラエルの3DV Systemsが持つ技術をベースとしている。Xbox One用KinectのToF測距精度は130億分の1秒だといわれているので，HoloLensでもこれに準じた精度で深度値を取得しているものと見られる。

　ちなみに，この深度センサーは動的かつ連続的な遮蔽を検出可能なので，この情報を基に，HoloLensの眼前で行われる両手のジェスチャを取得することができるわけだが，今回のブースデモでは省略されていた。

　話を戻そう。
　奥に進むと，無地でカーキ色をした四辺形の，いかにも「マーカーでございます」といった風情のパネルがあり，そこを覗けとスタッフに指示された。言われるがままにHoloLensを通して見ると，そのマーカー（？）は金属素材の窓枠へと変貌。その「窓枠」の奥には宇宙船の格納庫が広がって見えるのであった。ここでも，深度センサーを活用してシーンのジオメトリ構造を認識し，CG世界を，「カーキ色をした四辺形」部分にマッピング表示しているのだろう。

　通路をさらに進むと，六角形のテーブルが置いてあり，6人のユーザーは，その各辺の前に立つよう指示される。この六角形のテーブルには，直線基調の図柄が描かれていて，HoloLensを通して見ると，この上空に女版マスターチーフのようなスパルタン兵士が出現し，戦闘のブリーフィングが始まるのだった。


　ここでは，現実世界にある六角形のテーブルの上に，武器やら戦場マップやらがCGで表示され，ちょうど，テーブルの上に置かれたCG製のジオラマを見ているような体験をすることになる。ユーザーが動けば，その位置から見たCGジオラマが見えるような感じで，CGオブジェクトはやはり六角形テーブルの上に張り付いているかのように見える。立ち位置を横にズラすと，当該CGジオラマの側面も見えるので，本当に立体物がそこに置かれているかのような感覚に陥る。ここも実現の仕組みはこれまでと同様であろう。

六角形テーブルに浮かび上がるCGジオラマはこんな感じ

　ブリーフィングが終わると，HoloLensを脱がされて別室へ移動し，12対12で「Halo 5: Guardians」のマルチプレイ体験を行うことになったのだが，それは本稿の主旨とは異なるので割愛する。気になる人は，Halo 5: Guardianのマルチプレイレポート記事をチェックしてほしい。

HoloLensは網膜投射型デバイスを採用〜その映像表示メカニズムを考察

　最後に，このHoloLensの映像の見え方についても詳解しておこう。

　HoloLensでは，左右の目に向けて視差の異なる映像を見せているため，表示映像は立体的に見える。いわゆる立体視である。解像度は，RiftややMorpheusよりは高いという実感だ。


　高い解像度だと感じられた最大の要因は，RiftやMorpheusのようなVR対応型HMDと異なり，RGBサブピクセルの存在を知覚できなかったことにある。そう，HoloLensの映像は1ピクセル自体がフルカラー表示をしているように見えたため，RiftやMorpheusのような，RGBサブピクセル構造を使った直視型映像パネルの映像の見え方とは「違う」のだ。プロジェクタの投射映像の見え方に近いと紹介したほうがいいかもしれない。

　フレームレートの実感は60fps以上。OculusやMorpheusで採用されているような，TimeWarp処理付きの“60fps→120fps表示”なのではないかと思う。現実世界に対するCGの張り付き具合にブレがほぼないことからすると，システム遅延もかなり小さいはずだ。少なくとも，RiftやMorpheusの遅延よりも大きいことはないと断言できる。

　それと，今回HoloLensを体験してみて確信したことがある。
　それはHoloLensにおける映像の見え方，あるいは映像の見切れ方が，網膜投射型（Retinal Projection）法特有のものだったことだ。

　RiftやMorpheusでは，直視型の映像パネルを眼前に持ってきて見せているため，眼球を動かしても，映像が見切れたり消失することはない。しかし，HoloLensのような網膜投射型デバイスの場合，網膜に映像を直接投射する関係で，眼球が常に正面を向いていることが前提になっている。なので，眼球を動かすと途端に映像が消失したり，外周が消えてしまったりする。
　また，視野角（≒映像画角）は，RiftやMorpheusと比べるとかなり狭い。対角画角にして半分くらいという印象なのだが，まさにこういった挙動や仕様こそが，網膜投射型表示システムの特有の現象なのである。

　網膜投射型システムでは，眼球内の瞳に映像光を直接注入し，網膜自体をスクリーンにして映像を結像させる仕組みになる。この方式の利点は，事前に視力に合わせた焦点距離調整を事前に行ってしまえば，視力矯正が不要なところにある（※だからブースでは最初に両目の間の距離を計測したのだ）。つまり，どんな視力の人でも裸眼で利用できることになる。

　ただ，弱点もある。
　それは，網膜に直接映像を投射する構造上，映像面積が比較的小さく見える点だ。
　眼球内の開口部である瞳の中の穴を狙って映像を投射しているわけなので，瞳がズレれば，映像が消えたり見切れたりする。当然と言えば当然の話である。

　もっとも，これを弱点と捉えない見方もあったりするからややこしい。人間の網膜は視界中央に視覚細胞が多く集まっていて，解像度の高い視覚が得られているので，視界中央付近がくっきり見えていればそれで問題ないという解釈だ。
　いずれにせよ，没入感を高めるためには，広い視界に映像が見えていてほしい。たとえばAR/MR用途なら，くっきり見えていない視界外周部でもマーカーなどが見えていたほうが便利なのはいうまでもない。

　この弱点を解消するためには，眼前に複数の映像投射機を配置するか，眼球の瞳を追跡するかするメカニズムが必要になり，当然のことながら，それを実現しようとすると製造コストが高く付くことになる。対するHoloLensにはそうした仕組みが実装されていないため，スイートスポットから瞳がズレると，途端に映像が見切れてしまう。ここは，製品化に向けた今後の課題ということになるだろう。

　最後に，「HoloLensではどんな網膜投射型デバイスを使っているか」だが，正直に言って，よく分からない。ただ，RGBサブピクセルが認識できないレベルだったことから，「直視型映像パネルを使った方式ではない」という予測はできるだろう。

Glyphの製品イメージ

　現在，網膜投射型デバイスで実用化されている技術を紹介しておくと，まずはVR対応型HMDの「Glyph」で採用された，小型のDLP（Digital Light Processing）プロジェクタを活用する方式が挙げられる。要するに，小型プロジェクタをHMDに内蔵して，その投射先のスクリーンを網膜にしてしまう方式だ。DLP方式は，RGB−LED光源の時分割駆動と組み合わせれば，1枚のDLPパネルだけでフルカラー映像生成を行える――これを「単板式DLP」という――ため，液晶式に比べてコストパフォーマンスが良いとされる。

　網膜投射型デバイスにおけるもう1つの有力候補は，レーザー光をX−Yスキャンして映像を作り出すMEMS（Micro Electro Mechanical Systems）ミラーデバイスを使った方式だ。ちょうど，ブラウン管が電子ビームをX−Yスキャンして映像を作り出すようなシステムを，網膜に対して行うような方式である。最近では，ミツミ電機が，電気を与えると圧力を生じる圧電素子の原理を用いた2軸（※縦横。X−Yの2次元スキャンが可能）の回転機構を実現した超小型MEMミラーデバイスを発表して注目を集めた。
　なお，フルカラー表示のため，RGBの3色のレーザー光を時分割でMEMSミラーに照射する原理は前出のDLP方式とよく似ている。

筆者もこの圧電素子を活用したミツミ電機のMEMSミラーデバイスを取材したことがある。このデバイスを発表したとき，ミツミ電機はARメガネデバイスの実動試作機を公開した

　読者のなかには「網膜に映像を投射するのだったら，HoloLensのバイザーは一体何のためにあるのか。あそこにプロジェクタやMEMSミラーがあるように思えない」「そもそもプロジェクタはどこにあるのか」と思った人もいることだろう。

　この点は推測するしかないのだが，実際に装着してみた感触では，プロジェクタがバイザーの上端部分に配置されている可能性が高い。また，バイザー部分はホログラフィック平面導光板（Holographic Planar Waveguides）になっていると思われる。
　ホログラフィック平面導光板とは，回折格子を応用した光学部材で，簡単にいえば，プロジェクタからの映像を，わずか1mm程度の厚さのレンズ内で何度も反復反射させながら，眼前にまで到達させるものだ。

ソニーがディスプレイ技術の学会「SID08」で発表した論文より抜粋。ホログラフィック平面導光板は，ソニーが開発したARメガネ製品にも採用されている

　……と，そんなわけで，謎はまだ多いのだが，実際に体験したことで，HoloLensの中身が色々と分かってきたようにも感じている。
　そのすごさを実感できたと同時に，課題も見えてきた。まだ，最終製品ではないので，きっと最後には課題の部分にも何らかの対策が施されるに違いない。

　VRとはまた違う，MRの世界を切り拓く新デバイスとして，HoloLensには今後も期待していきたい。

関連記事：［E3 2015］AR-HMD「Microsoft HoloLens」対応の「Minecraft」デモが披露。神の視点でマップのオブジェクトを操作可能に

MicrosoftのHoloLens公式ページ（英語）

4GamerのE3 2015記事一覧ページ