生映像とＣＧ合体…絵本の上、立体動物が動く

　カメラで撮影している映像に、コンピューターグラフィックス（ＣＧ）を合成し、画面を通して見ると、あたかもＣＧが実在するかのように感じさせる技術「拡張現実（ＡＲ）」がブームになっている。録画映像を使うＳＦ映画に対し、生放送を加工するのが最大の特徴だ。将来的には、原子力や医療など小さなミスが重大な事故につながる現場への応用が期待されている。

原発保守作業・手術に応用も

　走り去るブタの群れ、夢中でリンゴを食べるクマ……。絵本のページをめくると、物語をおうごとにいろんな動物たちが紙面の上に現れた。奈良先端科学技術大学院大の加藤博一教授らが開発した「仮想立体絵本」だ。

　絵本を読むには特殊なゴーグルを使う。両目の部分に内蔵された小型カメラが絵本を撮影。コンピューターが記憶している各ページの図柄と比較し、ゆがみや大きさの違いなどを手がかりに絵本の傾きや、カメラとの距離、視線の角度を三次元で精密に割り出す。一方、何ページ目を開いているか、そのページのどこにＣＧを合成するかを瞬時に特定する。

原子力発電所の解体を想定したＡＲシステム。小型パソコンの画面には解体する部分が青、危険な部分が赤で表示されている（石井さん提供）

　さらに絵本を見る角度や本の傾きに合わせてキャラクターの向きを調整。１秒あたり３０コマ合成して、カメラの裏にある液晶画面に表示させる。絵本を横から見ると、キャラクターも横を向くため、キャラクターが本当に絵本の上にいるような臨場感がある。

　加藤教授は「まだ画質の解像度が低く、ゴーグルの視野が狭い。違和感をなくすのに、照明に合わせてＣＧの色調や影の形を変えることも課題だ」と話す。

　加藤教授は、マーカー（目印）を使って画像を合成できるソフト「ＡＲＴｏｏｌＫｉｔ」も開発した。紙に太線で四角く描いたマーカーを、カメラで撮影すると、画面ではマーカーの上にＣＧを重ねて表示する。１９９９年に研究者向けにネット上で無償公開したが、最近になって趣味でパソコンを扱う人々の間で話題に。「ユーチューブ」などの動画サイトでは、人気アニメ「ドラゴンボール」をまねて、手に持ったマーカーの上に必殺技「かめはめ波」のＣＧを合成した動画など、様々な作品が多数投稿されている。

　ＡＲは９０年代初めにアメリカの航空機メーカーが、電気配線をカメラで写すと、実際の画像に設計図を重ね、眼鏡の画面に表示させる技術を開発し、世界中で研究が本格化した。研究者の最終的な目標は、原子力発電所や手術などでの作業支援だ。

　京都大助教の石井裕剛さんらは、原子力発電所の内部を撮影すると、プラントに設置してあるマーカーを頼りに現在位置を割り出し、保守点検で開閉が必要なバルブがどれか、画面に矢印などで表示する研究をしている。プラントの解体を想定し、壊す部分を青、危険な部分を赤で画面表示する技術なども実際の発電所で実験中だ。

　石井さんは「発電所の解体は通常のビルと違って定められた手順を厳守する必要がある。ＡＲなら作業員が手順を直感的に理解でき、効率の向上やミスの低減につながる」と期待する。

　内視鏡で写した腹腔(ふくくう)内の画像に、脂肪の裏に隠れた臓器を合成して手術を支援するシステムなどの研究も進む。ＡＲが人間の能力を最大限に「拡張」できるようになる日は、遠くないかもしれない。