スクリーンも何もない空間に、疑似3Dの人物をリアルタイム投影、NTTが超高臨場感視聴体験技術を開発

　日本電信電話株式会社（NTT）は、疑似3D映像をリアルタイムで空間に映し出す技術「Kirari!」を開発した。NTT武蔵野研究開発センタ（東京都武蔵野市）で2月18・19日に開催する「NTT R&Dフォーラム2016」で披露する。

スポーツ選手や講演者があたかもそこにいるように空間投影する新技術

　オリンピックやワールドカップなどのスポーツ大会に活用できる技術として、競技場の空間・環境を中継先会場へリアルタイムで伝送するイマーシブテレプレゼンス技術「Kirari!」が披露された。

　NTTは2015年2月に「競技空間をまるごとリアルタイムに配信する」というコンセプトを発表しており、その場にいるような“超高臨場感”を実現するための技術として開発した。リアルタイム配信の実現においては、選手の映像や競技の音声を切り出す技術の向上、合成した試合全景の映像や音声などさまざまな情報の同期伝送、遠隔地での臨場感の再現が技術課題となっていた。今回、「超高臨場感メディア同期技術」「任意背景リアルタイム被写体抽出技術」「臨場感デザイン技術」「超ワイド映像合成技術」を用いることでこれらの問題をクリアした。

　超高臨場感メディア同期技術は、撮影対象の大きさや位置関係、競技音声の方向などの三次元情報を記述できるMMTシグナリングの記述子を定義することで、映像・音声とともに空間的な情報を同期伝送する技術。これにより、映像提示デバイスのスクリーンサイズ、解像度、設置位置、姿勢などの物理的空間位置とフレーム内のピクセル情報との対応付けが可能になった。また、映像の空間的な大きさや音像の定位情報などを遠隔会場に伝送し、伝送先に応じて高い臨場感で競技空間を再構成できるようになったという。

　任意背景リアルタイム被写体抽出技術は、距離や温度のセンサー情報を用いた輪郭検出技術と、高速・高精度に被写体の境界を特定する画像処理技術を組み合わせることで、単純な背景の中で少人数が写るシーンにおいてリアルタイムに被写体映像を抽出できる技術。一定の条件下において、屋内外のフィールド環境で行われる個人競技などにおいて、疑似3D表示したい選手の映像のみをリアルタイムで切り出すことができるようになった。

　臨場感デザイン技術は、少数のスピーカーで広範囲な視聴エリアに仮想的な音源を定位させるもの。大画面に等身大で投影した被写体映像の任意の位置に音源を生成することができるため、被写体そのものから声や競技音が発生しているかのような効果を実現した。

　超ワイド映像合成技術は、複数台の4Kカメラを並べて撮影した映像をリアルタイムに補正してつなぎ合わせるスティッチング処理技術。広大な競技会場を写した映像や、陸上競技などの横方向に長いフィールドを使う競技の高精細ワイド映像をリアルタイムに作れる。

　今後、個人競技を中心に、空手、フェンシングや、ピッチャー、バッターなど個人のプレイにフォーカスがあたる野球などに向けてKirari!を展開する予定。また、2017年には選手複数人での競技へ対応するための研究開発を推進する。スポーツ以外にも、伝統芸能やコンサートのパブリックビューイング、講演のライブ中継などにも展開していく。