360度動画/ライブストリーミングの技術、リアルタイム・イメージ・スティッチングについて、"CEDEC 2016"でお話しします

こんにちは。技術開発の小倉です。

普通はエンジニアですと、この辺で格好いいハンドルネームなど出すのでしょうが、おじさんにはそういうのがありません。とりあえず、自動化した自宅の金魚の水槽のbotなどを書いておきます(@hamtalks)。

 

 

"CEDEC 2016"でリアルタイム・イメージ・スティッチングについて講演させていただきます

実は、今回お話しする内容の大筋は、約半年前の2016年1月に開催された”DeNA Tech Talk”という技術カンファレンスにてチラッとお話しました。 が、しかし、その際は時期的に具体的なサービスと一緒に話せなかったところもあって、「一体、それは何についての何なのか」「それで何ができるの?」というレベルから理解されていないという状態でした。

5月になって、この技術を使ったサービス”SHOWROOM VR”(アイドル/タレント/ミュージック/スポーツなどのライブストリーミングサービスの360度版)がサービスインしたことで、またいろいろと反響をいただきつつ、番組ラインアップも増加傾向にあるため、もう少し具体的にイメージしてもらいやすい状況で話せるようになってきました。

以上のような背景がありまして、この度、"CEDEC 2016"にて、この技術やこの技術を用いたビジネスの最近の動向、今後の発展の方向などを交えて発表させていただきます。

日時:
2016年8月26日(金) 18:20-18:50(ショートセッション)

タイトル:
360度動画の基礎知識:魚眼レンズの歪曲補正とリアルタイム・イメージ・スティッチングについて

公式URL:
http://cedec.cesa.or.jp/2016/session/ENG/10988.html

ここから先、こちらのブログでは、発表内容についての予告を紹介させていただきます。
もしCEDECに参加予定のデベロッパーのみなさまがいらっしゃいましたら、よろしくお願いします。

申し遅れましたが、私はCEDEC運営委員会 において、ビジネス&プロデュースの担当を勤めております。本職はエンジニアですが、技術を用いてユーザ体験を作り出すという見地からもお話をできればと考えております。

 

ところで、”SHOWROOM VR”とは、イメージ・スティッチングとは

実際に”SHOWROOM VR”の番組を体験していただけるといいのですが、
特に、グラビアアイドルとか、グラビアアイドルとか、グラビアアイドルとかをVRで体験していただけると、いろいろ説明する必要がなくなり、私は楽になります。

SHOWROOM VR(Normal Mode):ミスFLASH2016【写真:中野杏】

SHOWROOM VR(Normal Mode):ミスFLASH2016【写真:中野杏】

SHOWROOM VR(Goggle Mode):ミスFLASH2016【写真:中野杏】

SHOWROOM VR(Goggle Mode):ミスFLASH2016【写真:中野杏】

とはいえ、まだまだ番組数も多いとは言えず、体験したい時に体験できるという便利な状況ではありません。
とりあえず、以下のアプリケーションのデモ映像からも、だいたいのサービスの雰囲気はつかめるかと思います。

主なポイントとしましては、

  • 通常配信で使用する「SHOWROOMアプリケーション」を使う(Android/iOS版のみ)

  • スタジオ内の全方向を配信する

  • 方向と関連付けてコメントを入れられる

  • レーダーやヒートマップでユーザの熱量の高い方向を検知できる

  • ゴーグルモードにするとCardboardでVR体験できる

というものになります。

このサービスの「要」は全方向を配信することですが、
配信するための全方向の映像を得るためには、カメラに魚眼レンズを使用したり、複数の異なる方向の映像を連結して1つの映像にする必要があります。

特に、ライブストリーミングの場合、これをリアルタイムで処理する必要があります。

講演タイトルの言葉にもありますように、まさにこの部分を、魚眼レンズの歪曲補正とリアルタイム・イメージ・スティッチング、と呼びまして、これの具体的な実装方法について「RICOH THETA S」を例に話す予定です。

Dual Fisheye

Dual Fisheye

Equirectangular

Equirectangular

Little Planet

Little Planet

イメージ・スティッチングの現在、今後

ハイエンド3DCG使ったコンテンツを体験するための専用VRハードウェア、有名なところですとOculus Rift、PlayStationVR、HTC viveなどがありますが、これらとは別の路線として、Google VRなどのスマートフォンのVRがあります。

その主要なコンテンツは360度動画、360度ライブストリーミング、もしくは、両眼視差を用いてこれらを3D対応したコンテンツとなります。いずれにしろ360度動画、360度ライブストリーミングにはイメージ・スティッチングが必要不可欠です。

これまで、イメージ・スティッチングはソフトウェアやツールによる処理が一般的でしたが、VR業界の技術進展は速いものでして、2016年の秋から2017年の年初にかけてハードウェア実装されたカメラや開発環境が続々と出てきます。

いわゆるGoProを6台をマルチ・チャンネル・キャプチャーボードを通してハイエンドPCに接続するという方法も、ハードウェアとSDKとが充実していく方向にあります。

講演ではこうしたカメラや開発環境の世代交代についてもお話しできればと考えております。

なお、イメージ・スティッチングがハードウェア実装されるならば、将来的にソフトウェアやツールによる処理はなくなるかというと、そんなに簡単な問題ではありません。

結論からいうと、私はイメージ・スティッチングを手作業で行うという仕事は、ハイエンドな動画コンテンツ制作においてはなくならないと考えております。むしろ、ソフトウェアによるイメージ・スティッチングはインテリジェントに進化していく余地さえ伺えます。講演ではこうした理由についてもお話しできればと考えております。

 

まとめ

2016年はVR元年とも言われ、主要なVRヘッドセットがリリースされ、その後も様々なVRネタが日々世界中でニュースを賑わせております。こうした背景もありまして、CEDEC2016ではVRをテーマとした特別企画”VR Now!”を開催し、VRアプリケーション開発の知見を広げるためのセッション、展示を多数実施致します。

本講演も”VR Now!”のセッションの1つとして登場しております。是非、この機会に様々な軸からVRを考察してみてはいかがでしょうか。その際に本講演も参考にしていただければ幸いです。

ではでは、8月26日に、パシフィコ横浜でお会いしましょう!