ヘルメットにGoProのカメラを着けずにマウンテンバイクに乗る人や登山する人、スカイダイビングする人、スキーをする人などは、今どきあまりいない。しかし同時にまた、あなたの頭が上を向いたり下を向いたりを一時間ものあいだランダムに繰り返すビデオを、じっと座って見てくれる人も、あまりいない。そんなビデオは早送りすべきかもしれないが、そうするとそれは一層、見るに耐えない体験となる。
ところがMicrosoft Researchの最新のプロジェクトのおかげで、長くて退屈な一人称ビデオを10倍の速さで早送りしても、それはとってもスムーズなハイパーラプス(hyperlapse)になり、カメラの揺れのせいで、見ていて吐き気がしたりすることはなくなるだろう。
Johannes KopfとMichael CohenとRichard Szeliskiによるこの新しいプロジェクトは、もうすぐWindowsのアプリケーションとして提供されるそうだが、長い一人称ビデオを彼らが作った特殊なアルゴリズムで加工することにより、新しい、よりスムーズな（揺れや振動のない）カメラの動きを仮想的に作り出す。
しかしそれは、ビデオ編集ツールによくあるワープスタビライザーの高級バージョンではない。Microsoftのプロジェクトは、元のビデオの奥行き（z軸方向）マップを作り、それに基づいて各シーンを作りなおすのだ。そういう、元のビデオとは違うビューポイントから見た人工的な映像をつなぎ合わせることによって、できるかぎりスムーズなビデオをキープする。
このソフトウェアは、前後の複数のコマの画像から得た情報に基づいて、新しい、カメラがあまり揺れなかった場合の画像を人工的に作り出す。その感じはMicrosoftがPhotosynthでやってることとやや似ており、だからKopfとSzeliskiがPhotosynthも担当していたと聞けば、なるほどな、と思ってしまう。
でも、新たに人工的に作り変えられたビデオをよーく見てみると、まだアルゴリズムが完璧でないことに気づく（形状や物が昔の3Dビデオゲームのように、かなり突然現れることがある）。でもやっぱり、オリジナルと見比べれば、改造ビデオの方がずっと見るに耐えるけどね。
チームは今週カナダのバンクーバーで行われるSIGGRAPHのカンファレンスで、もうちょっと進歩したやつをプレゼンする。
下のビデオは、ビデオのシーンを作り変えるアルゴリズムの動作を解説している。もちろん、彼らの研究論文を読めば、さらに詳しく理解できるだろう。
広告