ライフハッカー［日本版］>

Popular Science：あなたの子どもがiPadで遊んでいる動画を、2分間も見ていたいと思う赤の他人がいるでしょうか？　コンピューターサイエンスの博士過程の学生、Bin Zhaoさんは、自分で撮った動画を見返したことなんてないと言い切ります。「携帯電話でたくさん動画を撮っていますが、本当に一度も見返したことがないのです」とZhaoさん。「おそらく一番の原因は、動画の長さが5分とか10分もあることです」

監視カメラの映像解析で研究されてきたテーマ

Zhaoさんと彼のアドバイサーである、カーネギーメロン大学のEric P. Xingさんは、この問題の面白い解決方法を思いつきました。動画の重要な部分だけを自動で抜き出すアルゴリズムをつくったのです。これを使うと、いわゆる「ハイライト動画」が作成できます。また、動画の長さも指定できます。例えば、出来上がりを30秒に設定すれば、さらにダイジェストな映像になります。「誰も撮りっぱなしの動画を見たがらないのを知ったことがきっかけです」とZhaoさん。

動画から重要な部分を自動で抜き出すことに挑戦したコンピューター・サイエンティストは、ZhaoさんとXingさんだけではありません。多くの研究者や企業が、監視カメラの映像から異常な行動を自動で検出するソフトウェアの開発に取り組んできました。BRSLabs社もそうしたソフトウェアを販売している企業のひとつですが、技術はまだ発展途上だそうです。

重要なシーンだけを自動的に抜き出せるようになれば、ソーシャルメディア企業にも恩恵があります。友人にスナップ動画を共有するとき、自動でダイジェスト版が作れたとしたら？

人間が編集した動画に近い仕上がり

この新しいアルゴリズムは、動画を処理しながらシーンを説明する「辞書」を作成します。そして、新しく処理するシーンが、この辞書で説明できるかを逐次調べていきます。答えがノーなら、シーンに何か変わったことが起きているサインです。アルゴリズムはそのシーンを重要な部分として記録します。

このアルゴリズムは、動画を処理しながら、同時にハイライト動画を作成していきます。Zhaoさんらの高いコーディング技術が、処理の高速化を実現しました。

Zhaoさんによると、このアルゴリズムは、「人間が編集したものに近い」ハイライト動画を高速で生成できるのだそうです。例えば、ある科学文献に発表された類似のアルゴリズムは、1時間の動画の処理に10〜20時間かかります。Zhaoさんらのアルゴリズムなら1~2時間で完了します。

Zhaoさんらは、このアルゴリズムが人間が「面白い」と感じる部分を抜き出せているかを調べるため、ある実験を行いました。３人の被験者に個人撮影の動画を渡し、ハイライト部分を抜き出してもらいました。そして、アルゴリズムが作ったハイライト動画が、人間が抜き出したものとどれくらい近いかを調べました。Zhaoさんらのアルゴリズムのほかに、3つの類似アルゴリズムが比較対象とされました。

結果、テストした動画20本中の18本において、Zhaoさんらのアルゴリズムが、他のアルゴリズムに比べて、より人間に近い選択をしていることがわかりました。

また、人々が地下鉄の駅に入っていく映像5本もテストされました。結果、Zhaoさんらのアルゴリズムと別のアルゴリズムひとつが、残りのアルゴリズムより優れていることがわかりました。この研究結果は、先日の米電気電子技術者協会のカンフェレンスで発表されました。

Zhaoさんは今、この新しいアルゴリズムを使ったスタートアップ「PanOptus」を構想中だそうです。現在はiPhoneアプリとAPIの開発に取り組んでいます。

以下、アルゴリズムで編集前と編集後のサンプル動画です。

Software Identifies The Most Exciting Parts Of Your Home Video, Edits Out The Boring Moments｜Popular Science

Francie Diep（訳：伊藤貴之）
Photo by Shutterstock.