shi3zの長文日記

■静止画を見せると動画を自動生成するニューラル・ネットワークをMITが開発 04:35

　時代は進むよどこまでも

　今度は静止画を見せると動画が自動生成されるニューラル・ネットワークが開発された

　左が入力された静止画で右が生成されたアニメーション

　波がさざめくなどの効果が自動的に得られているのがわかる。

　また、静止画を入力しなくても、特徴ベクトルを入力すると適当な動画を生成することもできる。

　このアルゴリズムの肝は、100次元のノイズから、背景画を2D、手前に写っているものを3Dとしてそれぞれ畳み込みを行い、3Dは途中でマスクも生成しておいて最後に全て合成して動画を生成。

　生成された動画をDiscriminator(識別器)で本物(自然に撮影された動画)か偽物(自動生成された動画)か見分けるビデオ生成敵対学習(VGAN)を行う

　静止画から動画を生成する場合はさらに前段に2D畳み込み層が追加される。

　ソースコードはgithubにて公開されている(torch7を使用)

GitHub - cvondrick/videogan: Generating Videos with Scene Dynamics

https://github.com/cvondrick/videogan

　学習済みモデルもあるので、すぐに遊ぶこともできる

　まあそのうちどこかの学生がアニメの顔なんかを自動的に動かしたりする実装をchainerあたりで書くんだろうなあ

ツイートする