はじめに

みなさん Vtuber 好きですか?
バ美肉したくありませんか?

私はしたいです.
しかし私には 3D モデリングの技術も, 絵を描く技術もありません.

ならば技術のある人に依頼すればいいじゃないか.

• 2D モデル　数万円　　!
• 3D モデル　数十万円　!!

技術もありませんが, お金はもっとありません.

安心してください.
人類の技術の進歩によって, 技術とお金, 両方なくても バ美肉できます.

この記事では誰にでもバ美肉できるように, 理解しやすく 1 から解説していきたいと思います.

Talking Head Anime from a Single Image

Google Japan のソフトウェアエンジニアである Pramook Khungurn によって開発された, 1枚の正面を向いているキャラクターの画像から顔アニメーションを自動生成する技術です.

Talking Head Anime from a Single Image

ご想像の通り, ディープラーニングです.

学習データとして
MikuMikuDance

ネットワークアーキテクチャとして
Pumarola et al.'s algorithm
Zhou et al.'s view synthesis algorithm

が利用されています.

この技術によってこんなことや,

こんなことができます.

準備 フォルダ構成

1. pkhungurn が GitHub で公開している talking-head-anime-demo から talking-head-anime-demo をダウンロードします.
   中央右の Clone or download から Download ZIP でZIPファイルをダウンロードできるのでそれを展開します.

2. このリンクからmodels.zipをダウンロードして展開します.
   combiner.pt, face_morpher.pt, two_algo_face_rotator.pt
   上記3つのモデルを先ほどダウンロードして解凍した talking-head-anime-demo の data ディレクトリにコピーします.

3. davisking が公開している dlib-models から 1. と同じように dlib-models.ZIPをダウンロードして展開します.
   shape_predictor_68_face_landmarks.dat.bz2 があるのでこれを展開!
   して shape_predictor_68_face_landmarks.dat にした後, talking-head-anime-demo のdata ディレクトリに保存します.

talking-head-anime-demo-master は以下のような構成になります.

準備 Python

こちらの記事で解説

実際に動かしてみる

ディレクトリをtalking-head-anime-demo-master に変更します.

• 手動で動かす場合は, python app/manual_poser.py を実行します.
• 顔をトラッキングして動かす場合はwebカメラなどを用意して, python app/puppeteer.pyを実行します.

Load Image ... で画像を選択します.

• 手動で動かす場合は, バーをいろいろ動かしてみると目を閉じたり, 頭を動かしたりできる.
• 顔をトラッキングして動かす場合は, 自分の頭を動かしたり, 瞬きしたりするとそれに合わせてキャラクターも動いてくれる.

あとは自由に遊ぼう!

まとめ

今回, 自分がバ美肉するのにかかった費用は, WEBカメラlogicool C270N HD WEBCAMの購入代金である
￥2010だけです. このWEBカメラでさえスマホアプリで代用可能なので, もはやバ美肉するのに金銭的ハードルはないに等しいでしょう.

プログラムを少し変えることによってアニメーション画像の表示だけにもできるので, それも後日解説したいと思っています.

それではみなさん Let's バ美肉 !