実行環境

GPUはなくてもDeepFaceLabを実行することは可能みたいですが、おすすめしません。学習時間がとんでもなく長くなります。

また、CUDAのインストールをしていない方はインストールが必要になります。（↓参照）

CUDA cuDNNのインストール手順

インストール環境 今回インストールしていくPC環境： OS Windows 10 Pro CPU Intel Core i...

mmm-ssss.com

2019.10.01

DeepFaceLabのインストール

DeepFaceLab1.0の最新のアップデート情報等はGithubから確認できます。

iperov/DeepFaceLab

DeepFaceLab is the leading software for creating deepfakes. - iperov/DeepFaceLab

github.com

• 現在DeepFaceLab 2.0がありますので興味ある方はこちらも参考にしてみてください。

DeepFaceLab 2.0のインストール/使い方【フェイク動画をつくる】

DeepFaceLab 2.0とは DeepFaceLab 2.0は機械学習を利用して動画の顔を入れ替えるツールです。 以前にDeepFaceL...

mmm-ssss.com

2020.04.14

▼ダウンロードしたファイルの中に複数のパッチファイルがあります。これでDeepFaceLabのインストールは終了です。

DeepFaceLabの操作手順

今回使っているデータセットは、もともとフォルダに入っていたサンプル動画を使用しています。

フォルダ内のパッチファイルを実行していきます。すべてのパッチファイルを説明するととても大変なのでサンプル動画にdeepfaceを適応するのに必要なパッチのみ説明を載せますので他のパッチファイルの詳細を知りたい方は「https://mrdeepfakes.com/forums/thread-guide-deepfacelab-explained-and-tutorials」を参照してください。

2) extract images from video data_src

workspaceフォルダ内の “data_src”という名前のビデオファイルが取得され、ビデオをフレームにカットして、顔を抽出します。使用するFPS（（1 FPS / 5 FPS / 10 FPS / FULL FPS））を選択できます。FPSが高いほど、より多くのフレームが生成されます。

▼data_srcフォルダにdata_src動画のフレーム毎の画像を取得する。

 3.2) extract images from video data_dst FULL FPS 

これは目的のビデオを取得し、すべてのフレームをPNG画像にカットします。このオプションではフルFPSのみを使用できます。 FPSを元のものと同じにする必要があります。

▼data_dstフォルダにdata_dst動画のフレーム毎の画像を取得する。

4) data_src extract faces S3FD best GPU

これはモジュールを実行し、顔検出によりビデオ「data_src」のフレームから生成された画像から顔を抽出します。これはDLIBよりも時間がかかる場合がありますが、DLIBよりも多くの角度をキャッチします。

▼data_srcフォルダの画像から顔検出をする。

5) data_dst extract faces S3FD best GPU

これはモジュールを実行し、顔検出によりビデオ「data_dst」のフレームから生成された画像から顔を抽出します。これはDLIBよりも時間がかかる場合がありますが、DLIBよりも多くの角度をキャッチします。

▼data_dstフォルダの画像から顔検出をする。

4.2.2) data_src sort by similar histogram

これにより、data_srcフェイスセットがヒストグラムでソートされます。つまり、画像の同様の照明/色の広がりがグループ化されます。これにより、異なる顔も一緒にグループ化されます。フレーム内に抽出された複数の顔がある場合、これを実行してから手動で顔セットを調べて、不要な顔を削除できます。

5.2) data_dst sort by similar histogram

data_dstフェイスセットがヒストグラム（照明と色の広がり）で並べ替えられ、類似の顔がグループ化されます。フェイスセットに複数の人の顔がある場合、これにより、それらがグループ化され、不要な顔を簡単に削除できるようになります。

▼このような顔がハッキリとしないような画像データが並び替えにより後ろのほうにあるので適切でない画像は削除します。

6) train H64

これは学習させるモジュールですが、いくつかモデルタイプがあり画像データの特徴により変化が大きいため詳細は、https://mrdeepfakes.com/forums/thread-guide-deepfacelab-explained-and-tutorialsを参照してください。

trainのオプションがいくつか表示されますが、基本的にはすべてデフォルトのままで構わないと思います。Batch_sizeは指定しておきましょう。(32/64/128)

すべてデフォルトの場合「Target iteration:unlimited」となり学習を無限に重ねることになるのである程度精度が高まってきたら頃合いを見て終了しましょう。

Model first run. Enter model options as default for each run.
Enable autobackup? (y/n ?:help skip:n) :
Write preview history? (y/n ?:help skip:n) :
Target iteration (skip:unlimited/default) :
Batch_size (?:help skip:0) : 64
Feed faces to network sorted by yaw? (y/n ?:help skip:n) :
Flip faces randomly? (y/n ?:help skip:y) :
Src face scale modifier % ( -30…30, ?:help skip:0) :
Use lightweight autoencoder? (y/n, ?:help skip:n) :
Use pixel loss? (y/n, ?:help skip: n/default ) :

Training previewウィンドウが立ち上がり、学習経過のプレビューを見ることができます。

操作は画像上にもありますが説明しておくと、

• Sキー：学習経過を保存します。押さなくても数分毎にオートセーブされます。
• Enterキー：学習経過を保存しつつ終了します。学習経過を保存しておくと、次回学習時に前回の経過から学習を始めることができます。
• Pキー：プレビューの更新をします。押さなくても数分毎に自動で更新されます。
• Spaceキー：次のプレビューを見ることができます。

▼学習を始めてすぐだとこんな感じ。まだ学習途中では画像が荒いです。

▼学習を始めて数十分経つと、精度が高まってきました。

▼ダメ押しで数時間学習したところかなり精度が高まってきた。ここで終了します。

画像を見てもらえばわかるが、移植した画像が５列目の画像となっており、３列目の男性の表情をしつつ顔は１列目の男性の顔になっていますね。

7) convert H64

これにより、トレーニング済みモデルが取得され、dstフェイスがターゲットのsrcフェイスに「変換」されます。変換された画像が保持されるdata_dstフォルダーに「merged」というフォルダーが作成されます。

convertのオプションがいくつかありますが基本デフォルトのままで構わないと思います。とりあえず全項目Enterでスキップ構いません。

Choose mode:
(0) original
(1) overlay
(2) hist-match
(3) seamless2
(4) seamless
(5) seamless-hist-match
(6) raw-rgb
(7) raw-rgb-mask
(8) raw-mask-only
(9) raw-predicted-only

8) converted to mp4

これは、元動画とマージされたフォルダから変換された画像を取得から、mp4形式のビデオをコンパイルします。

▼元動画の切り取った画像

▼コンパイル後の画像