データセットの準備

この手法で一番問題になるのは、参照話者と目標話者が同じ内容を話している音声データを用意するのが難しいことです。幸いなことに今回は参照話者、つまり自分の声は自由に集めることができます。そこでまず目標話者のデータとしてCharlotteの友利奈緒が発言しているシーンのうちBGMやSEの入っていない部分を切り抜いてwavファイルとして保存しました。
次に参照話者のデータとして、なるべく息継ぎなどのタイミングが近くなるように気をつけながら集めたシーンのセリフを自分の口で喋って録音しました。録音・正規化・ノイズ除去・開始位置合わせなどの前処理はAudacityで行いました。友利奈緒の声は~/data/tomori/、自分の声は~/data/kawana/に、対応する音声が同じファイル名になるように保存しました。

この作業が一番大変で、4時間くらいかかってようやく40サンプルを用意することができました。はっきりした発音で同じセリフを同じタイミングで言うのは想像以上に大変で、声優という仕事の苛酷さを感じさせられました。自分の声を延々と編集するのはかなりの苦痛だったので正直二度とやりたくないです。ですが、これも友利奈緒の声で好きなセリフを喋らせるためだと思ってなんとか耐えぬきました。

Juliaのインストール

sudo add-apt-repository ppa:staticfloat/juliareleases
sudo apt-get update
sudo apt-get install julia

Juliaのサイトからソースを落としてコンパイルすれば他のOSでも動くかと思います。

必要なパッケージのインストール

sudo pip install sklearn
julia
julia> Pkg.clone("https://github.com/r9y9/VoiceConversion.jl")
julia> Pkg.build("VoiceConversion")

特徴量の抽出

cd VoiceConversion.jl/scripts/
julia mcep.jl ~/data/kawana/ ~/data/jld/kawana
julia mcep.jl ~/data/tomori ~/data/jld/tomori

mcep.jlではメルケプストラムという音声の特徴量を抽出しています。引数にwavファイルのあるディレクトリと、特徴量を保存するディレクトリ（事前に作成する必要があるかも）を指定して実行します。それなりの時間がかかりました。

特徴量の時間同期

いくらタイミングを合わせて録音したとはいえ限界があるので、特徴量を時間同期する処理を行います。

julia align.jl ~/data/jld/kawana ~/data/jld/tomori ~/data/jld/parallel/

差分特徴量の学習

元ネタのページで高品質な変換が行えると紹介されている差分スペクトル補正による手法を採用しました。

julia train_gmm.jl ~/data/jld/parallel kawana2tomori.jld --max 200 --n_components 32 --n_iter=100 --n_init=1 --diff

声質変換の実行

学習結果を利用して、声質変換したい自分の声データから変換後の声データを作成します。

julia diffvc.jl original.wav kawana2tomori.jld result.wav --order 40

結果

この手順で自分の声を友利奈緒ボイスに変換した結果がこちらです。

ノイズが多すぎて聞くに堪えない音質になっている上に、そもそも全然声の質が変わっていません。進捗ダメでした！！

考えられる原因としてはいくつかあって

• 録音音声のノイズがひどかった

パソコンにつないだマイクという適当な録音環境だったこともあってバックグラウンドのノイズがかなり大きかったのはかなりの問題だと思います。

上の段が自分の録音音声、下の段が切り抜いた音声です。録音音声はいくらノイズ除去してもノイズが残ってしまいましたが、切り抜いた音声は何も音がないときはノイズなく無音になっています。この差はかなり変換に悪影響を及ぼしそうです。

• 発音タイミングの差が大きかった

なるべくタイミングを近づけるように努力はしましたが、それでも滑舌などの問題からプログラムで吸収できないレベルのタイミング差が生じてしまっているかと思います。上の波形を見ても全然合っていないことは明らかです。パラレルデータの準備はかなり難しいようです。

• 声質の差が大きかった

元ネタでは女性→女性の変換を行って結構きれいな結果を出していますが、ここでは男性→女性というかなり差のある変換を行っています。サンプルデータがノイズまみれという悪条件下で異性間の差をうまく変換するのはさすがに厳しいのかもしれません。

これを改善するためには、よりよい録音環境を用意すること・うまく喋れるようになることくらいしか方法がありません。