タグ一覧
#人力
#拙作
#プログラミング
#AI
#感想
so-vits-svcを試す
前提
摩美々のセリフボイスを学習させてみる
無音部をカットした、約38分のセリフ音源を用意
12000ステップ学習させ、推論
推論結果
【セリフ】
甘奈 → 摩美々 (auto_predict_f0)
↑の再生速度を遅くしたもの
【歌声】
灯織 → 摩美々 (auto_predict_f0)
灯織 → 摩美々 (auto_predict_f0不使用)
感想など
セリフの変換は比較的うまくいった
データセットにセリフボイスを使ったため？
声の出し方も摩美々っぽくなっていて驚いた
歌声の変換では裏声のようになってしまった
変換元の音程が高いのも原因だと思うが
セリフボイスのみの学習では難しい？
どこかに話声の学習でも歌声を変換できると書いてあったが
要検証
データセットに高いピッチの音源がなかったことが原因だと思う
現に、VocalShifter等で低い声のピッチを過度に高めるとこんな裏声になる
推論結果にノイズが乗ってしまった
これはデータセットに原因があると思う
摩美々のセリフには「……」が多く、息などのノイズを強く学習してしまったのでは？
「……」だけのセリフ、「……」を含む短いセリフを除いたデータセットで、もう一度学習、検証してみたい
人力VOCALOIDへの応用案
足りない音素を補うために、別人物の声を変換したものを使うなど？
> もしso-vits-svcで音素を補完することができれば、人力のクオリティの向上に期することができるのではないかと思い、その補完のための実験としてこの動画の音声を作成しています。
データセット準備の手間と、学習に掛かる時間がネック
今回は学習に約5時間ほど掛かった
Core i7-11700F
NVIDIA GeForce RTX 3060
今回の試用では、活用法や改善案などの可能性が見えたように感じる
今後も色々試して、実際の制作に使ってみたい
楽しかった
参考
so-vits-svcを試す(wsl2)
so-vits-svcで原曲のように歌わせる方法 - YTPMV.info
読み上げ白上フブキ ver2.1 / so-vits-svc 4.0 解説 - セーブポイント
