VocaSim.0.0.4

VocalSIMulator –ボーカル歌唱のシミュレーション手法の提案

１、目的：
　VocalSimulator(以下 VocaSim)は、ヤマハのVOCALOIDシリーズのVSQファイルを入力として、音量や音高を自動調整して滑舌処理・オーバーシュートやビブラート及び微細変動処理を加えたVSQファイルを出力するものです。

VocaSim004.pl の実行結果　「星の界」
http://piapro.jp/content/bgxqrywgfuhums4s

２、従来技術との比較
　従来のVocaloid2 Editorは全てマウスで描画しており、オーバーシュートなどの細かな調整には膨大な工数が必要でした。唯一ビブラートのみは自動化されています。
　VocaListerner, MikuMikuVoice のアプローチは、肉声から音量と音高を抽出して、VSQファイルに反映させるというものです。肉声のニュアンスを緻密に反映できる特徴を有します。
　VocaSim のアプローチは、ボーカルをフィードバック制御システムとしてモデル化し、制御理論で元にPC内でシミュレーションするというものです。元歌不要でボーカルに似せた調整を掛けること可能です。

３、使用方法
（１）動作チェック環境
OS：WindowsXP
Perl処理系：ActivePerl 5.8.8
使用モジュール：MIDI-Perl v0.81
（２）インストール方法
ActivePerl 5.8.x をインストールしたのち、コマンドラインからppm-shell を起動します。
C:\hogehoge> ppm-shell
次に MIDI-Perl をインストールしてください。
　ppm> install MIDI-Perl
これで準備は完了です。
　そして、「vocasim004.pl」を右クリックしてダウンロードし、処理したいVSQと同じフォルダに入れてください。

（３）使い方
コマンドプロンプトを起動して、以下入力してください。出力VSQ名を省略したならば a_out.vsqに出力されます。
　C:\hogehoge> vocasim004.pl test.入力vsq test出力.vsq
のんびりとした感じの調教したかったら、３番目引数に「のんびりと」と記載願います。
　C:\hogehoge> vocasim004.pl test.入力vsq test出力.vsq のんびりと

４、処理の概要
（１）フレーズ処理
　発音要素ごとの時間間隔が一定値未満($interval_time 未満)ならば、そこでフレーズが終了すると見做しました。
　滑舌を明瞭にあらわす為、発音時間長が一定値以上($interval_time 以上)かつフレーズの末尾以外ならば、発音時間の末尾（$prologue_time）で音量と音高が初期値に戻るよう制御しました。
　フレーズを理解して歌っている様をあらわす為、フレーズの包絡線が山なりの音量となるように制御しました。
（２）発音要素の処理
　ボーカルのフィードバック制御システムを以下にモデル化し、音量と音高それぞれをシミュレートします。原則として音量と音高は相関関係を有するよう制御します。

　ボーカルの脳は、耳で測定して目標値と比較するまでに応答遅延（8mSEC程度）を経たのち、目標値との差分をPID制御し、声帯にフィードバック指示します。
　声帯は、脳からの指示をもとに音声を出力します。このとき９Hz近傍のビブラートや、２0Hz近傍の微細振動が外乱として加わります。なお、ビブラートはボーカルが故意に発振の大きさを調整可能とします。
　PID制御の式は以下のもので、これに応答遅延時間Dが加わります。

　制御指示 = Κp・（目標値－測定値）＋Κi・Σ（目標値－測定値）

　応答遅延時間Dはボーカル固有であり、定数と考えられますので、立ち上がり波形の制御は、Κp・Κiのパラメータにのみ依存します。
　巧いボーカルをシミュレートしたい場合には臨界制動になるように制御し、ちょっと音痴なボーカルをシミュレートしたい場合にはオーバーシュートさせて制御します。　元気よい歌い方はΚp・Κiともに大きく、おとなしい歌い方はΚp・Κiともに小さくしてください。（VocaSim004.pl は、ちょっとオーバーシュート気味です）
　なお、VocaSim004.plでは「得意とするキー」の70から外れたならば力が入りすぎてオーバーシュートするようコーディングし、発音要素間の音量の谷間のときは、Κp・Κiを大きくしました。発声時の音の立ち上がりより、発音しなくなる場合の方が応答が早いと考えた為です。
　外乱として常に細かなビブラートと微細変動を付与しています。これは通常のボーカルの音声波形を見ても同様になっています。フレーズ末尾においてはビブラートの振幅を増大させて、ビブラートが明瞭に認識されるようにしました。

５、今後の課題
（１）プレパレーションの付与
　音程変化直前に観測される、音程変化とは逆方向の瞬時的な変化をプレパレーションと言います。現在のVocaSim にはプレパレーションが付与されていませんが、これを付与することで更に自然な発生が可能となると思われます。

（２）実際の発声を分析してフィードバック制御
　現在のVocaSimのフィードバックシステムは、VSQファイルを生成するところまでが対象です。実際のVocaloid2システムはDYN/PITに対して非線形かつ独自な応答をしますので、VocaSimが出力した音量・音高と実際の発声は異なっています。よって、Vocaloid2システムが出力する音声の音量と音高をフィードバック制御することで、ボーカル・システムを更に正確にシミュレーション可能となります。
（３）リアルタイムにΚp・Κiを変化
　現在のVocaSimは、曲の途中でΚp・Κiを変更できませんが、曲の途中でユーザがリアルタイムにΚp・Κiを制御することで、ユーザの演出意図を反映した音声シミュレーションが可能となります。

６、ライセンスについて
　当ソフトウエアの改変と再配布は自由で、特に作者への通知も必要ありません。但し、ウイルス・コード埋め込み、及びスパイウエアコードの埋め込み、その他法律に抵触する態様への改変を禁じます。

参考データと参考ソフトウエア
Dearest.vsq：ぼかんないんです＞＜　yuukiss さん

【ニコニコ動画】【本気MEIKO】 Dearest (pf mix) 【カバー曲】

MikuMikuVoice：樋口優さん
http://www.geocities.jp/higuchuu4/index.htm
Ripples Ver.0.0.8：zhuoさん
http://www.geocities.jp/zhuoware/ripples/ripples_top.html

参考文献（敬称略）
VocaListenerユーザ歌唱を真似る歌声合成パラメータを自動推定するシステムの提案
中野倫靖, 後藤真孝（産業技術総合研究所） 2008/05
http://staff.aist.go.jp/t.nakano/PRESENTATION/pSIGMUS200805nakano.pdf

歌声知覚・生成機構の解明に向けた歌声合成システム構築に関する研究
斎藤毅　北陸先端科学技術大学院大学　情報科学研究科 2006/3
http://www.jaist.ac.jp/library/thesis/is-doctor-2006/abstract/t-saitou/jabstract.pdf

歌声における F0動的変動成分の抽出とF0制御モデルに関する研究
斎藤毅　北陸先端科学技術大学院大学　情報科学研究科 2002/2/15
http://www.jaist.ac.jp/library/thesis/is-master-2002/abstract/t-saitou/jabstract.pdf

歌声に含まれる基本周波数の微細変動成分の知覚に関する研究
北風裕教　北陸先端科学技術大学院大学　情報科学研究科 2000/2/15
http://www.jaist.ac.jp/library/thesis/is-master-2000/abstract/kitakaze/jabstract.pdf