VocaListener（ぼかりす）: ユーザ歌唱の歌い方を真似る歌声合成パラメータを自動推定するシステム

English version is here.

Abstract:

　本研究では、歌声合成を使用した音楽制作を支援するために、ユーザの歌唱音声から歌声合成パラメータを自動 推定するシステム VocaListener を提案する。従来、ユーザの歌唱音声から、音高や音量等を推定して歌声合成パラメータと する研究はあったが、歌声合成の条件(歌声合成システムやその音源データ) の違いに対してロバストでなく、入力歌唱を真似 るだけでは、ユーザの歌唱力を超えることが出来ないという問題もあった。そこで VocaListener では、合成された歌唱が入 力歌唱と近くなるように、合成パラメータを反復更新することで、上記の条件の変化へ対処する。さらに、入力歌唱に対して、 音高のずれやビブラートなどの歌唱要素を修正できる支援機能も提供する。

Overview:

　本研究では、合成歌唱を目標歌唱(入力) へ近づける コア技術を VocaListener-core、目標歌唱自体を編集す る技術を VocaListener-plus と呼ぶ。 また、それぞれで必要な要素技術 を VocaListener-front-end と呼ぶ。 図にシステム全体の流れを示す。ユーザは、歌 唱音声とその歌詞を入力として与える(A)。システ ムは、それらの入力に対して分析を行うが、漢字かな 混じり文をかな文字列に変換する際の誤りや、歌詞の 割り当てでフレーズをまたがるような大きな誤りがあ った場合は、ユーザが手作業で訂正する(B, C)。次 に、VocaListener-plus によって、声域を変更したり、 ビブラートの深さ等を調節したりできる(D)。最後に、 VocaListener-core によって、入力歌唱を真似る合成パ ラメータを推定する(E)。この際、歌詞アラインメン ト (歌詞の音節毎の発音開始時刻と音長) の音節境界に誤りが生じていたら、ユーザはその箇 所を指摘して訂正する(F)。最後に、ユーザは推定さ れたパラメータによって合成された歌唱を得る(G)。

Demonstrations:

本研究のデモンストレーション動画の一部を、 【初音ミク】 PROLOGUE 【ぼかりす】 に掲載させて頂きました（2008年4月28日）。

本研究のデモンストレーション動画の一部を、 【鏡音リン】 Game of Love 【ぼかりす】 に掲載させて頂きました（2008年6月6日）。

本研究のデモンストレーション動画の一部を、

• 【KAITO】 大漁船 【ぼかりす】
• 【MEIKO】 大漁船 【ぼかりす】
• 【初音ミク】 大漁船 【ぼかりす】
• 【鏡音リンACT2】 大漁船 【ぼかりす】
• 【鏡音レンACT2】 大漁船 【ぼかりす】
• 【がくっぽいど】 大漁船 【ぼかりす】
• 【VOCALOID合唱】 大漁船 【ぼかりす】

本研究のデモンストレーション動画の一部を、 【巡音ルカ】 大漁船 【ぼかりす】 に掲載させて頂きました（2009年2月6日）。

本研究のデモンストレーション動画の一部を、

• VocaListenerデモンストレーション: 合成結果 【ぼかりす】
• VocaListenerデモンストレーション: インタフェース 【ぼかりす】

本研究のデモンストレーション動画の一部を、 【メグッポイド】 大漁船 【ぼかりす】 に掲載させて頂きました（2009年7月7日）。

本研究のデモンストレーション動画の一部を、 【巡音ルカ】 Jullia 【ぼかりす】(英語版) に掲載させて頂きました（2009年8月4日）。

本研究のデモンストレーション動画の一部を、

• 【メグッポイド】 遥かな想い 【ぼかりす】(GEN=64)
• 【メグッポイド】 遥かな想い 【ぼかりす】(GEN=40)
• 【メグッポイド】 遥かな想い 【ぼかりす】(GEN=90)

本研究のデモンストレーション動画の一部を、

• 【氷山キヨテル】 大漁船 【ぼかりす】
• 【歌愛ユキ】 大漁船 【ぼかりす】
• 【SF-A2開発コードmiki】 大漁船 【ぼかりす】

本研究のデモンストレーション動画の一部を、

• 【初音ミクAppend】 大漁船 【ぼかりす】(DARK)
• 【初音ミクAppend】 大漁船 【ぼかりす】(LIGHT)
• 【初音ミクAppend】 大漁船 【ぼかりす】(SOFT)
• 【初音ミクAppend】 大漁船 【ぼかりす】(SOLID)
• 【初音ミクAppend】 大漁船 【ぼかりす】(SWEET)
• 【初音ミクAppend】 大漁船 【ぼかりす】(VIVID)
• 【初音ミクAppend】 大漁船 【ぼかりす】(六変化)

本研究のデモンストレーション動画の一部を、

• 【Lily】 大漁船 【ぼかりす】
• 【VY1】 大漁船 【ぼかりす】

本研究のデモンストレーション動画の一部を、

• 【メグッポイド】 Packaged 【ぼかりす】

本研究のデモンストレーション動画の一部を、

• 【ガチャッポイド】 大漁船 【ぼかりす】
• 【猫村いろは】 大漁船 【ぼかりす】
• 【歌手音ピコ】 大漁船 【ぼかりす】
• 【歌手音ピコ】 大漁船 【ぼかりす】(1オクターブ上げ)

Acknowledgments:

本研究の一部は、科学技術振興機構CrestMuse プロジェ クトによる支援を受けました。本研究では、 ヤマハ株式会社の開発した Vocaloid 及び Vocaloid 2 の応用商品である、 クリプトン・フューチャー・メディア株式会社の 「KAITO」, 「MEIKO」（以上、Vocaloid）、 「初音ミク」, 「鏡音リン」, 「鏡音レン」, 「巡音ルカ」, 「初音ミクAppend」（以上、Vocaloid 2） を使用させていただきました。 また、同じく Vocaloid 2 の応用商品である 株式会社インターネットの 「がくっぽいど」, 「メグッポイド」, 「Lily」, 「ガチャッポイド」、 AH-Softwareの 「氷山キヨテル」, 「歌愛ユキ」, 「SF-A2開発コードmiki」, 「猫村いろは」、 ヤマハ株式会社の 「VY1」、 株式会社キューンレコードの 「開発コードPIKO 歌手音ピコ」 を使用させていただきました。 本研究に対し有益な議論 をして頂き、VSTi ホストの実装へご助言を頂いた藤原弘将 氏(産総研) に感謝致します。また、音響モデルの適応などで ご助言を頂いた緒方淳氏(産総研)、歌声合成に関して有益 なご意見を頂いた齋藤毅氏(産総研) に感謝致します。

本研究では、権利者の許可を得て、 楽曲「Packaged」（作詞・作曲・編曲: kz 様）、 RWC 研究用音楽データベース (ポピュラー音楽 RWC-MDB-P-2001、音楽ジャンル RWC-MDB-G-2001) を使用しました。

Reference:

1. 中野倫靖, 後藤真孝.
   VocaListener: ユーザ歌唱を真似る歌声合成パラメータを自動推定するシステムの提案.
   情報処理学会 研究報告 2008-MUS-75.
   Vol.2008, No.50, pp.49-56, May 2008.
   (平成21年度 情報処理学会 山下記念研究賞 受賞)
   [論文PDF] [発表資料PDF]
2. 中野倫靖, 後藤真孝.
   音楽情報処理最前線！ 第 1 回: VOCALOIDに歌を真似させるVocaListener（ぼかりす）.
   DTM MAGAZINE.
   Vol.170, pp.72-73, August 2008.
   [記事PDF]
3. 中野倫靖, 後藤真孝.
   VocaListener: ユーザ歌唱とその歌詞を用いた歌声合成パラメータの自動推定システム.
   日本音響学会 2008年 秋季研究発表会 講演論文集.
   1-4-5, pp.245-248, September 2008.
   [論文PDF]
4. 中野倫靖, 後藤真孝.
   VocaListener: 事例を与えてインタラクティブに歌声合成できるメタ歌声合成インタフェース.
   情報処理学会 インタラクション 2009 論文集.
   [論文PDF] pp.65-66, March 2009.
   
5. Tomoyasu Nakano and Masataka Goto.
   VocaListener: A Singing-to-Singing Synthesis System Based on Iterative Parameter Estimation.
   In Proceedings of the 6th Sound and Music Computing Conference (SMC 2009).
   [論文PDF] pp.343-348, July 2009.
   

1. TOKYO MXテレビ 「ガリレオチャンネル」 2008年11月15日(土) 19:00〜19:30
   「歌声はなぜ心に響くのか」
   
2. BSジャパン 「世の中進歩堂」 2009年4月12日(日) 20:30〜21:00
   「これが次世代の音楽鑑賞の姿！サビ出し機能搭載の音楽システム登場！」
   
3. ITmedia News: 2009年4月27日(月)
   VOCALOID“神調教”技術「ぼかりす」実用化へ、ヤマハと産総研が連携
4. 日本経済新聞 NIKKEI NET: 2009年4月27日(月)
   ヤマハと産総研、歌声合成パラメータ推定技術「ＶｏｃａＬｉｓｔｅｎｅｒ」の実用化で連携
5. 日経BP社 日経エレクトロニクス Tech-On!: 2009年4月27日(月)
   「歌声合成を容易に」，産総研が歌声合成ソフト向けパラメーター調整技術を開発
6. DTM MAGAZINE: 2009年4月27日(月)
   歌声合成パラメーター推定技術VocaListenerを実現
7. DTM MAGAZINE: 2009年4月27日(月)
   VocaListenerの実用化に向けヤマハと産総研が連携
8. インプレス INTERNET Watch: 2009年4月27日(月)
   自分の歌い方をまねて「初音ミク」が歌唱、ヤマハと産総研が開発
9. インプレス BB Watch: 2009年4月27日(月)
   自分の歌い方をまねて「初音ミク」が歌唱、ヤマハと産総研が開発
10. インプレス AV Watch: 2009年4月27日(月)
    ネット上でVOCALOIDの歌声を自動調整する「Netぼかりす」−ヤマハと産総研が共同開発。NetVOCALOIDとの連携も検討
11. マイコミジャーナル: 2009年4月27日(月)
    ヤマハと産総研、VOCALOID調教システム「ぼかりす」実用化へ
12. RBB TODAY: 2009年4月27日(月)
    “歌い方”を聞かせてミクをもっと自然に歌わせる 〜 産総研、新技術「VocaListener」実現
13. 日経産業新聞: 2009年5月1日(金) 9面
    「産総研 自動で歌声合成 ― 手作業での調整不要に」

産総研広報:

1. 産業技術総合研究所 広報記事: 2009年4月27日(月)
   「歌声合成パラメーター推定技術 VocaListener（ボーカリスナー）を実現」
2. 産総研 TODAY: Vol.10(2010), No.06
   「ユーザーの歌い方を真似る歌声合成技術
   歌うことで、より自然なニュアンスで歌声合成できるVocaListener」