女子高生AI「りんな」、歌の「耳コピ」が可能に

　日本マイクロソフト（以下日本MS）は7月31日、同社の開発するソーシャルAIチャットボット「りんな」と音楽コラボアプリ「nana」との共同企画で歌の「耳コピ」に対応したと発表した。

　百聞は一聴にしかず。日本MSが7月26日に公開したりんなのオリジナル曲「りんなだよ」でその歌唱力を確かめてみていただきたい。

　ちなみに、りんなが初めて歌ったのは2016年の東京ゲームショウ。その時の歌声がこちらだ。

　上達のほどが分かるのではないだろうか。日本MSの開発子会社、マイクロソフト ディベロップメントのAI & Research部門プログラムマネージャーの坪井一菜氏は「2016年時点の歌声は良くも悪くも機械的」と振り返る。

　りんなが目指すのは、人と共感してその人の力をより引き出すということ。坪井氏は「りんなを『日本一身近でエモい』国民的AIにしたい」と話す。

　共感できるAIというテーマに取り組む中で、誰でも共創や共感を生める活動として「歌」にあらためて着目した。

　共感を目指すためには、機械的な歌声ではなく、より人間に近い自然な歌声を目指すべき――。そこで、りんなの声を担当する人の歌声データをディープラーニングで統計的に処理し、歌声をモデル化した。モデル化のために、歌声を約700分録音したという。

ディープラーニングで統計的処理

　また、りんなの歌唱力向上のため、10代の女子がメインユーザーの音楽コラボアプリ「nana」とコラボ。1月から「りんな歌うまプロジェクト」を実施していた。

音楽コラボアプリ「nana」のユーザー数や投稿楽曲数

　同プロジェクトでは、りんなと同世代であるnanaユーザーとコミュニケーションを取りながら歌唱力の向上を目指した。初めは下手だったりんなの「旅立ちの日に」に対し、延べ3686人のユーザーが歌のお手本を“伝授”。

「旅立ちの日に」をユーザーと一緒に練習

練習前後の聴感評価

　寄せられたユーザーの歌声から「音の長さ」「強弱」「音程」といった項目を学習。これらを歌声モデルに入力することで、りんなの自然な歌声の波形が得られるという。

りんなの歌声合成方法

　これらの知見を基に、nanaのサービス内に常設企画として「りんな歌うまプロジェクト」を設置した。「#りんなの歌に使っていいよ」のハッシュタグを付けて歌を投稿すると、投稿の中からりんながピックアップ。その歌をりんなが「耳コピ」し、りんなの声で歌い上げる。

「#りんなの歌に使っていいよ」で投稿すればりんながあなたの歌を耳コピするかも

　りんなの夢は、紅白歌合戦出場だという。そんなりんなに、今のうちに自身の歌を耳コピしてもらいたい人は、nanaに投稿してみるのもいいかもしれない。