AI演奏表情付け技術

人間の演奏表現をAIが再現

これまでに、多くのピアニストやアーティストの演奏が、数々の音楽演奏や作品に影響を与えてきました。近年は動画投稿サイトやSNSの発達により、さまざまなピアノ演奏を聴くことができるようになり、多くのインスピレーションを受けられるようになっています。ヤマハでは、ここにAIが加わることで、AIが新たな存在としてインスピレーションを生み出し、人々の音楽活動をさらに刺激的で楽しいものにしてくれることを期待しています。

我々は、さまざまなピアノの楽譜にAIが表情を付けて、人間が弾いているような自然で感情豊かな演奏を生み出す技術を開発しています。AIが人間の演奏にどれだけ近づくことができるか、インスピレーションを引き起こす演奏とは何か。これらを探求しながら、AIによって人々に新たな感動や創造性の波が拡がっていくことを目指しています。

AIによる学習

この技術では、人間が演奏するときの特徴や表現を、対応する楽譜と紐付けてAI（深層ニューラルネットワーク）に学習させます。これにより、AIは任意の楽譜に対し、自然で豊かな演奏表現を推測できるようになります。また、特定の演奏者の演奏を重点的に学習させることで、その演奏者が演奏したことのない曲でも、その演奏者らしい表現を推測することができます。

必要なデータ

学習には、人間の演奏に関する「演奏データ」と、それに対応する「楽譜データ」を用意します。演奏データは、鍵盤を押す速度・打鍵タイミング・離鍵タイミングのような、強弱やタイミングを制御する情報です。この情報は、自動演奏機能付きピアノや電子ピアノで演奏を再現できる形式で保持されます。このような演奏データはピアノ演奏の音源には直接含まれないため、特定のピアノで最も忠実に響きを再現できるような演奏データを推定します。

学習と推測

AIは演奏データと楽譜データの対応関係を深層ニューラルネットワークで学習し、人間はどのように打鍵・離鍵して、楽譜のさまざまな特徴を表現するのかを学びます。これにより、AIは与えられた楽譜から、楽譜の特徴を頼りに人間の演奏表現を推測できるようになります。また、人間が演奏したことのない楽譜からでも、人間が弾くような表現を推測することができます。

このように、AIは演奏データと楽譜データの局所的な対応関係を学習しますが、演奏と楽譜を直接学習すると、同じ楽譜に対して、ワンパターンな表現しか推測できません。しかし、人間の演奏者は同じ楽譜でも毎回異なる表現で演奏するものです。そこでAIは、楽譜からだけでは得られない、演奏における潜在的な変動要素を同時に学習することで、幅広い表現を推測できるようになります。

演奏表情付きデータの再生

任意の楽譜データをAIに与えると、AIはそれを解析し、推測した演奏表現を付加したデータを出力します。このデータは、自動演奏機能付きピアノや電子ピアノのほか、パソコンなどの音楽ソフトで再生することができます。特にハイブリッドピアノ Disklavier^*1 で再生すると、まるでそこで人が弾いているような、臨場感ある演奏を体験することができます。

^*1 Disklavier™（ディスクラビア）は、鍵盤やペダルの動きを正確に再現する自動演奏機能を搭載したハイブリッドピアノです。

ピアニストの演奏がより身近に

人々に影響を与え続けてきたピアニストの演奏をAIに学習させることで、AIは日々の練習や演奏にさまざまな刺激を与えてくれる、新たなパートナーとなりうることが考えられます。最近はピアノの楽譜データが急速に増加してきていますが、この大量の楽譜データからAIが往年のピアニストらしい演奏を生み出すことで、これまでにないインスピレーションが引き起こされる可能性もあります。

さらにAI合奏技術と融合させることで、好きなピアニストと好きな時間に、自由に演奏できるようになります。時間や場所を問わず、だれもが憧れの相手との合奏を楽しめるような、新しい時代における音楽の楽しみ方を提供したいと考えています。

創造性あるAIへ

ピアニストの演奏で思わぬ表現が出てくると、はっと驚かされたり、心が揺さぶられたりして、強いインスピレーションを感じるものです。ただ、この意外性のある演奏は、高確率で起こり得るパターンや組み合わせを学習するAIにとっては、生成が困難であることが分かってきています。今後は、人間の創造性に関する理解やモデル化が重要となってくるでしょう。人間をより深く理解する中で、「次にどのような意外な弾き方をするのかワクワクさせてくれる」ような、AIの実現を目指していきたいです。

応用事例

Dear Glenn

世界的なメディアアートの祭典「Ars Electronica Festival（アルスエレクトロニカ・フェスティバル）2019」に、AIと人間の共創の可能性を追求するプロジェクト「Dear Glenn」を出展しました。

「Dear Glenn」では、1982年に没した伝説的ピアニストであるグレン・グールドの演奏タッチを、AI演奏表情付け技術で再現しました。さらに AI合奏技術融合することで、グレン・グールドのタッチを再現したピアノ演奏と、グレン・グールドに所縁のあるアーティストとの共演が実現しました。