株式会社ドワンゴおよび株式会社バーチャルキャストは、現実の電子楽器の演奏をバーチャルキャラクターの指の動きに反映させる「運指再現技術」を独自開発、公式生放送での運用に成功した旨を発表しました。現実の鍵盤からMIDIデータを認識し、その鍵盤を鳴らしているバーチャルキャラクターの指へと、ほぼリアルタイムで動きを反映させます。

この技術は、ニコニコ生放送で9月8日に配信された、VTuber（バーチャルユーチューバー）ときのそらのデビュー1周年記念特番におけるピアノ演奏で運用されました。

バーチャル空間で楽器演奏の表現を可能に

今回発表された「運指再現技術」は、現実の環境で叩かれた鍵盤から出たMIDI（電子楽器用信号）データを認識し、その音の対象となるバーチャルキャラクターの指の動きをほぼリアルタイム（1秒程度のタイムラグ）で反映させる技術です。これにより、バーチャル空間での楽器演奏などにおいて、キャラクターの手先の動きを実際の人物の動きのように再現・反映することが可能になりました。

この技術は、9月8日に放送されたVTuber・ときのそらのニコニコ生放送デビュー1周年記念番組で初めて採用され、ときのそらがバーチャル空間に設置されたキーボードの演奏に成功しています。手元をフォローした映像では、鍵盤を叩く指1本ずつの動きが映像に反映されています。

ドワンゴおよびバーチャルキャストは、この技術によりキーボードなどに限らない楽器の演奏など、バーチャルキャラクターのより高度な表現が可能になったとしており、「今後もバーチャルキャラクターの表現力を高める技術の開発を進めていく」とコメントしています。