タイトルを読んで筆者が言いたいことが伝わったでしょうか？
筆者が作りたいのは、Unreal EngineかUnityで3Dキャラが演奏アニメーションする音楽プレイヤーです。単なる演奏ではありません。Midiファイルを開いたらその楽器に合わせて正しい指運びで3Dキャラに演奏するアニメーションをさせたいです。
Unreal EngineやUnityは主に3Dゲームが作りやすいゲームエンジンというものです。Midiとは簡単に言えば楽譜だけのデータの音楽ファイルの規格です。

アニメなどで音楽をテーマにしたものはよくあります。またMidiファイルを再生する音楽プレイヤーもあります。それらを組み合わせるだけでなく、楽譜の音楽の再生に合わせて正しく楽器を運指するアニメーションを実現したいです。例えば楽譜が読めない人がアニメーションの運指を見て楽器を練習することができます。

Midiには128個もの楽器や音色があります。それらを正確に3DCGで楽器の形にモデリングするだけでも大変です。
筆者が1番弾ける楽器はギターなのですが、そのコードをアニメーションで押さえるだけでも滅茶苦茶大変で、さらにピッキングの場合どこまでできるか…ギター1楽器のアニメーションさえ挫折しそうなのにどうしたらいいか？
一応昔懐かしいAdobe FlashでスリーコードをMP3(Midiではなく)に合わせてコードストロークして、そのコードを音楽に合わせてC〜Bをタイピングする音楽ゲームは作ったことがあります。だからなおさらその大変さがわかります。

筆者はもう諦め気味なので誰か作ってくれないかな？あまり利益は出せないだろうけど…

かなえたい夢というお題なので、敢えて無謀な夢を語ってみました。