10月12日にGoogleがリリースした｢鼻歌検索｣。メロディーは思い出せるんだけど、何の曲か検索したいときに鼻歌を聴かせることで、目当ての楽曲を探せる機能です。

androidのGoogleアプリもしくは検索窓を開いて音声検索のボタンから｢曲を検索｣を押すか｢この曲は何？｣と話しかけると、鼻歌を聴き取る機能がオン。10〜12秒ほど鼻歌を口ずさむと、該当する楽曲を教えてくれます（iOSは今後対応予定）。

検索に引っかかるのは、マッチ度が高い順に3曲ほど。思い出せなくてムズムズするのが解消されるし、何より楽しい。

とはいえ、鼻歌検索って10年ぐらい前からスマホアプリでありますよね？ 何が違うんでしょうか。

鼻歌と音源の双方を数列化して、直接マッチング

Googleのクリシュナ・クマール氏によると、既存のサービスよりもデータベースの数が段違いだといいます。

｢Googleの鼻歌検索と似ているものはありますが、その多くが"ユーザーのハミング"と"既存の楽曲のハミング版"を合致させるクエリを使っているものが多いです｣

｢鼻歌─オリジナル音源のハミング版─オリジナルの音源｣としているため、中間のデータベースを作成するコストなどがあり、データベースの量が限定的だったといいます。

Googleの鼻歌検索では既存の方法とは異なり、中間表現を生成していません。

｢ユーザーの鼻歌と、オリジナルの音源の両方を機械学習モデルが数列に変換して、照合しています。鼻歌はリアルタイムで数列に変換され、クラウド上でオリジナル音源の数列と比較しているため、参照できるデータベースの量がはるかに多いです｣

上の4枚は音源の周波数。一番左が｢鼻歌｣で一番右が｢マッチするオリジナルの音源｣です。真ん中の2枚は｢それっぽいけど違う曲｣。一見、同じ周波数に見えるものを数列化することで、類似具合を計っていきます。

鼻歌認識は、実はとっても難しい

｢歌声の検索はすでに可能でしたが、鼻歌には"歌詞"がありません。歌詞や音程を照合するのではなく、音程のみを抽出する学習モデルを作成し、情報量の少ないメロディーで検索できるように機械学習を重ねました｣とクマール氏。

この機械学習の精度を上げることで、歌詞も言語も関係なくメロディーだけで検索できる仕組みを作りました。テンポや音程、リズムなどは検索の対象外。ちょっと音程がズレていても検索できます。

鼻歌のデータと音源のデータを照合する際には、背景のノイズなどを排除しなくてはいけませんが、このモデルの開発の基礎には、Google AI チームによる​楽曲認識技術があります。Googleがこれまでにリリースした、近くで流れている音楽をデバイス上で検出する｢Now Playing ｣や数百万曲の楽曲まで検索できるGoogle アプリの｢サ​ ウンド検索​｣などの技術を進化させることで、オリジナルの音源がない環境でも、鼻歌という抽象度の高いアプローチで楽曲を検索できるようになったといいます。

↑｢鼻歌検索｣が使われたランキング。BTSが強いらしい。

今現在、音源のデータは世界中でライセンス登録のある50万曲ほど。今後、トレンドのものから古典までオールジャンルをフラットに増やしていくそうです。｢ふんふーん♪｣と、歌うだけで検索するためには、想像以上に多くのステップが必要だったんだなぁ。

Source: Google, Google AI