Songle Sync

Songle Sync (ソングルシンク) は、ウェブ上の音楽の再生に合わせて、多種多様な機器を同時に制御することで一体感のある演出ができる大規模音楽連動制御プラットフォームです。誰でも自分のスマートフォンやパソコン等の汎用機器を自由自在に組み合わせて、好きな楽曲の再生に合わせて光ったり動いたりする演出を気軽に楽しむことができます。新たな演出を創るための開発キットも公開中です。

• 2017/09/02 マジカルミライ2017 「keisei × ミクダヨー DJステージ － Songle Syncコラボ －」
• 2017/08/02 Songle Syncのプレス発表をしました

Songle Syncのチュートリアル をご覧ください。

チュートリアルのstep 1とstep 2で紹介している音楽連動制御アプリでは、ウェブブラウザーからSongle Syncにアクセスして、ウェブ上の楽曲を選んで再生すると、音楽理解技術で事前に解析されたビートや小節、サビ区間などに応じて変化するCGアニメーション（CG映像）が表示されます。それに連動するためのQRコードを他の人が自分のスマートフォンで読み込むと、その同じ楽曲が時刻同期しながら再生されて同じアニメーションが表示されます。同様に連動する機器を次々と増やしていくことが可能です。例えば、イベント会場などで数百人がこのようにアクセスすると、同じ楽曲を流すスピーカーや、同じアニメーションを表示する画面がたくさん存在する状態となり、大勢で一体感のある演出を楽しむことができるようになります。

このようにSongle Syncでは、ウェブサイト上で公開されている100万曲以上の楽曲をSongleが自動解析した結果を即座に利用して、楽曲ごとに異なる中身（ビートやサビなど）に連動した演出を楽しむことができます。再生したい楽曲が自動解析されていない場合は、Songleに楽曲のURLを登録して自動解析することでその楽曲もSongle Syncで再生できるようになります。楽曲は元のウェブサイト上から直接ストリーミング再生される仕組みなので、元の楽曲にアクセスできなくなった場合にはSongle Syncでも再生することはできなくなります。

Songle Syncは、一般的なウェブブラウザーから利用できて汎用性が高いため、異なるOS（Windows、MacOS）を搭載したパソコンや、異なるOS（iOS、Android）を搭載したスマートフォン・タブレットのように多種多様な機器を連動制御することができます。さらに、ハードウェアを用意してソフトウェアを開発すれば、小型軽量端末Raspberry Piや、IoTデバイス（ロボットや照明機器、衣装のLEDなど）を活用した演出も実現できます。以下のSongle Syncの利用事例が既に開発されていて、これらすべての利用事例に基づいて100台以上の機器を同時に制御した大規模な音楽連動制御が可能なことを確認しています。

(a) 画面表示

パソコン、iPhone、iPad、 iPod touch、Androidフォン、Raspberry Piなどの汎用機器を用いて、画面上で音楽に連動したアニメーションを表示しました。

(b) 空間演出制御

IoT化した照明機器や発光ダイオード（LED）を内蔵した光る生活雑貨（花瓶、キャンドル）などを用いて、部屋・環境の照明・光を音楽に連動して変化させることができました。

(c) ファッション制御

IoT化したLEDを装着・内蔵した光る衣装や光る腕輪を用いて、音楽に連動した発光制御ができました。

(d) メカ制御

IoT化した小型ロボットや電動カーテンを用いて、音楽に連動させながらロボットを動かしたり、カーテンを開閉したりできました。

Songle SyncチュートリアルのStep 3 をご覧ください。

Songle Syncでは、プログラマーが演出内容を容易に変更・開発できるようにするための開発キットを公開しています。この開発キットを使えば、演出スタイルのサンプルプログラムを変更するだけで、楽曲を再生して演出を描画する音楽連動制御アプリを容易に開発することができます。この開発キットを用いると、以下のメリットがあります。

(a) 音楽に同期させるための時間管理を意識する必要がありません。

小節の先頭ではこういう演出、サビに入ったらこういう演出、というようにイベント駆動なプログラムを記述するだけで、楽曲中の再生時刻が各イベントの時刻に達すると自動的にそうした演出が実行されます。しかも楽曲ごとに手作業でイベントを設定する必要がなく、Songleの解析結果（ビート、小節、サビ区間、繰り返し区間、コードなど）をイベントとして利用できます。

(b) 他の機器との連動制御を意識する必要がありません。

1台の機器を念頭においてアプリをプログラミングするだけで、他の多数の機器と自動的に連動できます。しかも、スマートフォンやパソコンのウェブブラウザーで動作するアプリ、照明を制御するアプリ、ロボットを制御するアプリのように、個別に開発されたさまざまな種類のアプリを、ある楽曲の再生に一緒に連動させることができます。このようにプログラマーは、通信や他の機器との連動制御を全く意識せずに、大規模な音楽連動制御を実現できます。

[Songle Syncの位置づけ]

Songle Syncは、国立研究開発法人 産業技術総合研究所 (産総研, AIST) における研究開発の一貫として、学術目的で一般公開・実証実験をしています。本研究の一部は、JST ACCEL (JPMJAC1602) の支援を受けています。

[研究開発チーム (産業技術総合研究所)]

後藤 真孝　[統括、着想、Songle用音楽理解技術]

井上 隆広　[Songle Sync フレームワーク設計・開発、開発キット（API）設計・開発]

尾形 正泰　[Songle Sync ハードウェア設計・開発、デモルーム統括・設計・設営]

加藤 淳　　[Songle Sync 開発キット（チュートリアル、サンプル）設計・開発]

石田 啓介　[Songle Sync アプリ開発（CGアニメーション）]

田中 利枝　[パネルデザイン・制作]

土田 修平　[Songle Sync アプリ開発（電飾衣装制御）]

中村 裕美　[Songle Sync アプリ開発（照明機器制御）]

川崎 裕太　[Songle 開発・運用]

Jordan Smith　[Songle用音楽理解技術]

濱崎 雅弘　[利用規約、プライバシーポリシー]

[法務アドバイザー (骨董通り法律事務所)]

福井 健策

橋本 阿友子

[連絡先]

下記アドレスまでメールをお送りください。

e-mail: songle-sync-ml at aist.go.jp

「 at 」を「@」に置き換えてから送信してください。