Over&Out その後

真鍋大度さんとの初仕事 "music for the deaf" 振り返り

iOS, 制作実績, デバイス連携, Bluetooth

昨日「ヨコハマ・パラトリエンナーレ2014」の特別イベントとして、 SOUL FAMILY × 真鍋大度 + 石橋素 + 照岡正樹 + 堤修一 名義で、『music for the deaf プレゼンテーション』を行いました。

先日書いた記事『音楽に合わせて電気を流すiOSアプリ - Over&Out その後』で紹介した、「耳の聴こえないダンサーが、音楽を「感じ」ながらダンスをするためのデバイス＆アプリ」を使って、聴覚障害のダンサーチームが実際にその場で電気刺激だけでダンスをする、というものです。

電気刺激デバイス（通称ピリピリデバイス）

申し込み制のイベントだったのですが、定員に対して倍以上の応募があったそうです。（抽選に漏れた皆様、すいません、後日アーカイブサイトが公開されるそうです）

ちなみに「ライブパフォーマンス」とかではなく、「デモンストレーション」「プレゼンテーション」と銘打っているのは、まだプロジェクトとしては途上段階であり、今回は中間報告的な位置づけであるためです。

つくったもの

電気刺激を用いたさまざまな試みは真鍋さん、石橋さん、照岡さんが従来からやってきたことで、今回の新規開発のテーマは 「ポータブル化」 （ダンサーが身につけられるようにする）でした。

で、スマホ & BLE でポータブルにしようということで、自分にお声がけいただき、ダンサー用アプリ、お客さんが疑似体験する用のアプリの2つを制作しました。

ダンサー用アプリ

音楽に合わせて電気を流すアプリ

• MIDIファイルを解析し、再生に合わせてピリピリデバイス制御コマンドを生成、 BLE 経由で送信する
• ダンサーそれぞれのiPhoneにインストール
  • iPhoneとデバイスの距離が開いてBLE接続が切れる可能性があるので、今回はポケットに入れて踊ってもらった
• このアプリ＋ピリピリデバイスだけで使用可能だが、今回はパフォーマンス用に、MacからOSCでコントロールもできるようにした

（本番で使用したiPhone3台）

観客用アプリ

ダンサーの感じている電気刺激を、iPhoneのバイブで擬似的に体感するためのアプリ

• ダンサー用アプリと同じMIDIファイルを持っていて、曲に合わせてバイブを作動させる
• 台数、会場インフラ、距離を考慮して、再生タイミングの同期には「音響透かし」という、非可聴域の音波を利用して、音に情報を埋め込む技術を利用
  • アプリを起動しておけば、自動的に会場BGMに同期して再生が開始される

音響透かしは、日本エヴィクサー社より技術提供いただきました。

• ACR（自動コンテンツ認識）、Video/Audio/Image Fingerprint（映像・音声・画像フィンガープリント）、Audio Watermark（音響透かし）、Evixar Hybrid ACR | 日本エヴィクサー株式会社 Evixar Japan, Inc.
• エヴィクサー、「ヨコハマ・パラトリエンナーレ2014」のエキシビション「music for the deaf」にACR技術を提供 | 日本エヴィクサー株式会社 Evixar Japan, Inc.

iOS用のSDKが用意されていて簡単に導入できます。

ピリピリデバイス

電気刺激デバイス（ピリピリデバイス）は照岡さんという、真鍋さんとかなり古くから一緒にやっている方が制作されたもので、4chの電極を持ち、シリアル通信でそれらのon/offや電流の強度、周波数などを制御できるようになっています。

（ピリピリデバイス完全体）

上の写真の通り、BLE の部分は Konashi を使用していて、シリアル通信（UART）でコマンドを送るようになっています。

ダンサーはこれをケースにしまったうえで、伸縮性があって体に巻けるベルトのポケットに入れて身につけています。（ケースとベルトは石橋さん制作）

ピリピリデバイスのコマンド体系

ピリピリデバイスを制御するためのコマンドは次の4種類。UARTで送る1バイトのうち先頭2ビットがコマンド種別を示しています。

• 0,0,T7,T6,T5,T4,T3,T2
• 1,0,I7,I6,I5,I4,I3,I2
• 0,1,T1,T0,L3,L2,L1,L0
• 1,1,C1,C0,R3,R2,R1,R0

T7-T0：パルス周期

f=1/((T+1)*128*10^-6*2*2)

かなり細かく設定でき、アプリでも一応可変にしてあったのですが、今回のパフォーマンスでは最大周波数（一番刺激が鋭い）に固定して使用していました。

I7-I2：出力電流値

I(mA)=(((I/255)*(5-0.5))/100)*1000

これは人によって好みが全然違うので、ダンサーごとにそれぞれ設定していました。

C1,C0：出力電圧方向のコントロール

• C1=1,C0=1 -> 出力全OFF
• C1=1,C0=0 -> L(+) -> R(-)固定
• C1=0,C0=1 -> L(-) <- R(+)固定
• C1=0,C0=0 -> ±モード（通常モード）

今回は通常モード固定で使用。他のモードはこれから別の試みで使用する予定です。

L3-L0,R3-R0：出力電極ch選択

4組の電極と、MIDIの各トラックとの対応は、

• ch0: キック
• ch1: スネア
• ch2: ハイハット
• ch3: メロディ

となっていのですが、これもダンサーごとに、すべてONにする人、キック＆スネアの大まかなリズムだけを好む人等、それぞれ好みはバラバラでした。

あとch0（キック）については4拍目・8拍目だけ強くしてほしい、全部の拍を均一で、といった好みの違いもありました）

イベント全体のシステム構成

前回の記事にも書きましたが、システム構成はこんな感じになってました。

• ダンサー用 app は母艦の MBP から OSC でコントロール
• お客さん用 app は母艦が会場に流す BGM に埋め込まれた音響透かしにより、自動的に再生開始

あと、トラブル検知用に、ダンサーappからBLE接続状態を送信するようにしました。

母艦からのシステム全体の制御は真鍋さん作のMaxパッチで行っていて、照明の制御はDMXってやつらしいです。こちらも真鍋さんがコード書いてます。

（制御用パッチ。本番中の2曲目の最中に撮ったもの）

当日の様子

いままで自分がやってきた仕事と毛色が違って、その場限りの一発勝負なので、自分が出るわけでもないのに、それはそれは緊張しました。。練習やリハではBLE接続が切れたり、バッテリーが切れたりといろいろあったので。。

（オペレーション席）

結果的にはトラブルもなく、素晴らしいデモンストレーションとなりました。

ラストの、会場のBGMを完全に消して、ダンサーたちのステップと息づかいだけが聴こえる部分は神秘的ですらありました。

残りの時間は、キュレーターの難波さん＋ダンサー佐山さん＋制作の4人でのトーク。

壇上にいましたが、知らない技術や研究の話とかあって普通に聞いてておもしろかったです。

※観に来ていた友人が撮ってくれた写真なのですが、彼が座ってた席の都合上ステージ真横からの写真しかないので、真正面の写真をお持ちの方、ぜひご提供いただけると嬉しいです。

（撤収作業の後、そのまま会場にて打ち上げ）

まとめ

もっと書きたいことはたくさんあるのですが、時間経ってしまうと記事自体をお蔵入りにしてしまいそうので今回はこの辺で *1 。

とにかく無事に終わってよかったです。SOUL FAMILYの皆様、真鍋さん、照岡さん、石橋さん、運営の皆様、見に来てくださった方々、どうもありがとうございました!!!!

関連記事

• 音楽に合わせて電気を流すiOSアプリ - Over&Out その後
• 2014年5月〜7月にやったお仕事のまとめ - Over&Out その後
• 独立して最初の3ヵ月間にやったお仕事のまとめ - Over&Out その後

ツイートする

Permalink | コメント(0) | 07:35