「音声再生遅延推測機能」正式リリース！　ズレない！待たせない！快適なスマホゲームを実現する技術紹介

「音声再生遅延推測機能」正式リリース！　ズレない！待たせない！快適なスマホゲームを実現する技術紹介

1. 1. Copyright ©CRI Middleware Co., Ltd. 「音声再生遅延推測機能」正式リリース！ ズレない！待たせない！ 快適なスマホゲームを実現する技術紹介 2015年7月17日 株式会社CRI・ミドルウェア 櫻井敦史 Game Tools & Middleware Forum 2015 TOKYO
2. 2. 2Copyright ©CRI Middleware Co., Ltd. （株）CRI・ミドルウェア 音声・映像を専門としたミドルウェア開発会社 人工知能・CD・音声・映像技術の研究開発 セガサターン用ADX PS2・GC・Xboxをはじめとする マルチプラットフォーム展開 iOS/Android用CRIWARE 1990年 1995年 2001年 2011年～ 2012年 採用タイトル 3,000 を突破
3. 3. 3Copyright ©CRI Middleware Co., Ltd. ■ CRIのミドルウェア群の総称 機能別の名称 ・CRI ADX2 オーディオ統合ソリューション ・CRI Sofdec2 動画再生ミドルウェア。アルファムービーなど ・ファイルマジックPRO ファイル読み込み、圧縮/パッキング、ネットワーク対応 CRIWAREとは
4. 4. 4Copyright ©CRI Middleware Co., Ltd. CRIWARE 採用例（F2P） iPhone & AndroidAndroidiPhone
5. 5. 5Copyright ©CRI Middleware Co., Ltd. モバイル環境での利用形態 ● iOS ネイティブ開発 Objective-C からCRI API を呼び出す。64bit対応済。 ● Android ネイティブ開発 NDKから CRI API を呼び出す。Android 5.0 動作確認済。 ● Unity 5 / Unity 4 PRO (iOS, Android, PC, Mac) ネイティブプラグイン提供。スクリプトから制御可能。 SofdecはAndroidマルチスレッドレンダリング非対応。 ● cocos2d-x (iOS, Android, PC, Mac) サンプルプログラムとムービ組み込みクラス提供。 2.x系と3.x系の両方をサポート。iOS 64bit対応済。
6. 6. 6Copyright ©CRI Middleware Co., Ltd. ADX2の概要
7. 7. 7Copyright ©CRI Middleware Co., Ltd. ■ プログラマとサウンドデザイナの分業 パラメータ制御や再生タイミング、発音数制御などは、データ側に設定。 →プログラム側は単純な再生制御だけでＯＫ。 ADX2の基本コンセプト 音声ファイル バイナリファイル プログラマ ADX2オーサリングツール ゲームプログラム 音（キュー）を デザイン キューを 指定して再生！ サウンドデザイナー
8. 8. 8Copyright ©CRI Middleware Co., Ltd. CRI独自の音声コーデック ADX 高音質・低負荷な1/4圧縮 HCA MP3/AAC同等の高音質・高圧縮 HCA-MX HCAと同じ圧縮率・高音質だが、 複数再生時に非常に低負荷 HCA-MXを16音再生 （例） モノラル48kHz HCA-MXで圧縮して、 16本同時再生の場合、 iPhone4SでCPU約10%
9. 9. 9Copyright ©CRI Middleware Co., Ltd. イントロ付きループ ■ 途切れず、綺麗にループするBGM - ループポイント付き波形の圧縮・再生に対応 - イントロ付きループBGMをプログラムの工夫無しで実現
10. 10. 10Copyright ©CRI Middleware Co., Ltd. 音ズレ対策[Android]
11. 11. 11Copyright ©CRI Middleware Co., Ltd. 音ズレが気になる演出１ ■ リズムゲーム - 音楽に合わせてタップ操作。 ■ 音楽に合わせた、演出の切り替え - 音楽に合わせて、照明が変化するライブシーンなど。
12. 12. 12Copyright ©CRI Middleware Co., Ltd. 音ズレが気になる演出２ ■ ユーザーの操作に合わせた音でも… - スワイプに合わせて、SEの音階が 上がっていくような演出とか。 ■ 口パクにこだわっても… - ボイスに合わせて口パクをしっかり描画。
13. 13. 13Copyright ©CRI Middleware Co., Ltd. Androidの何が問題か？ ■ サウンド再生レイテンシと、その端末差 再生のきっかけ プログラムによる再生指示 スピーカーからの発音 ・ユーザーのタッチ操作 ・自動イベントシーンで指定の時間になった など ここにかかる時間が 「再生レイテンシ」 ● Android の場合 - 遅い！ - 機種によって差が激しい！ 遅いと 200msec以上。 - 誰も教えてくれない！
14. 14. 14Copyright ©CRI Middleware Co., Ltd. 絵と音のズレ ■ 音ズレ問題をもう少し分解すると （１）鳴っている音の時刻を正しく取れるか？ →リズムゲームの譜面表示、ライブ照明演出、口パク （２）再生指示から音がなるまでのレイテンシ →スワイプ操作音、リズムゲームのタップ音 （３）絵と音の同期は崩れないか？ →（のちほど補足説明）
15. 15. 15Copyright ©CRI Middleware Co., Ltd. 絵と音のズレ ■ ADX2での対策方法 （１）鳴っている音の時刻を正しく取れるか？ →「サウンド再生遅延推測機能」で音ズレを調べて、 描画のタイミングを調整する（遅らせる） （２）再生指示から音がなるまでのレイテンシ →低レイテンシ再生モードを使用して、音を鳴らす。 ＝ネイティブサウンドレンダラ指定でボイスプールを作成する。
16. 16. 16Copyright ©CRI Middleware Co., Ltd. 新機能（今月リリース予定） ■ サウンド再生遅延推測機能 2015年2月にβ版機能としてADX2 SDKに搭載。 今月、正式機能としてリリース予定（関数仕様が刷新されます） アプリが、ADX再生時刻に推測結果を加味して描画タイミングを 自動調整できるようになります。 Android端末毎の個別調整が不要になります。 ※CRIなりの推測値のため、100％正しいとは保証できません。 あくまでもタイミング調整の参考値として扱ってください。
17. 17. 17Copyright ©CRI Middleware Co., Ltd. [Android] ①遅延推測機能 ■ 推測結果の利用イメージ
18. 18. 18Copyright ©CRI Middleware Co., Ltd. [Android] ①遅延推測機能 ■ アプリでの利用例（リズムゲームの場合） 初回起動時 ADX2で推測値を取得 タイミング調整の値として 遅延推測の値を保存 ２回目以降の起動 タイミング調整値の読み込み （起動のたびに調整値が勝手に変わらないように） （ノートの表示時刻＋タイミング調整値）＞音声の時刻 の条件を満たしたらノート表示＝絵を遅らせる。 ※ユーザーによるタイミング調整オプションは実装してください。 推測値はタイミング調整の初期値として使うことをお勧めします。
19. 19. 19Copyright ©CRI Middleware Co., Ltd. [Android] ①遅延推測機能 ■ ADX2遅延推測の仕組み（概要） ADX2出力バッファ Androidのサウンドバッファ H/W 基本的な仕組みは単純です。 以下の要素を考慮しながら、ADX2時刻とのズレを計算します。 ・ADX2出力バッファのデータ消費 ・Androidのサウンドバッファ（OpenSLES）のデータ消費 ・再生指示を出したタイミング 結果のゆらぎや異常系も考慮して、最終的な推測値を作ります。
20. 20. 20Copyright ©CRI Middleware Co., Ltd. 参考情報： ■ Android側サウンドバッファの再生位置について 最初からOpenSLESのGetPositionを使えばいいのでは？ 試してみると… 更新粒度に端末差が大きい。 再生位置が動き始めるまでの 時刻にゆらぎがある。 データ供給不足が起きると、 再生位置がリセットされる？ など、扱いに注意が必要。 同じnexus5で２回計測
21. 21. 21Copyright ©CRI Middleware Co., Ltd. [Android] ①遅延推測機能 ■ 補正がうまくいかないケースもある…と思います… 端末差を考慮した推測方法ではないので、推測がうまくいかない 端末もあるのではないかと考えています。 XPERIAの xLAUDなど、端末側でサウンド最終段に特殊処理が 入るような場合は怪しいです。 （今回試したら、xLAUDが有効でも大丈夫でした） 今後も推測方法は見直していきたいので、ご意見や情報の フィードバックをお待ちしています。
22. 22. 22Copyright ©CRI Middleware Co., Ltd. [Android] ②低レイテンシ再生 ■ ADX2の低レイテンシ再生モードについて Android版ADX2は、音ごとに２つの再生モードが指定できます。 ●通常再生モード（ASR） ADX側で全ての音をミキシングして、１つの音として出力。 最終段が１音なのでAndroidの端末毎の影響を受けにくい。 複数トラックの同期保証やDSPエフェクトなどが利用可能。 ●低レイテンシ再生モード（NSR） １つの音をAndroidの１音として直接出力する。 たくさん鳴らすと端末によって処理落ちしたりするので注意。 HCA-MXコーデックが使えないなど制限も多い。
23. 23. 23Copyright ©CRI Middleware Co., Ltd. [Android] ②低レイテンシ再生 ■ 低レイテンシ再生モードの使いどころ リズムゲームのタップ音や、スワイプ操作に合わせた音など。 リズムゲームの場合、連打されると処理落ちが発生する可能性も あるので注意してください。 問題が出た場合は、発音数制御などの調整を検討してください。 ※ADX2の遅延推測結果は、低レイテンシ再生の時刻には適用できませ ん。（再生時刻との同期が必要なものは通常再生してください。）
24. 24. 24Copyright ©CRI Middleware Co., Ltd. 絵と音の同期 ■ 絵と音の同期は崩れないか？ 再生開始の遅延時間がわかったとしても、再生途中で （外部要因によって）絵と音の同期が崩れる可能性があります。 例えば… ・ユーザ操作によるポーズON/OFF ・アプリのサスペンド／レジューム ・プッシュ通知や電話着信 ・スクリーンショットの撮影 ・アプリの処理落ちや、データ不足等による音途切れ
25. 25. 25Copyright ©CRI Middleware Co., Ltd. 絵と音の同期 ■ 時刻精度と滑らかさ この問題はADX2がまだ弱いところです。 リズムゲーム開発で困るので、改善検討中。 ●ADX2の再生時刻系１：GetTimeReal 滑らかに時刻が増加しますが、ポーズ連打で音とズレが発生。 ●ADX2の再生時刻系２：GetNumPlayedSamples 音と大きくはずれませんが、精度が粗く時刻が少しゆらぎます。
26. 26. 26Copyright ©CRI Middleware Co., Ltd. サウンドまわりのADX2 TIPS
27. 27. 27Copyright ©CRI Middleware Co., Ltd. 導入事例 ■ Unite 2015 のセッションで各種事例を紹介 2015年4月に開催された Unite 2015 にて、 「Unityで音を制す」と題した講演を行いました。 http://japan.unity3d.com/unite/unite2015/schedule 講演資料も講演動画も公開されていますので、 どうぞご覧ください。
28. 28. 28Copyright ©CRI Middleware Co., Ltd. リズムゲームを想定 ■ 楽曲の追加配信に備えて ADX2では「キューシート」という単位で サウンドデータを圧縮・パッキングします。 リズムゲームの場合は追加配信に備えて、 曲ごとにキューシートを作るのが便利。
29. 29. 29Copyright ©CRI Middleware Co., Ltd. リズムゲームを想定 ■ 曲リストでのプレビュー用データ１ 曲リストで選択された時に、その曲のハイライトだけを再生したい 場合があります。専用素材を増やさずに、対応できます。 同じ曲データに対して、開始／終端／オートメーションを指定。 開始位置 終了位置 オートメーション でフェード指定
30. 30. 30Copyright ©CRI Middleware Co., Ltd. リズムゲームを想定 ■ 曲リストでのプレビュー用データ２ ハイライト再生をループさせたい場合、もうひと手間。 キューリンクを使って、ハイライト再生をループ指定。 ループ指定 キューリンク Preview_M003_One
31. 31. 31Copyright ©CRI Middleware Co., Ltd. 簡単インタラクティブ ■ トラックごとの音量やパラメータをリアルタイムに変更 音楽を複数トラックにわけておいて、 ゲームからリアルタイムにコントロール。 ツール上でサウンド変化をデザイン。 （例１） インストトラックとボーカルトラック。 （例２） バトル曲とフィールド曲。 （例３） バトルの盛り上がり別トラック。 などなど。 音量やエフェクト を変更可能
32. 32. 32Copyright ©CRI Middleware Co., Ltd. フェードイン／アウト ■ データ側でもプログラム側でも設定可能 データでやるならエンベロープ設定。 カテゴリーリミットと組み合わせると、 簡単にクロスフェード設定できる。 （ただし必ず曲の頭がフェードインする） プログラムでやるなら、プレーヤにフェーダーをアタッチ。 プログラムでフェード時間等を細かく指定できます。
33. 33. 33Copyright ©CRI Middleware Co., Ltd. ランダマイズ ■ パラメータだけでなく、鳴らす音自体もランダム可 複数のボイスをキューに登録して、 ランダムに再生することが可能。 ランダムの割合も変更可能。
34. 34. 34Copyright ©CRI Middleware Co., Ltd. 特定音の強調 ■ ジングルやボイスを強調する（ダッキング） ジングルやキャラボイスなど強調したいサウンドがある場合、 音楽や効果音の音量を一時的に下げることが出来ます。 いろいろな効果音が同時に鳴っていても大丈夫です。 音量を下げる対象かどうかはカテゴリーで指定します。 変化 カテゴリ トリガ カテゴリ
35. 35. 35Copyright ©CRI Middleware Co., Ltd. ADX2/Sofdec2 の暗号化 ● ADX2/Sofdec2データの暗号化 暗号化することで、iOS/Android含めた全機種でデータ共通利用可能。 Unityでは暗号キー＋認証ファイル＋暗号化データの組み合わせで使用。 Cocos2d-xでは暗号キー指定のみで使用可能。
36. 36. 36Copyright ©CRI Middleware Co., Ltd. デモアプリ ■ りんごウォーズ - インタラクティブミュージック - ジングル強調（ダッキング）
37. 37. 37Copyright ©CRI Middleware Co., Ltd. ADX2 最新情報
38. 38. 38Copyright ©CRI Middleware Co., Ltd. 新機能（今月リリース） ■ トラック遷移（インタラクティブミュージックの新機能） キュー内の別のトラックに、ビートに合わせて、同じ拍数の ところに切り替わります。トラックごとのBPMが違っても大丈夫。 遷移３ 遷移１ 遷移２
39. 39. 39Copyright ©CRI Middleware Co., Ltd. ■ トラック遷移時のクロスフェードと読み込み ストリーム読み込み１ ストリーム読み込み２ 新機能（今月リリース） トラック遷移時は クロスフェード方法を 詳細設定可能。 総トラック数に関わらず、 読み込みとデコードは たかだか２本のみ。
40. 40. 40Copyright ©CRI Middleware Co., Ltd. 機能拡張（今月リリース） ■ DSPバス本数を拡張 DSPバスの本数を従来の８本から、最大64本に拡張します。 各キューでのバスセンド設定は、テンプレート化して簡単指定。
41. 41. 41Copyright ©CRI Middleware Co., Ltd. 機能拡張（リリース済） ■ 多言語対応データの設定方法を大幅拡張 従来の言語サブフォルダ指定は命名規則などの自由度がアップ。 サブフォルダとは別にトラック単位での言語指定にも対応しました。
42. 42. 42Copyright ©CRI Middleware Co., Ltd. リリース検討中 ■ CRI Atom Craft プロジェクトの差分チェック ２つのプロジェクトファイルを比較して、設定値の何が変わったのか などの差分を調べるツールを準備中です。 CRI Atom Craft 用の diff ツールとなります。 リリース検討中ですのでご興味の方はご一報ください。 仕様： コマンドライン用ツール。 分析結果はテキスト出力。 プロジェクトのマージ機能はありません。
43. 43. 43Copyright ©CRI Middleware Co., Ltd. TIPS：設定値のコピペ ■ リスト表示情報の列コピー 右クリックから「列コピー」でCSVやテキストに落として、 編集後にペースが可能です。（プロジェクト全体のCSV出力は不要）
44. 44. 44Copyright ©CRI Middleware Co., Ltd. アルファムービー演出
45. 45. 45Copyright ©CRI Middleware Co., Ltd. アルファムービーの活用 ■画面切り替え不要 - テクスチャ貼り付け + アルファムービ。 →好きなところに重ねて貼れる！ - ゲーム画面にムービを重ねられるので、 再生前後の画面の切り替えが不要。 - 再生キャンセルにも迅速に反応。 ＜使用例＞ - 必殺技に派手なカットインをつけるとか… - ゲーム画面をバックに、キャラをアニメーションさせるとか… - 演出ムービの向こうに少しだけ透けてみえる敵キャラとか… - 演出ムービを数パターン使い分けて、期待度アップを表現するとか… - シーン開始時のキャプションに使うとか…
46. 46. 46Copyright ©CRI Middleware Co., Ltd. Android版デモのダウンロード ■ アルファムービデモのAndroid版 - http://crimw.me/alphamovie - 「提供元不明のアプリ」のインストールを許可してください。 - 容量 約23MByte ＜動作環境＞ ARMv7対応のCPU
47. 47. 47Copyright ©CRI Middleware Co., Ltd. 検証用のサンプル素材 ■ サンプル素材（AVI）と AfterEffectsプロジェクト - CRIのSofdec2紹介ページからサンプル素材へのリンクがあります。 http://www.cri-mw.co.jp/alphamovie/index.html - ドラゴン召喚AVI ＆ 女の子の射撃カットインAVI （アルファ値入り） - 回る女の子のAfterEffectsプロジェクト（全素材入り） - 魔法スキル系のエフェクトムービ素材AVI １８種（新公開）
48. 48. 48Copyright ©CRI Middleware Co., Ltd. ファイルのパッキングと 追加配信対策
49. 49. 49Copyright ©CRI Middleware Co., Ltd. リソース配信のストレス軽減 サーバー インターネット ゲーム データ ゲーム データ バックグラウンド ダウンロード ローカルストレージ ■ サーバーからローカルストレージにファイルコピー - 追加データなどをゲームプレイを止めずに、バックグラウンドでダウンロード。 - ダウンロードするファイルはなんでもＯＫ。 - ネット切断時でも原則として自動で無限リトライ。
50. 50. 50Copyright ©CRI Middleware Co., Ltd. データ圧縮とパッキング データファイル パッキング ツール ランタイム ライブラリ パックファイル システム メモリ 個別ファイル 独自ファイル圧縮 圧縮の有無を区別不要 圧縮の展開時 中間バッファ不要 ■ ファイルシステム - 非同期アクセス機能 （ノンブロッキング読み書き/バックグラウンドローディング） - 独自のデータ圧縮 （展開時の中間バッファ不要） - パッキング機能 パックしたファイルも単独のファイルも区別せず読み込みが可能 ※ Unityのモデルデータ等は、 アセットバンドルファイルのままがオススメ
51. 51. 51Copyright ©CRI Middleware Co., Ltd. ■ ユーザーカスタム暗号化機能 パック（圧縮）した個々のファイルに対して、ユーザー独自の暗号化が かけられるようになります。（※ Unity向けは未対応） 新機能（今月末リリース予定） プロジェクトファイル CPK CPK暗号化ツールCpkFileBuilder ユーザ暗号化ツール 圧縮済の個別ファイル 暗号化済ファイル 暗号化CPK 暗号化ファイル定義
52. 52. 52Copyright ©CRI Middleware Co., Ltd. Macツール仕込み中 ■ Mac版 cpkmakec (コンソールツール） いくつかの機能制限はありますが、cpkmakecのMac版は試作済です。 先行して試してみたいという方は、ご連絡ください。 その他ツールについては、目途が立ち次第お知らせします。
53. 53. 53Copyright ©CRI Middleware Co., Ltd. ゲームエンジン対応 ■ 各種ゲームエンジン（スマートフォン）とのトピックス
54. 54. 54Copyright ©CRI Middleware Co., Ltd. Unity + CRIWARE ■ CRIWARE プラグイン for Unity - ADX2 / Sofdec2 / ファイルマジックPRO すべてが対応。 - AndroidのマルチスレッドレンダリングにSofdec2は非対応。 （Unity側がネイティブプラグイン非対応のため……） - PS4 / PS Vita /PS3 版のUnity対応プラグインも提供中。
55. 55. 55Copyright ©CRI Middleware Co., Ltd. アンリアル４ + CRIWARE ■ スマートフォン版は対応検証中 - 未リリース。開発検証ではADX2/Sofdec2ともにほぼ完了。 - Sofdec2の描画性能の改善を模索中。 - PC / PS4 / XboxOne 版は対応済。
56. 56. 56Copyright ©CRI Middleware Co., Ltd. Cocos2d-x 解説本 『cocos2d-xではじめるスマートフォンゲーム開発 [cocos2d-x Ver.3対応] for iOS/Android』 三木 康暉（著） @giginet 発売：技術評論社 価格：2980円+税 発売日：2014年12月22日 体裁：B5変形判 368ページ フルカラー ISBN：978-4-7741-7055-8 ※ADX2 LE を使用したサンプルも紹介されています。
57. 57. 57Copyright ©CRI Middleware Co., Ltd. CRIWAREの料金体系 （基本無料・アイテム課金アプリ向け）
58. 58. 58Copyright ©CRI Middleware Co., Ltd. CRIWARE の料金体系 ●基本無料・アイテム課金アプリ向け 初期費：３５万円／タイトル 月額許諾料 ・４０万円。iOS/Android 両方ＯＫ。 ・月間売上2700万円以下なら、翌月は無料。（初月は必須） 技術サポート込み（メール・電話） 4月 ５月 ６月 ７月 ８月 ９月 １０月 １１月３月 アプリ配信！ 月額 技術サポート（開発中から、リリース後も） 無償 無償 無償 無償 月間売上(2700万円以下）報告 月額 月額 月額 試用無償！ ADX2/Sofdec2/ファイルマジックPRO 全部使えます 採用決定 初期費
59. 59. 59Copyright ©CRI Middleware Co., Ltd. さいごに ■ CRIWAREとは CRIWARE は単なるパッケージではありません。 より素晴らしいゲーム制作をサポートするサービスです。 是非とも、皆様のご意見・ご要望をお聞かせください。 お問い合わせ… http://www.cri-mw.co.jp/contact