Vtuberのイベント出演を効率化する技術ワークフロー

Vtuberのイベント出演を効率化する技術ワークフロー

1. 1. VTuber のイベント出演を効率化する技術ワークフロー 株式会社バーチャルキャスト　開発部　基盤技術開発セクション 角　真宇 <SUMI Masataka> 1 2019 年 10 月 5 日
2. 2. - VTuber などのキャラクタをイベントや生放送に出演させる 際に必要な技術とその選択について - イベントや生放送ならではのよくある課題 - バーチャルキャスト社の取組事例 このセッションは？ 2
3. 3. 昨今の VTuber の急速な盛り上がりをうけて、今後の VR 市場の 世界的な成長を見据え、株式会社インフィニットループと 株式会社ドワンゴが 2018 年に設立した、本社札幌の会社です 株式会社バーチャルキャスト　とは 3
4. 4. VRライブ・コミュニケーションサービス「バーチャルキャスト」 - バーチャルキャラクターになりきって VR 空間のスタジオで リアルタイムにコミュニケーション 株式会社バーチャルキャスト　とは 4
5. 5. VR アプリだけの会社？ いえ、じつは様々な技術の研究開発を行い、実践しています - VR 向け 3D アバターフォーマット「VRM」の開発主導 - VTuber の音楽ライブイベントにおける 3D 演出制作 株式会社バーチャルキャスト　とは 5
6. 6. 名前：角　真宇　（さんたーP） 分野：リアルタイム3DCG の プログラマ & モデラ 過去：3DCG モデル Web 共有サービスの開発 　　　　　ex. 3DCGArts, ニコニ立体, THE SEED ONLINE 　　　PSVR アプリ「超歌舞伎VR」の開発 仕事：リアルタイム 3DCG キャラクタに関するすべて 　　　　　フォーマット (VRM), 表現 (MToon), モーキャプ (MotionHub), 　　　　　イベント演出 (Unity), etc 自己紹介 6 アバター
7. 7. VTuber を出演させるイベントをしたい！ - 来場者に楽しんでもらいたい！（大切） イベントにおける問題と制約 - どういう出力形式（ex. ディスプレイ）で表示させよう？ - リアルタイムで行うのか？事前に収録するのか？ - どういう風にキャラクタに動きをつけよう？ - モーションキャプチャ機器は？ - アクタの演じ方は？ - 運用はどうすればいい？ VTuber のイベント出演 7
8. 8. イベントごとに要件（やりたいこと・やれないこと）は違う - 出演者はたくさん - 指はワキワキ動かしたい - ゲーム実況で Wii や VR ゲームをプレイしたい - 歌ったり踊ったりしたい - 用意できるスペースは 2m x 2m - 小道具を持ったり置いたりしたい - ピアノを弾きたい - リハーサルで用意された検証時間は 1 時間 - え、来週ですか？ イベントにおける問題・制約 8 キャプチャ方法？ 赤外線干渉？ 物理的スペース？ どうやる？ 時間……
9. 9. 要件に応じた多様な出力システム ● バーチャルキャスト ● 自社開発 AR 撮影システム Polaris ● イベント用レンダリングシステム ○ ネットワーク非依存 ○ 特殊な出力ディスプレイ ○ 多重化・冗長性 イベントにおける問題・制約 9 要件に応じた最適な出力システムを選択 最近のバーチャルキャストって こんな絵作れるんですよ（余談） イベント用 レンダリングシステム
10. 10. モーション入力機材にまつわるリアルの制約 ● 時間 ○ タイムスケジュールは規定の時間を厳守 ○ モーションキャプチャのセットアップ時間は変動大 ● 空間 ○ WiFi や Bluetooth の電波干渉 ○ ゲーム機・照明との赤外線干渉 ○ 大音量スピーカーによる振動 イベントにおける問題・制約 10 制約に応じて最適な機材を取捨選択 電波ヨシ！
11. 11. 具体的にどういったモーションキャプチャ機器が使われる？ - HTC Vive Tracker → 安い！ - Perception Neuron → 個人でも買える値段！ - Xsens MVN → 個人では買えない値段 - OptiTrack → 個人では買えない値段 - VICON → 個人では無理な値段 HTC Vive Tracker だけはソフトウェアが無いので、自分で作るか FinalIK や IKINEMA Orion などを使う必要アリ モーションキャプチャ機器の選択 11
12. 12. 光学式 - HTC Vive Tracker - OptiTrack - VICON 慣性・磁気センサ式 - Perception Neuron - Xsens MVN モーションキャプチャ機器の選択 12 技術的な仕組みから、２通りに大別できる
13. 13. 光学式 - キャプチャエリアを明確に 決定し、センサを設置 - キャプチャエリアの中で のみ動くことができる 慣性・磁気センサ式 - アクタにのみセンサを装着 - 場所に固定されず、比較的 自由に動き回れる モーションキャプチャ機器の選択 13 キャプチャできる場所の違い
14. 14. 光学式 - キャプチャエリアの中での 絶対的な位置を取得 - 時間の経過で位置がズレる ことはない （センサがズレない限り） 慣性・磁気センサ式 - 最初の位置からの 相対的な位置を取得 - 時間が経つにつれ、実際の 位置からズレてくる モーションキャプチャ機器の選択 14 データの違い
15. 15. 光学式 - アクタはマーカと呼ばれる 物体を装着する必要がある - 身体に精密機器を装着する 必要は無い (Vive Tracker 除く) 慣性・磁気センサ式 - 身体の全体に精密機器の センサを装着する必要 - センサを厳密に固定する 必要から、身体は 締め付けられる モーションキャプチャ機器の選択 15 モーションアクタへの負担の違い
16. 16. 光学式 - キャプチャエリアを構える ため「スタジオ」としての 運用になりやすい 慣性・磁気センサ式 - どこにでも持っていけるが 独りで運用するのは難しい モーションキャプチャ機器の選択 16 運用にかかる人員の違い
17. 17. 光学式での比較 - HTC Vive Tracker - コンシューマ用なのでとにかく安い - 無線だけでなく有線接続もできる安心 - 機器が大きいので固定しづらい - キャプチャスペースが不安定 - OptiTrack - VICON よりは安価に、それでいて精度良く - VICON - 価格が高いから精度も最高！業界老舗のデファクトスタンダード モーションキャプチャ機器の選択 17
18. 18. 慣性・磁気式での比較 - Perception Neuron - 個人で届く価格帯 - 指をトラッキングできる - 磁場の影響を受けやすいため特に都会だと狂いがち - Xsens MVN - 慣性センサのみで行っているとは思えない高い精度 - 指はトラッキングできない（追加のグローブを購入する必要あり） - 磁場の影響を受けないためいろいろな場所で安定して使える モーションキャプチャ機器の選択 18
19. 19. - 高い機器ほど良い、という単純さは無い - 高い機器ほど熟練したスタッフ、土地、金が必要 - 高い機器ほどバックアップの用意が困難 - コンシューマ向けの機器はイベントで使えない可能性も高い - オフィスでは起きないこと (ex. 電波干渉) がイベント現場で起きる - 基本はトレードオフ - 手軽か？正確か？ - 安定性？コスト？ - あえて安い機材を使う場合もある モーションキャプチャ機器の選択 19 モーションキャプチャ機器の銀の弾丸は今は無い
20. 20. 多種多様な入力と出力の組み合わせ 問題・制約に対する解決 1/4 20 VICON OptiTrack Xsens MVN Perception Neuron MotionBuilder Facial Control HTC Vive Tracker Finger Tracking Fixed AnimationFile LED/画面出力 来場者参加イベント インターネット番組 音楽ライブイベント トークイベント 透過 OLED 出力 AR 出力 VirtualCast
21. 21. 多種多様な入力と出力の組み合わせを毎度実装…… 問題・制約に対する解決 2/4 21 VICON OptiTrack Xsens MVN Perception Neuron MotionBuilder Facial Control HTC Vive Tracker Finger Tracking Fixed AnimationFile LED/画面出力 来場者参加イベント インターネット番組 音楽ライブイベント トークイベント 透過 OLED 出力 AR 出力 VirtualCast Program A Program B Program C Program D
22. 22. 多種多様な入力と出力の組み合わせ 問題・制約に対する解決 3/4 22 VICON OptiTrack Xsens MVN Perception Neuron MotionBuilder Facial Control HTC Vive Tracker Finger Tracking Fixed AnimationFile LED/画面出力 来場者参加イベント インターネット番組 音楽ライブイベント トークイベント 透過 OLED 出力 AR 出力 VirtualCast Program A Program B Program C Program D 保守性の低さ・新規開発へのハードルの高さ
23. 23. 一元化して再利用性と保守性、拡張性を高める MotionHub 問題・制約に対する解決 4/4 23 VICON OptiTrack Xsens MVN Perception Neuron MotionBuilder Facial Control HTC Vive Tracker Finger Tracking Fixed AnimationFile LED/画面出力 来場者参加イベント インターネット番組 音楽ライブイベント トークイベント 透過 OLED 出力 AR 出力 VirtualCast MotionHub Supported by 保守性、拡張性を高める MotionHub
24. 24. 機能概要 - 入力：多種モーション機器からの入力を組み合わせ - 出力：多種レンダリング App にモーション出力 - 単独 App - VRM モデル Import - 独自リターゲティング実装 - 複数人の入出力対応 - モーション記録 MotionHub <VC社モーションキャプチャ基盤> 24
25. 25. MotionHub 機能トピック ● Xsens MVN の精度向上 ○ 独自ドライバ書き起こしにより、純正プラグインよりも精度向上 ○ 足滑りをほぼゼロに ● 冗長構成 ○ MotionHub 自体を複数の PC で起動 ○ ダウンタイムを最小限 ● 案件に合わせた迅速な拡張 ○ 既存実装を使いまわしての素早い 新規デバイス対応 MotionHub <VC社モーションキャプチャ基盤> 25
26. 26. MotionHub 実例 入力: Xsens MVN 出力: VirtualCast MotionHub <VC社モーションキャプチャ基盤> 26 VirtualCast MotionHub モーションを送信
27. 27. デモ MotionHub <VC社モーションキャプチャ基盤> 27
28. 28. 事例：2018 年 2 月　けもみみおーこく国営公式生放送 MotionHub <VC社モーションキャプチャ基盤> 28 VICON OptiTrack Perception Neuron LED/画面出力 来場者参加イベント インターネット番組 音楽ライブイベント トークイベント 透過 OLED 出力 AR 撮影システム VirtualCast Finger Tracking Fixed AnimationFile MotionBuilder Facial Control HTC Vive Tracker MotionHub Supported by Xsens MVN
29. 29. 事例：2018 年 2 月　けもみみおーこく国営公式生放送 入力：OptiTrack 出力：VirtualStudio（VC社イベント基盤） VRM ワークフロー第 1 弾 初の VRM モデルはみここでした MotionHub <VC社モーションキャプチャ基盤> 29https://live.nicovideo.jp/watch/lv310636122
30. 30. 事例：2018 年 2 月　けもみみおーこく国営公式生放送 MotionHub <VC社モーションキャプチャ基盤> 30 リアルタイムで自由なカメラワーク お絵かきソフト演出
31. 31. 事例：2018 年 4 月　月ノ美兎の放課後ニコ生放送局 MotionHub <VC社モーションキャプチャ基盤> 31 VICON OptiTrack Xsens MVN Perception Neuron HTC Vive Tracker LED/画面出力 来場者参加イベント インターネット番組 音楽ライブイベント トークイベント 透過 OLED 出力 AR 撮影システム VirtualCast Finger Tracking Fixed AnimationFile MotionHub MotionBuilder Facial Control Supported by
32. 32. 事例：2018 年 4 月　月ノ美兎の放課後ニコ生放送局 入力：Xsens MVN + HTC Vive Tracker 出力：VirtualStudio（VC社イベント基盤） VRM ワークフロー第 2 弾 MVN の欠点位置ズレを Tracker の 絶対位置で補正 MotionHub <VC社モーションキャプチャ基盤> 32https://live.nicovideo.jp/watch/lv312205115
33. 33. 事例：2018 年 4 月　月ノ美兎の放課後ニコ生放送局 MotionHub <VC社モーションキャプチャ基盤> 33 視聴者とのインタラクション VR ゲームの中に入ったかのような演出
34. 34. 事例：2018 年 4 月 ニコニコ超会議 バーチャルYouTu”BAR” MotionHub <VC社モーションキャプチャ基盤> 34 VICON OptiTrack Perception Neuron LED/画面出力 来場者参加イベント 音楽ライブイベント トークイベント 透過 OLED 出力 AR 撮影システム VirtualCast Xsens MVN HTC Vive Tracker インターネット番組 Finger Tracking Fixed AnimationFile MotionHub MotionBuilder Facial Control Supported by
35. 35. 事例：2018 年 9 月 『ときのそら』デビュー1周年 超おめでとう記念公式生放送 MotionHub <VC社モーションキャプチャ基盤> 35 VICON OptiTrack Perception Neuron 来場者参加イベント トークイベント 透過 OLED 出力 AR 撮影システム VirtualCast HTC Vive Tracker インターネット番組 Finger Tracking Fixed AnimationFile MotionBuilder LED/画面出力 Xsens MVN Facial Control 音楽ライブイベント MotionHub Supported by
36. 36. 事例：2018 年 9 月 『ときのそら』デビュー1周年 超おめでとう記念公式生放送 入力：OptiTrack 　　　ピアノ MIDI 信号 出力：VirtualStudio (VC 社イベント基盤) 本人の手元の指の動きを映像に反映させた ピアノ演奏を実現 MotionHub <VC社モーションキャプチャ基盤> 36 https://dwango.co.jp/pi/ns/2018/0914/index3.html
37. 37. 事例：2018 年 9 月 『ときのそら』デビュー1周年 超おめでとう記念公式生放送 MotionHub <VC社モーションキャプチャ基盤> 37
38. 38. 事例：2019 年 3 月 第 4 期叡王戦 七番勝負 発表会 ひふみちゃん MotionHub <VC社モーションキャプチャ基盤> 38 VICON OptiTrack Perception Neuron 音楽ライブイベント トークイベント 透過 OLED 出力 VirtualCast Xsens MVN HTC Vive Tracker インターネット番組 Finger Tracking Fixed AnimationFile 来場者参加イベント MotionBuilder Facial Control AR 撮影システム LED/画面出力 MotionHub Supported by
39. 39. 事例：2019 年 3 月 第 4 期叡王戦 七番勝負 発表会 ひふみちゃん ● モーショントラッキング ○ HTC Vive Tracker x3 ● レンダリング ○ バーチャルキャスト バーチャルアイドルひふみちゃんは 高貴な方なのでセットアップを 1 分で完了させる必要があった MotionHub <VC社モーションキャプチャ基盤> 39
40. 40. 事例：2019 年 1 月 Kaede Higuchi 1st Live “KANA-DERO” MotionHub <VC社モーションキャプチャ基盤> 40 VICON OptiTrack Perception Neuron LED/画面出力 来場者参加イベント 音楽ライブイベント トークイベント 透過 OLED 出力 AR 撮影システム VirtualCast Xsens MVN HTC Vive Tracker インターネット番組 Finger Tracking Fixed AnimationFile MotionHub MotionBuilder Facial Control Supported by
41. 41. 2019 年 1 月 Kaede Higuchi 1st Live “KANA-DERO” ● 3D 担当 ● モデルセットアップ ○ VRM ● モーションキャプチャ ○ Xsens MVN ● レンダリング ○ Unity MotionHub <VC社モーションキャプチャ基盤> 41
42. 42. 事例：2019 年 1 月 Kaede Higuchi 1st Live “KANA-DERO” MotionHub <VC社モーションキャプチャ基盤> 42 https://www.youtube.com/watch?v=H6esydXvoFY
43. 43. 事例：Polaris 【VC 社配信用 AR システム】　出演：アメノセイ MotionHub <VC社モーションキャプチャ基盤> 43 VICON Perception Neuron 来場者参加イベント トークイベント 透過 OLED 出力 AR 撮影システム VirtualCast HTC Vive Tracker Fixed AnimationFile MotionBuilder LED/画面出力 Xsens MVN 音楽ライブイベント OptiTrack インターネット番組 Finger Tracking Facial Control MotionHub Supported by
44. 44. 事例：Polaris 【VC 社配信用 AR システム】　出演：アメノセイ MotionHub <VC社モーションキャプチャ基盤> 44
45. 45. 事例：Polaris 【VC 社配信用 AR システム】 MotionHub <VC社モーションキャプチャ基盤> 45 © Unity Technologies Japan/UCL https://virtualcast.jp/blog/2019/07/wfle/
46. 46. このような多種多様なイベントに対応できるのはなぜ？ ワークフローにおける VRM フォーマット 46
47. 47. 一元化して再利用性と保守性、拡張性を高める MotionHub ワークフローにおける VRM フォーマット 47 VICON OptiTrack Xsens MVN Perception Neuron MotionBuilder Facial Control HTC Vive Tracker Finger Tracking Fixed AnimationFile LED/画面出力 来場者参加イベント インターネット番組 音楽ライブイベント トークイベント 透過 OLED 出力 AR 出力 VirtualCast MotionHub Supported by ワークフローの構築の根幹を成すのは VRM フォーマット
48. 48. VRM とは？ - 「人型 3D アバター」における細かなデータの差異を吸収し アプリケーションにおける取り扱いを簡単にする プラットフォーム非依存で横断型の 3D アバターファイルフォーマット （シェーダは私が策定しました） ワークフローにおける VRM フォーマット 48
49. 49. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 49
50. 50. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 50 キャラごとにボーン構成が 違いすぎて(Aポーズ・Tポーズ) プログラムで扱いづらい……
51. 51. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 51 このキャラクタ、どういう 表情が正解だっけ……？
52. 52. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 52 ボーンがスケールしている せいでプログラムがめっちゃ バグる……
53. 53. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 53 指のボーンの向きがバラバラで 透過的に扱えない……
54. 54. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 54 他社 IP なので見た目の正解を やりとりするために何往復も……
55. 55. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 55 モデルの数だけ演出システムを特殊化して実装する必要… 他社 IP なので見た目の正解を やりとりするために何往復も…… 指のボーンの向きがバラバラで 透過的に扱えない…… ボーンがスケールしている せいでプログラムがめっちゃ バグる…… このキャラクタ、どういう 表情が正解だっけ……？ キャラごとにボーン構成が 違いすぎて(Aポーズ・Tポーズ) プログラムで扱いづらい……
56. 56. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ → glTF の定義 - ボーン → glTF の定義と VRM の人体定義 - スキニング → glTF の定義 - マテリアル → glTF の PBR 定義と VRM の NPR 定義 - 物理演算 → VRM の定義 - 表情 → VRM の定義 ワークフローにおける VRM フォーマット 56 モデルデータと演出システムを分離、疎結合
57. 57. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 57 キャラごとにボーン構成が 違いすぎて(Aポーズ・Tポーズ) プログラムで扱いづらい…… VRM は T ポーズで ボーンが正規化されているので 扱いやすい！
58. 58. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 58 このキャラクタ、どういう 表情が正解だっけ……？ Blendshape と Material を ラップした抽象レイヤの 表情をモデラが定義、利用できる
59. 59. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 59 ボーンがスケールしている せいでプログラムがめっちゃ バグる…… VRM は T ポーズで ボーンが正規化されているので ボーンのスケールは 1
60. 60. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 60 指のボーンの向きがバラバラで 透過的に扱えない…… VRM は T ポーズで ボーンが正規化されているので 扱いやすい！
61. 61. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 61 他社 IP なので見た目の正解を やりとりするために何往復も…… VRM ファイルの制作と確認は モデラが行うことができる！
62. 62. VRM をワークフローに敷くことで - モデル製作 - モーション適用（MotionHub） - 表情適用 - レンダリングシステム （ex. VirtualCast） を横断して、分業を促進し、システムの再利用性を高める ワークフローにおける VRM フォーマット 62 VRM によりバーチャルキャラクタの演出を一般化
63. 63. ワークフローにおける VRM フォーマット 63 VRM はいいぞ！
64. 64. ● 開発・運用事例 ● イベントにおける問題・制約 ○ さまざまなシステムを横断する必要性 ○ 多種多様な要件・制約に対して適切な機器を取捨選択する必要性 ● 問題・制約に対する解決 ○ VRM をワークフローに敷くことでシステムの再利用性を高める ○ 特に共通化できるモーション適用システム MotionHub の開発 まとめ・質疑応答 64
65. 65. 65