［GDC 2018］VRとAIを組み合わせてプリビズを作る。Disney Researchが取り組んでいる驚きの試みとは

Sasha Schriber氏 / Principal Digital Artist, Disney Research

　ゲーム開発者向けカンファレンス「Game Developers Conference 2018」の初日（北米時間2018年3月19日），ザ・ウォルト・ディズニー・カンパニー（以下，ディズニー）の研究機関であるDisney ResearchのSasha Schriber氏によるセッション「Automatic VR Previsualization from Natural Language Scripts」が行われた。
　タイトルにある「Previsualization」とは，日本では「プリビズ」と略される映画やアニメの制作に関する用語で，絵コンテやストーリーボードを試験的に映像化する工程（または映像そのもの）を指す。最近では3Dグラフィックスを用いることも多くなっているようだが，ディズニーではVRとAIを組み合わせてプリビズを作る試みを行っているという。短いセッションではあったが，なかなか興味深い内容だったので簡単に紹介したい。

脚本からプリビズを生成，VRで視聴を行う「CARDINAL」

　Disney Researchは世界各地に拠点を持つ研究機関だが，登壇者のSchriber氏はスイスの研究所に在籍しているそうだ。スイスのDisney Researchではプログラマーやデザイナー，コンピュータ分野の研究者が，共同でビジュアルコンピューティングやAIなどを将来の映像制作に応用するための技術開発を行っているという。なかでも「近年はVRを映像制作に活かすことに力を入れている」（Schriber氏）とのことだ。

Schriber氏が在籍しているスイスのDisney Researchが行っている研究分野を示したスライド。ここには入っていないが，近年はVRにも力を入れているそうだ

　そんなSchriber氏らが試みているのが，脚本から映像を制作する工程をテクノロジーを使って短縮するというもの。氏によると，ディズニーではこれまで，脚本が上がってから映像化するまでに2年以上の制作期間を要したという。

脚本からストーリーボードを起こし，キャラクタのモデリングを行ってアニメーションになるまで，おおむね2年以上の期間がかかっていた

　この工程を短縮するためにSchriber氏らが応用したのが，AIによる自然言語処理とVR技術だという。そしてプロトタイプ（試作）として完成したのが，「CARDINAL」というシステムである。実用はまだ先の話になるようだが，非常に興味深いシステムだ。

CARDINALは，脚本から映像に持っていくまでの工程を自動化するソフトウェアシステムだ

　Schriber氏がCARDINALのデモを披露していたので，その流れを紹介しておこう。

プロジェクトを新規作成してプリビズ用のキャラクターを作る。ここでは「Tina」という女性のキャラクタを作成している

シーンに必要なオブジェクト（車など）を3Dマップに配置する

そしてシーンの脚本を流し込むと……

キャラクターが演技を始める

　CARDINALでプリビズ用のキャラクターを作成し，シーンに必要なオブジェクトを3D空間に適切に配置し，あとは脚本を入れ込む。これだけでキャラクターが演技を始めるというのだから驚くしかない。AIの自然言語理解を使って，脚本からキャラクターの演技を生成している点が大きな特徴と言っていいのではないか。

　もちろん，CARDINALは制作期間の短縮を狙ったシステムなので，映像制作者が利用しやすいユーザーインタフェースを備えている。例えばTimeline Viewという機能では，シーンのタイムラインを自在に変更することができるそうだ。

Timeline Viewを使って，シーンのタイムラインを調節できる

　また，キャラクターのアフレコもCARDINALで行えるという。

アフレコもCARDINALで行えるとのこと。アフレコとTimeline Viewを使って，シーンを作り込めるというわけだ

　制作者はVRヘッドセットによってCARDINALの映像に入り込み，視点を変えて演技を見たり，カメラアングルを決めたりといった作業も行える。これはVR Moduleと呼ばれる機能だ。VRヘッドセットを使うことで「すべての作業をリアルタイムで行える」（Schriber氏）というのが，CARDINALの大きな特徴であり，強みであると述べていた。

VRヘッドセットを使ってCARDINALの映像に入り込み，自由な視点でキャラクターの演技を見られる

CARDINALの機能のまとめ。脚本と演技を突き合わせるStory Outline View，シーンのタイムラインを調節できるTimeline View，アフレコを行うAudio Captureを備える

さらにVR Moduleによって，VR空間で映像を確認できる

自然言語を解釈する難しさ

　CARDINALは非常に画期的なシステムに見える。とくに脚本から自動的に演技を生成するという点には驚いた。もちろん，それを実現するまでには大きな困難があったそうだ。
　例えば，「カールは逃げ去った」と脚本に書かれていると，「どこに逃げ去ったの？」という点がはっきりしない。また，「奇跡を目にした」と脚本にあった場合，「彼は驚くべきなのか？」という点もはっきりしないという問題がある。

自然言語理解の難しさ。「カールは逃げ去った」という脚本では，「どこに逃げ去ったのか」が明確ではない

　そこで，CARDINALでは脚本に不足している情報を付け加えたマークアップ言語を用いているという。何もかも，AIが処理しているというわけではないのだ。

脚本に不足している情報を付け加えたマークアップ言語を用いることで，キャラクターの演技を生成することが可能に

　CARDINALの自然言語理解については，人工知能に関する国際会議「ACM IUI 2018」や「IAAI 2018」において，Disney Researchが発表を行っているとのこと。Schriber氏は，興味があれば参照してほしいと述べていた。
　講演の最後には，Schriber氏が技術とアートが共に発展していくことの重要性を訴えた。曰く「ARやVRの技術とアートが共に発想を与え合うようなユーザーインタフェースが登場している。この分野は多くの可能性に満ちていると思う」とのこと。

　CARDINALのような研究は，いずれゲームの制作にも活かされていくだろう。VRやAR，人工知能が今後のエンターテイメント制作の現場をどう変えていくのか，将来が楽しみになるセッションだった。

4Gamer「GDC 2018」記事一覧