自分で描いた2Dイラストから変換された3Dキャラクラーをwebカメラで取り込んだ表情とリアルタイムに連動させることが出来る「FaceRig Live2D Module」が12月9日からSteamでリリースされました。イラストが立体キャラクターになり、それを顔の表情で動かすことができるソフトウェアです。
手書きの2Dイラストのいくつかの原画パーツから映像で立体表現に変換させる「Live2D」と、webカメラで取り込んだ表情とアバターをリアルタイムに連動させるモーションキャプチャ技術のソフトウェア「FaceRig」とがタッグを組み実現しました。Live2Dが提供するLive2D Cubism Editorに自作したイラストを取り込み3Dキャラクターを制作、それをFaceRigに反映させてSkypeやGoogleハングアウトで使用する流れになります。Live2Dからもキャラクターのサンプルデータが提供されていて、初音ミクやユニティちゃんなどがダウンロードすることができます。価格は398円（執筆現在40%OFFで238円）。購入はこちらから。FaceRigの購入はこちら。
VRとの関係ですが、顔の表情をモーションキャプチャする技術はVRとの相性もよく、VR内のアバターと直結させることなどに期待されています。今回はWebカメラですが、VRヘッドセットを装着した状態でも表情をキャプチャする装置（口元は外部装置で、目周辺はVRヘッドセット内のセンサーで取得:参考記事）も存在していて、VR内に没入しながら連動することも可能になると思われます。
使用先としてもSkypeなどの対話ベースだけでなく、音声会話のソーシャルVRプラットフォーム「AltspaceVR」での使用や、5人同時に動画を閲覧したりできる「Oculus Social」、さらにはOculus Touchを使ったToy Boxに見る直接的なVRソーシャルに使用されるとより臨場感を共有することができます。AltspaceVRの場合、全身モーションキャプチャシステム「Perception Neuron」にも対応していて、体の動きも連動するので、体、顔、声とVR内でのリアルタイムコミュニケートの情報量がどんどん増え、そのアバターが自作イラストというから今後の展開に想造が膨らみます。
関連記事
- Oculus、「ソーシャルSDK」のリリースを示唆、Oculus Touchから始まる本当の「ソーシャル・リアリティ」 | 白ペンギン
- 低価格な全身モーションキャプチャシステム「Perception Neuron」がVR空間で交流できる「AltspaceVR」に対応 | 白ペンギン
- Oculus Riftを装着した自分の顔の表情をリアルタイムにアバターへ反映させる装置 | 白ペンギン