原理や活用シーンを種類別にわかりやすく解説
モーションキャプチャーとは人やモノの動きをデジタル化する技術で、映画やゲーム、Vtuber、医療、ロボット制御など幅広い分野で使われています。以下ではモーションキャプチャーの仕組み、活用例、メリットデメリット等を種類別に解説します。
モーションキャプチャーとは？
モーションキャプチャーとは、人やモノの動きをデジタルデータにする技術です。CGキャラクターのアニメーション付け、スポーツ選手の動作解析、ロボットやドローンのリアルタイム制御などに活用されます。
● エンターテインメント分野（CGアニメーション）
2009年に公開された
ジェームズ・キャメロン監督の『アバター』（Avatar）では
表情も含めモーションキャプチャーデータが使用されました。
● スポーツ・科学分野（動作解析）
一流のバレエダンサーの動きを研究するためにモーションキャプチャーが使用された事例です。
人の骨動きを正確に捉え、解析に繋げます。
● 三次元動作計測・制御
アーティストによるライブペインティングの動きをリアルタイムにドローンがトレースして同じ絵を描画します。
高いリアルタイム性と精度を持つものは研究開発にも使用されます。
モーションキャプチャーシステムの種類とその活用例
光学式
光学式の活用シーン
光学式は他の方式と比べて位置精度が非常に高いため、ハリウッド映画のCG制作など要求の高い現場で多く活用されています。
光学式の仕組み・原理
①光を使ってカメラがマーカーを捉える
- カメラが赤外光を発光
- マーカーがその光を真っ直ぐ反射
- カメラが反射された光を認識
という流れでカメラはマーカーを捉えていきます。
②マーカーの2次元位置を算出する
発光した赤外光がマーカーに反射しカメラに戻った時、カメラでは左図のような画像処理が行われます。 光量が強いほど白く映りますが、一定以上の白さを持つ画素の部分とそれ以外の部分という風に２値化します。そして白い部分の数学的な重心の位置（X,Y）を算出します。これがマーカーの2次元位置になります。
③マーカーの位置を3次元化する
1台のカメラでマーカーを捉えても奥行情報が得られないため、複数台のカメラで異なるアングルから同一マーカーを捉え、複数台分の2次元位置情報を得ます。
各カメラで得たマーカーの二次元位置情報と、各カメラの位置関係の情報（キャリブレーション結果）を組み合わせることでマーカーの3次元位置を算出します。
これらのデータを組み合わせることにより、マーカーの3次元位置を算出します。
光学式のメリット・デメリット
メリット
【位置精度の高さ】
- 他のキャプチャー方式と比較しても、最も絶対位置の精度が高いです。
- キャプチャー環境やキャリブレーションにもよりますが、多くのシステムで1ｍｍ以下の精度でキャプチャーできます。
【キャプチャー対象の幅広さ】
- マーカーをつけられるものであれば人に限らずモノでもキャプチャーすることができます。
デメリット
【キャプチャー環境の制限】
- キャプチャーエリアを作るためにカメラを設置しなければなりません。
【マーカーの欠落】
- キャプチャーエリア内にある障害物や、人の動きによってカメラがマーカーを見失うことがあります。
光学式モーションキャプチャーシステムの主なメーカー
慣性式
慣性式の活用シーン
慣性式は場所の制限なく、またスタジオの準備をする必要がなく使用することができるため、多くのシーンで活用されています。
フィンガーキャプチャー
ロボットの遠隔操作
人の動きで遠隔地にあるロボットを操作します。
5G通信技術との融合で災害地に送るロボットの開発などに活用されています。
歩行解析
歩行時の関節角度などの計測を行い、歩行動作の分析に活用されています。光学式に比べ場所の制限が無い点が優れています。
慣性式の仕組み・原理
- 加速度計：直線的な動きの方向と量を測定
- 角速度計（ジャイロ）：回転した動きの方向と量を測定
- 地磁気計：地球をとりまく地磁気を検出することで方角を測定
- 被験者の体の部位ごとの動きを計測するため、各部位に慣性センサを装着します。
- 各センサから加速度・角速度・方位情報を得ます。
- それらの情報を骨格モデルの各セグメント（骨）とジョイント（関節）の動きに置き換えることで骨格モデルの位置(position)・姿勢(rotation)がわかります。
慣性式のメリット・デメリット
メリット
【場所の制約がない】
- 体に付けたセンサーからデータを取得するため、カメラや他の機材を設置する必要がなく専用のスタジオが不要です。
【様々なシーンでの計測が可能（閉所でも計測可能）】
- カメラ等の外部センサーは使用しないため、エレベータ内のような狭小空間でのキャプチャー、ポケットに入れた指の動き、2人が密着する動作など光学式システムや画像式システムで難しい条件でもキャプチャーできます。
デメリット
【位置精度が低い】
- 絶対位置の計測はせず、算出による位置情報であるため、位置精度が低いです。時間経過による誤差の蓄積も起きやすいです。
【磁場の影響が大きい】
- 慣性センサーは磁場の影響を受けやすいので、磁場が不安定な場所ではデータも不安定になる可能性が高いです。
慣性式モーションキャプチャーシステムの主なメーカー
ビデオ式（画像式）
ビデオ式（画像式）の活用シーン
マーカーレスで計測が可能なので、試合中の動きを計測してスポーツコーチングやトレーニング分野で導入されています。
野球のピッチング動作
計測したデータは解析されて、コーチングなどに反映されています。
フェイシャルキャプチャー
顔の表情をトラッキングする時はビデオ式を使うことが一般的です。動画のように光学式や慣性式で得た全身のモーションデータと組み合わせて使用することもできます。
ビデオ式（画像式）の仕組み・原理
- 複数台のカメラを使用して、光学式と同じくキャリブレーションを行います。
（光学式では赤外線カメラを使用しますが、基本的にはビデオ式で使用するのはビデオカメラやハイスピードカメラです。） - 撮影された画像から対象物と背景を分離させてシルエットを抽出します。
- 抽出されたシルエットを基に自動で骨格モデルを作成します。
- 3Dジョイントの位置と角度を抽出して、関節角度などのデータを提供します。
ビデオ式（画像式）のメリット・デメリット
メリット
【マーカーやセンサーは不要】
- スポーツ選手やリハビリ中の被験者など体に負担なく計測が可能です。
【試合中の選手の動きをキャプチャー可能】
- 望遠レンズを使用すれば広い場所でも計測が可能で、例えば野球のスタジアムで試合中の選手の動きをキャプチャーすることも可能です。
デメリット
【精度が低い】
- キャリブレーションは行うものの、特にマーカーレスの場合は光学式などに比べて計測精度が劣ってしまいます。マーカーレスの場合は手動でデジタイズしたり、シルエットから自動でモデルを生成したりしますが、あくまでも見えている画像からの算出になりますので精度はあまりよくはありません。
【リアルタイム性が低い】
- ビデオ式はキャプチャーしたデータを元に解析を行いますのでリアルタイム性は低いのがデメリットです。
ビデオ式（画像式）モーションキャプチャーシステムの主なメーカー
・Faceware - Faceware Technologies
・Frame-DIAS Ⅴ - 株式会社DKH
その他モーションキャプチャー
磁気式
コイルには以下の特性があります。
①電流から磁界を発生させる
②磁界の変化から電流を発生させる
①は磁界発生装置に組み込まれ、②はセンサーに組み込まれています。
磁界発生装置はセンサーの位置(position)を算出させる磁界と姿勢(rotation)を算出させる磁界の二種類の複雑な磁界を発生させています。 検知するキャプチャー対象には、そのセンサーを複数取り付けることで位置・姿勢を計測することができます。
機械式
人体の各関節に機械的に角度を測定する装置を取り付け、その角度の変化から体の姿勢を読み取ります。
関節に取り付けたポテンショメータから角度を測定することで体の姿勢を読み取る仕組みです。位置は計測しておらず、用意した骨格モデルと初期姿勢からの体の姿勢の変化から腰の移動距離を算出しています。
IKinema Orion（VIVE）
【仕組み・原理】
ベースステーションから照射される赤外線を、体の各所に取り付けたトラッカー（頭、腰、両手、両足）がとらえ、その光がトラッカーまで到達する時間・角度から、対象の
位置(position)・姿勢(rotation)を計測しています。
【活用シーン】
低価格で設定も簡易なので、個人でVtuberを自作して活用されることもあります。
Kinect
【仕組み・原理】
■ Kinect Version1
Kinectから赤外線パターンを照射し、そのパターンが対象にあたって歪みが生じることで得た深度情報から、対象の位置・姿勢を求めます。
■ Kinect Version2
TOF法という方法を活用しており、Kinectから照射される赤外光が、ある物体に反射して受光センサにとらえられるまでの時間を計測し、そこからカメラから対象までの距離（深度）を求めることで、対象の位置・姿勢が得られます。
【活用シーン】
また、Kinectは対象者に取り付ける器具等がないため、ゲームやVtuber等のエンタテインメントだけでなく、リハビリなどの医療分野でも活躍しています。
モーションキャプチャーシステムの種類別比較表まとめ
| 光学式 | 慣性式 | ビデオ式（画像式） | |
|---|---|---|---|
| 仕組み | 複数の赤外線カメラで対象に取り付けたマーカーの位置を計測。 | 対象に取り付けた慣性センサーの姿勢を計測。 | 複数のビデオカメラで対象のシルエットを読み取る。 |
| 位置精度 | ◎ | △ ※1 | △ |
| リアルタイム性 | ◎ | 〇 | △ |
| 早い動作 | ◎ | 〇 | ◎ |
| キャプチャー対象 | 人、物 | 人 | 人、物 |
| キャプチャー人数※2 | 複数可能 | 1人 | 複数可能 |
| キャプチャー可能範囲 | ～約30ｍ四方 | 制限なし | ～スタジアム程度 |
| 専用空間 | 必要 | 不要 | 不要 |
| セットアップ | カメラ設置＆スーツ・マーカー装着 | スーツの装着 | カメラの設置 |
| 弱点 | 遮蔽物によるマーカーの欠落 | 磁場の影響によるデータの歪み | 背景色と同化することによる誤認識 |
| 価格 | 60万円～数千万円 | 30万円～数百万円 | 40万円～数百万円 |
まとめ
おまけ〜モーションキャプチャーの歴史
This video that screams of the 90’s is an amazing look back at the early stages of video game mocap, via director Remington Scott, in purportedly the first mocap stage dedicated to entertainment. From the video description:
エンターテイメント分野を中心にモーションキャプチャーの歴史について書いてきましたが、モーションキャプチャー技術はエンターテイメント以外の分野、医療・ロボット・AR/VR等でも広く使われており、コンピュータがより早く、よりパワフルになることで、進化し続けています。近い将来、マーカーやセンサーを使わず、より少ない機材で、誰でも簡単に精度のよいモーションキャプチャーができる日が来るかもしれません。
