オーグメンテッドリアリティシステム D'FUSION

D'FUSIONは、リアルな実写映像にバーチャルな3DCGをリアルタイムでトラッキング合成することを可能にした画期的なシステムです。AR(オーグメンテッドリアリティ)という”現実を強調する”テクノロジーを用いることで、従来の実写やCGだけでは出来なかった新しい映像表現を可能にします。

D'FUSIONとは

D'FUSIONとはフランスのTOTAL IMMERSION社が開発した映像効果システムです。オーグメンテッドリアリティ(AR)という実写に高画質3DCGをリアルタイム合成する技術により、新たな映像効果やプロモーション手法を可能にしました。

オーグメンテッドリアリティ(Augmented Reality)とは

オーグメンテッドリアリティは「強調現実」と訳し、バーチャルリアリティ(仮想現実)とは正反対の技術です。

バーチャルリアリティ　＝　仮想に作り上げたものを現実的に見せる技術
オーグメンティッドリアリティ　＝　技術は現実に起こり得ることをより現実的に見せる技術

バーチャルリアリティが仮想に作り上げた3DCGをさも実写のように見せるために合成する技術であるのに対して、オーグメンテッドリアリティの技術は実写を強調するために3DCGをツールとして使用する技術になります。
D'FUSIONはこの技術を活かしリアルタイム(ライブ)にて映像とCGを合成するシステムとして開発されました。

D'FUSIONを支える2つのコアテクノロジー

D'FUSIONはARレンダリングエンジンとマーカレストラッキングエンジンの2種類のソフトウェアによって構成されています。

ARレンダリング

DirectXのインポート

D'FUSIONはマイクロソフト社が提供しているDirectXのファイルをインポートします。 3Dモデリングツール(Lightwave,3ds Max,XSI,Maya等)のデータをDirectXへコンバートすることで登録できます。

リアルタイム・マッピング

カメラから入力された実写映像を3DCGにリアルタイムでリフレクション・マッピングが可能です。

オープン・ダイナミクス・エンジン

3DCGに物理シュミレーションを設定することが出来、重力などの表現(バウンド、落下、加速、ロール等)表現が可能です。

ゲーム感覚でオブジェクト・コントロール　

マウス、キーボード、ゲーム・コントローラー・ジョイスティック、MIDIダイアルコントロール、などで制御が可能です。また、コントロールPCをネットワークで制御することも可能です。

マーカレストラッキング

マーカレストラッキングはカメラから出力された映像をリアルタイムでパターン認識し、そのパターンの移動や回転などの座標情報をD'FUSION レンダリングソフトウェアやバーチャルセットなどのシステムに転送することが出来ます。カメラやターゲットにマーカーやセンサー不要です。

マーカレストラッキングのしくみ

図柄のパターンに色などの制限はなく、その絵柄のコントラストを認識できればトラックが成立します。

例えば上記のイラストの人が持っているボードをトラッキングする場合、左側イラストの状態でカメラからの映像を静止画1枚取り込みトラッキングしたいターゲット(この場合フリップボード)のエリアを選択し登録します。登録を一度おこなってからは右側のイラストのように動かしても、左側のイラストで登録した位置を基準として位置情報をリアルタイムに取得していきます。

マーカレストラッキングのメリット

撮影するターゲットにセンサーがつけられない場合や、つけにくい場合のトラッキング
撮影場所が非常に狭くスペースに余裕がない場合 (例)展示会、展示場、イベントなど
トラッキングしたい対象物のスケールが大きい場合 (例)ゴルフ場やスタジアムの空撮など
機材は1セットPC2台のみの構成の為、屋内屋外問わずにリアルタイム合成を実現します。
対象物が衣服などの柔らかい素材にもトラッキングさせることが出来ます。

マーカレストラッキングの機能

キャリブレーション

トラッキングしたいターゲットの映像から静止画1枚キャプチャーします。トラッキングエリアを選択してキーフレームを登録することで簡単に基本設定は終了し、3次元位置情報をリアルタイムに取得出来ます。また、すでに収録済みの映像素材などに対してもトラッキングが可能です。

セルフラーニング

光の影響や影、反射などで色調に変化があった場合、リアルタイムでキーフレームを更新し、トラッキングが外れることを防ぎます。この機能により、人の顔や衣服などの常に形状が変形するようなターゲットに対してもトラッキングが可能です。

マルチキーフレーム対応

トラッキングのターゲットとなる映像のキーフレーム登録は平面だけでなく、そのターゲットが立体であれば上面、側面、裏面なども同じようにキーフレーム登録することで、立体的なトラッキングを実現します。

エニウェアースタート

登録されていたターゲットが不意に隠れたり、倒れたりした場合や、カメラマンが誤ってターゲットをフレームアウトさせた場合、キーフレーム登録した映像に近い状態に戻すことで、瞬時にトラッキングを再度開始させます。

UDPデータ通信

取得した位置情報をネットワークにての送信します。この位置情報をバーチャルセットへ転送することで、バーチャルセット内でマーカレス・トラッキングを使ったコンテンツを御利用頂けます。

※バーチャルセット側にレシーバーソフトが必要になります。

ソフトウェア

ARレンダリング
マーカレストラッキング

ハードウェア

Windows PC

※PCI Express PCI-x対応

(CPU2Ghz以上、メモリ2GB以上)
3Dグラフィックボード
HDキャプチャーボード
SDIコンバーター等ケーブル周辺機器

※SDの場合はFirewireの接続も可能

※仕様によっては1台構成も可能

飛び出すカタログ・絵本アプリケーション

印刷物にふれるだけで動く！変る！

カメラで撮影した映像に3DCGがリアルタイムに出現させることが出来る画期的なアプリケーションです。

テレビなどで「飛び出す絵本」として紹介された最新技術です。対象物(本など)をカメラにかざすだけで3DCGや映像をリアルタイムで表示させることが出来ます。

展示会でカタログや雑誌をWebカメラのような簡易カメラにかざすと、マーカレストラッキングシステムがページのパターンを認識し、3DCGや映像をオブジェクトに合成します。このアプリケーションはノートPCでも稼動し、専用のカメラも不要、Webカメラでも使用することが出来ます。
もちろんデスクトップPCにHDキャプチャーカードを挿入し、フルHDで使用することも出来ます。

D'FUSIONのトラッキング

カメラはプロ仕様から一般的な家電製品のカメラまでご利用可能です。
ターゲットは形やコントラストがある印刷物(絵、写真、カタログなど)や映像であれば成立します。
コンテンツとなる3DCGの更新も可能です。

キオスク端末アプリケーション

駅構内やショールームなど人が多く集まる場所に設置された端末機のカメラに、賞品カタログやチラシをかざすと商品の内容を示した映像や音声、あるいは3DCGが貼り付けられます。

箱に収められた商品の形状を3DCGで表現したり、DVDに納められた映像や音声を表示したり、旅行パンフレットに紹介されたホテルを3DCGで表現したり、風景の映像を貼り付けたりすることが出来ます。メラにかざすだけで3DCGや映像をリアルタイムで表示させることが出来ます。

フェイストラッキングアプリケーション

人物の顔にCGをリアルタイム合成

人間の顔などのように立体的なオブジェクトのトラッキングが出来ます。背景にはD'FUSIONレンダリングが持つクロマキー機能を使い様々な映像やCGを合成することが出来ます。人気キャラクターのお面CGを子供の顔につけて変身させるなど、イベントや販促ツールとしてインパクトのあるインタラクティブ性の高いコンテンツを提供します。
このアプリケーションはテーマパーク、遊園地、イベントなどエンターテイメントに適しています。

D'FUSIONのトラッキング

カメラもプロ仕様から一般的な家電製品のカメラでもご利用可能です。
コンテンツとなる3DCGの更新も可能です。
顔の認識はすべてオートで行いますので、アプリケーションの以外の操作は不要です。

※キャラクターを変える場合は操作が必要になります