BRAKE BREAKER

藍しゃま～愛しておじゃる～～。
全身画はでかいのでpixivにて！


さて、今個人的にかなりアツい技術、「マッチムーブ」についてメモ書きです。

「マッチムーブ」というのは映画のFSXなどで使われている、3DCGと実写映像の合成を容易にする
技術です。
http://dic.nicovideo.jp/a/%E5%8E%B3%E5%B3%B6%E7%A5%9E%E7%A4%BE%E3%81%AE%E4%BA%BA
↑の人のめちゃスゴい動画を見てからすっごく気になってたんですよね～。

私はこういう合成って、きっと気合いの手作業でやってるんだろうなあと思ってたんですが、ちゃんと
マッチムーブという便利なモノが用意されてるんですね。

何はともあれこれは凄いです！活用すれば自分の見慣れた風景に東方キャラを写し出すことだって
可能なはず！
想像するだけで脳汁出てきますわ。

何をおいてもまず、ビデオカメラが必要ですね！！
早速ビッグカメラに行ってきた。

「本日はどのような物をお探しですか？」
「一番安いビデオカメラください」
「一番・・・安いものでよろしいのですか？」
「はい」

SANYOのXactiというデジタルビデオカメラを買いました。
39800円でした。ここで予算が尽きました。
というかビデオカメラって今はこんなにちっちゃいんですね！デジカメみたいじゃないですか！
テープじゃなくてSDカードに録画ですか。水中でも使えるらしいです！すごい！
帰宅して早速Amazonと価格比較です。
http://www.amazon.co.jp/dp/B001QS1888/ref=asc_df_B001QS1888119344/?tag=coneco-camera-22&creative=3183&creativeASIN=B001QS1888&linkCode=asn&me=AN1VRQENFRJN5
Amazon24000円・・・・？なん・・・だと・・・

さて、気を取り直して次はステディカムの準備です！
このステディカムをカメラにセットして撮影すれば、歩いて撮影するときの手ブレを抑えることができます！TVのロケ撮影などでは必須アイテムのようです。
気になるお値段は！？
・ステディカム　マーリン　１６万４千円

・・・えーと、まあ、あれじゃないすか。
多少手ブレがあったほうが臨場感ありますよね・・・。

ハイ、お次はマッチムーブソフトの選択です！
・boujou 210万円
・SynthEyes 4万円
・voodoo 無料

予算の都合上voodoo一択ですね。

最後に3Dソフトの選択です！
・SoftImage 40万円
・Maya 50万円
・3DsMax 50万円
（↑３つがいつのまにかぜんぶAutoDesk社になってるってどういう事なの・・）
・LightWave 12万円
・Blender 無料

予算の都合上Ble・・(ry

■ステップ１　動画を撮影
まず、合成元となる動画を撮影しなければなりません。
とりあえず適当に部屋を撮影してみました。

■ステップ２　voodooでカメラトラッキング
まずはvoodooをダウンロードしてきてインストール。バージョンは1.01betaだった。

次に使い方をググる。
・Voodoo Camera Tracker HP 日本語訳
・無料で3Dマッチムーブできるソフト「Voodoo」
・マッチムーブで遊んでみる
・フリーでなんとかするマッチムーブ　まとめ

ふむふむ、voodooで読み込めるのはtgaの連番ファイルだけらしい。ええぇ～。
じゃあこのビデオカメラから出力したmp4ファイルをtgaにしないといけないのか・・・。
仕方ないので手元にあったCorel VideoStudio12でmp4を無圧縮aviファイルに変換。
そしてaviファイルをTMPGEncで連番tgaにしました。

後はvoodooで読み込んで、Trackをポチれば解析開始！
しばらく待てば解析終了！早速Blenderのスクリプト形式でカメラトラッキング結果を書き出します。

■ステップ３　Blender
Blenderもダウンロードしてきてインストールします。バージョンは2.49bでした。
インストール中にユーザデータの格納場所を聞かれますが、私はBlenderのインストールフォルダと同じ場所にすることをお勧めします。後でスクリプトを追加する際に場所がわかりやすいので。
さらにインストール中に、Pythonをインストールしろ！といわれますね。無くても動きますが、特定の機能ではPythonが必要になるらしいので入れとくのが無難でしょうか。私はバージョン2.62を入れときました。

さて、謎めいたインターフェースで悪名高いBlender。開いてみるとたしかに良くわかりません。
英語になのが理解不能に拍車をかけているので、早速日本語化しましょう。
・Tuhopuuの表示を日本語にする
ちなみにこういったユーザー設定の変更は、「Ctrl+U」を押さないとセーブされません。気をつけないと起動するたびに毎回日本語化設定を行うハメになります。

さて、やっぱり操作がサッパリわからんので先人の知恵をお借りしまましょう。
・blender.jp(Blenderのフォーラムサイト)
・WBS+(素晴らしいBlenderチュートリアルのあるサイト)

う～む、やはりBlenderは特殊ですな。でも慣れですよ慣れ。
ウインドウが何個も並んでいますが結局どれも同じ物が並んでいるんですね。
そして左端のプルダウンからウインドウの種類を選択すると。
「3Dエディター」が3D編集、「ビデオシーケンスエディター」がその名の通り動画編集部分というわけですか。

しかし基本的に何かを選択するのが右クリックというのが不思議すぎます。なんで左クリックじゃないでしょうか。私はオプションで選択は左クリックの設定にしました。
右クリックで物体を選択後、左クリックしたまま直線を描くと物体移動で、丸を描くと回転・・・？
キーボードだとGが移動でRが回転でSが拡大縮小・・・。

ま、まあそういうのはおいといて、本題のマッチムーブを行いましょう。

といってもここまでくれば後は簡単で、先ほどvoodooから出力したスクリプトをBlenderで読み込めば、3D空間上でのトラッキングポイントの点生成と、カメラの動きが自動設定されます。
後は3D空間上に好きな3Dオブジェクトを置いて元動画と重ねてレンダリングすれば、実写＆CGの合成動画ができてしまいます。

さて、なんのオブジェクトを設置しましょうか。ただ立方体を置いたりしてもつまんないですよね。

やはりチルノ！ここはチルノに登場願いたい！
でも自分でモデリングするのは手間ですなぁ・・・。

・VMDImporter
やや！こちらの改造Blender内のPMD読込みスクリプトを使えば、MikuMikuDanceのモデル形式である、PMDファイルをインポートできるらしいですぜ！

つまり・・・あの素晴らしいnyaさんのチルノをBlenderに持ってこれるじゃないですか！

うひょおおおおおおおお！！

というのが現在までの流れですね。

早速テストで作った動画をちょっと編集してニコニコ動画にあげてみました。
（ちなみにニコ動にあげる際に動画を16:9から4:3にするために動画の両端をカットしたんですが、その際にaviutlのリサイズ機能が役に立ったこともメモしておきます）




■ブックマーク
・次世代WEBサービスは「AR」拡張現実が来る！？

動画を投稿してみました！
是非観てみてくだすぁい！

22分くらいあってめちゃ長で申し訳ないです。
これでもゆっくりには早口で喋ってもらってるんですが・・・。
ゆっくり早口？？

■クレジット■
素材提供サイトの皆様の素晴らしい素材が無ければ本動画を完成させる事はできませんでした。
ありがとうございます。
ゆっくりボイスのメッセージ朗読にはSofTalkを使わせていただいています。

□写真をお借りしたサイト
・フリー写真素材 Futta.NET　様
・背景写真補完の会　様

□BGMをお借りしたサイト
・Seaside　様
・SILDRA COMPANY　様
・SHW　様
・煉獄庭園　様

□効果音をお借りしたサイト
・ザ・マッチメイカァズ2nd　様
・ニコニ・コモンズ　より
　ピチューン音　　koshibone　様
　スペルカード音　ペルオキソ一セレン酸 様

□原作
上海アリス幻樂団　様

■制作環境■
□開発言語：C++
□開発ソフト：VisualC++2008EE
□グラフィックスエンジン：DirectX9.0c
□ゲーム制御：Lua & tolua++
□Luaエディタ：Eclipse3.4 & LuaEclipseプラグイン
□グラフィックスソフト：PhotoShop7.0, SAI