米カーネギーメロン大学の研究者チームが、一枚の写真に写った被写体を立体物のように3D編集する技術を発表しました。
平面を切り貼りする Photoshop的な加工だけでなく、ある角度しか写っていない物体の向きを自在に変えたり、変形させたり、最初から写っていたかのように動かすことができます。
今年の SIGGRAPH にあわせて論文を発表したのはカーネギーメロン大学の Natasha Kholgade氏、Tomas Simon氏、カリフォルニア大学バークレー校の Alexei Efros 氏ら。
発表された手法では、平面写真のなかの物体を立体物のように操作でき、ぐるりと回転させて写っていないはずの面を向けたり、あるいは「3Dコピペ」して数を増やしたり、写真のなかを自由にアニメーションさせることができます。
ただの平面画像でしかない物体をまるで3D CGのように回転させたり動かしたりできる理由は、「インターネット上に膨大な数が存在する既製の3Dモデルデータを使うこと」。
ただし、そのままでは被写体に似たポリゴンモデルを写真の上に貼りつけたように不自然になってしまいます。そこで使われる技術は、
1. 既製3Dモデルを写真中の物体形状に合わせて変形させ、元写真をテクスチャとして貼りつける。
2. 本来の写真に写っていない面については、形状の対称性を手がかりに元写真から補完して生成する。(自動車の裏面のように、まったく写っていないものは3Dモデルの情報を使う)。
3. 地面やテーブルなどを手がかりに写真の場面の奥行き情報を推測して、3Dモデルが浮いたりめり込んだりしないよう配置する。
4. さらに写真中の物体と対応する3D形状から場面の光源を逆算し、正しい照明効果や影をつける。
5. 写真のレンズによる効果を考慮し、ピントがあっていない場所に配置したものは適切にボケや歪みを反映させる。
といった手法です。
ひとつひとつはこれまでも使われてきたような技術ですが、面白いのは同じ一枚の平面画像である絵画にも適用できること。3Dモデルは絵画の手法なりの塗り方のテクスチャが与えられ、画家が想定した光源でハイライトや影がつきます。
こちらは歴史的写真に適用した例。元は左に向けていた機首を手前に変更。フォトレタッチの範疇ではありません。
実物の写真と区別が付かないフォトリアリスティックなCGはいろいろなメディアでそれと気付かぬうちに目にするようになりましたが、今回の発表はすでに撮影した一枚の写真を元に、後から場面を3D CG化するようなアプローチ。
レタッチ職人のような技術や3D CGの技術がなくても、手軽に写真を3D後加工できるツールにつながるかもしれません。
論文：3D Object Manipulation in a Single Photograph using Stock 3D Models