写真から3D画像を合成する技術をカーネギー・メロン大学とカリフォルニア大学の研究者グループが発表しました。
3Dレタッチ技術、ついに開発実現！
http://www.gizmodo.jp/2014/08/high3d_1.html
写真や絵画を立体物として編集する3Dレタッチ技術、CMU研究者が発表
http://japanese.engadget.com/2014/08/07/3d-cmu/
WIRED：写真に写った物体を「裏返せる」画像加工ツール
http://wired.jp/2014/08/07/3d-photo-editing-tool/
内容は、2Dの写真から、その物体に似た3Dモデルをインタネットから収集し、形状を合わせて合成するという技術です。特筆すべきは、本来、写真では見えていない背面部分までも、3Dシミュレートして合成してしまう点です。
3D Object Manipulation in a Single Photograph using Stock 3D Models
ネット上の3Dモデルから写真から見えない裏側の情報を収拾し合成
0.被写体の赤い椅子（オリジナルの写真）
1.ネット中の既成の3Dモデルを使って...
2.既成の3Dモデルを写真中の物体形状に合わせて合成
3.写真に写っていない部分は、形状の対称性を手がかりに元写真から補完して生成する。
4.地面やテーブルなどを手がかりに場面の奥行き情報を推測し、3Dモデルが浮いたりのめり込んだりしないようにする。
5.元の写真の光源に合わせて合成、影をつけ、写真のレンズ効果を考慮してピントのあっていない場所に配置したものは、適切にボケや歪みを反映させる
3Dモデルが多少形が違っても形状を歪ませて合成
0.写真（2D）と似たような3Dモデルと合成する。（バナナのような自然物）
1.多少の形の違いは歪ませて合成、そして、テクスチャを貼る。
- モーフィングの3D版みたいな感じ
このようにして写真から3Dモデルを生成するのみならず、それを光源、パース、影などを適切に合成し、非常にリアルに見える映像を作り出している。まるで魔法のようだ。
この技術を使うと、似たような形のものは3Dモデル化出来てしまう。どれだけ、できるのかというと、
3D Object Manipulation in a Single Photograph using Stock 3D Models
この動画の最後に出てくる鶴の折り紙が羽ばたいて飛んでいく姿をみると、一定の規則の範囲内で、かなり動かせたり歪ませられることが分かる。これを見て思ったのは、今から20年位昔、PDFが発表された時の要素技術で、似たようなフォント形状を変形させて合成して、少ない容量でドキュメントのフォント情報をPDFファイル内に格納するというのを思い出した。それの3D版という感じがした。論文を読んでみたが自分には難しくて理解不能
論文
3D Object Manipulation in a Single Photograph using Stock 3D Models
http://www.cs.cmu.edu/~om3d/papers/SIGGRAPH2014.pdf
一言で言えば、一定の規則（対称性など）に従って形状を推測したり歪ませたものを配置合成（光源、影、パース）するという感じ。それがかなり違和感なく完成度の高い形で実現できているのが凄い。この技術があれば、テレビ電話に映っている自分の裏側なども対称性から推測処理して、自然に合成するなんてことも出来るだろう。自分の立体モデルを予めパーソナルデータに入れて合成すれば、より適格な3Dモデルとなるだろう。そして、それがフィギュアのように動かせて、背景と一体となった形で合成される。つまり、写真にあるものは、サンプルになる3Dモデルさえあれば全部3D化できる。そして、それが動かせる。ということは、OculusRiftみたいなヘッドマウントディスプレイと、この技術を使えば、写真の中にあるものを3D化して、目の前に、それが実際に存在するかのように合成できるということではないか、凄い！
この魔法の様な技術は、コードが公開されている。ダウンロードはこちら
MacOS 10.9 OM3D ソースコード（Xcodeでコンパイルできる...と思う）
http://www.cs.cmu.edu/~om3d/code/OM3D_1_0_0_source.zip
MacOS 10.9 OM3D アプリケーション（ダウンロード300MB 解凍後1.56GB）
http://www.cs.cmu.edu/~om3d/agreement.html
ホームページ
http://www.cs.cmu.edu/~om3d/
