RDT232WM-Zの倍速補完について

1.RDT232WM-Zの動画補完は興味深い

秋葉原に行ってモニター見てきました。新しい技術と言う点で言うと、RDT232WM-Zの倍速補完が興味深いです。この動画補完処理は、動画を滑らかに表示します。実際に見ると、テロップが横に流れているのですが、倍速補完がないと、カクカク、スクロールするのですが、RDT232WM-Z（恐らく、WM-Zの略はWide Motion Z軸でしょう：モーション方向のZ軸と言う意味だと思われます）の倍速補完はウニョウニョと滑らかにスクロールしています。詳しくは、実際に買った人のレビューを以下のリンクに紹介します。

日本の技術力のすばらしさに、久々に感動!!
http://review.kakaku.com/review/K0000113019/ReviewCD=321204/
上記リンクの感想の引用---

youtubeやブラウザのフラッシュも何から何まで120HZのヌルヌル感で見られるんです。DVD鑑賞もプラス超解像で、見事にグレードアップ！よだれものです。....中略...特にフレームレートの低い海外のHD映像なんかは劇的に変化します。もともと解像度が高いので倍速補間の恩恵で臨場感がものすごくなります。

引用終了---

　
2.恐らくRDT232WM-Zはモーフィング処理で動画補完をしている。

このヌルヌル感で思い出したのはモーフィング処理です。モーフィングとは、画像の輪郭を指定し、そこから他の画像で指定した輪郭に画像を変化させる処理です。言葉で言うと良く分からないのでYouTubeにモーフィング処理の動画があるので、それを紹介します。（モーフィング自体は昔からある画像処理テクニックです）

広末涼子とモナリザを混ぜてみた　モーフィング
モナリザが広末涼子にウニョウニョと変わるのが分かると思います。この自然に滑らかに変化する動画を見れば、適切な輪郭を指定すれば、非常に効果的にフレーム補完が出来る事が分かると思います。実際、これを動画補完処理に使う論文の紹介がありましたので、それれを以下のリンクに記します。

- モーフィングに基づくフレーム補間に関する一検討
- 適応的な対応点推定における領域分割の高精度化
- http://jglobal.jst.go.jp/public/20090422/200902242814706775

- 上記のリンクの要約（動画処理の詳細が書かれている）
- http://jdream2.jst.go.jp/jdream/action/JD71001Disp?APP=jdream&action=reflink&origin=JGLOBAL&versiono=1.0&lang-japanese&db=JSTPlus&doc=08A0280249&fulllink=no&md5=2cf8fbd7e79f8d0a4c1792393e1a8497

- 他にも、動画補完処理について面白い記事を見つけたので、それも紹介します。内容は難しいが読む人が読めば、とても面白いと思う。
- 本物と見違えるような画像補間を実現するパスフレームワーク手法
- http://d.hatena.ne.jp/LM-7/20100420

多分、RDT232WM-Zは、このモーフィング処理をやっているのだと思う。モーフィングに必要な輪郭検出は、MPEGの動き補償処理に似ている。MPEGは、動いている部分を検出して、動画を圧縮していたが、RDT241WM-Zは、それをモーフィング処理の為の輪郭検出として発展させ、フレーム補完をしていると思われる。これにより、人間の目の残像に近い処理が出来ていると思われ、非常に艶めかしい動画が作れるようになっていると考えられる。モーフィングの特徴として、フニョフニョしているのだが、実際の動画を見ると、そのようになっている。イメージとしては、コマ数の少ない日本のアニメを、補完処理によって昔のディズニーのコマ数の多い滑らかなアニメみたい変えるみたいな感じだ。

　
3.この動画処理の予想される効果

Once Upon A Dream (Sing-Along)　：眠れる森の美女より...
上記のコマ数の多いアニメのように動画がフニョフニョになる。ディズニーの優れた技術によってキレイな動きになっているので、このようになるかは分からないが、とにかくそういう種類の映像になると考えられる。自分が見たのはテロップが滑らかにスクロールする部分だけで他は特に注視してみなかった。ただ、レビューの感想を見ると、そういう傾向の映像にはなっていると思われる。ただ、このディスプレイがTNで視野角が狭いのが残念なところだ。

　
4.ロースペックなハードでも、高品位な映像が楽しめる

少ないフレーム、例えば30コマの動画でも、この補完処理をすれば、滑らかな60コマの映像に見せられると言う事であり、動画の表示品質が向上する上に、低スペックなＰＣでも、この動画補完処理をモニター側でやってくれれば、疑似的にフレームレートの高い高品質な動画を表示できる。人間の目には60フレームの映像が自然に感じるのである。実際、NHK技研なんかで60フレームの動画を見ると、非常にリアルだと感じる。滑らかな動画を例えると、そこにものが本当に動いている感じがする。映像を見るだけで慣性力も感じるような動画になる。列車が突っ込んでくる映像を見ると、30フレームだとそれほど迫力がないが、60フレームだと、実際に迫ってくるような迫力が生じる。もっと言うと、この補完処理を使えば、例えば、NVIDIA 3D Visionなんかだと、60フレームの3D映像を二画面用意するので、非常に要求スペックが高いのだが、こういう補完技術を使えば30フレームの映像を二画面にしてもいいわけであり、必要な処理量が半減する。つまり、半分のスペックでも高品位な3D表示が出来るのである。さらに超解像技術を使って1280×720ドットの映像をフルHDに膨らませて表示したりすれば、もっと処理が少なくなって低コストで、3D映像が楽しめるようになるだろう。つまり、こういうディスプレイ技術に合わせた3D VisionのドライバーをNVIDIAが作ってくれれば、SP数48個程度のロースペックなＰＣ(Mac mini 2010)でも、高解像度（超解像）で滑らか（倍速補完）な3D映像（NVIDIA 3D Visionが対応すれば）が見られると言うわけである。NVIDIAには、こういう技術と連動した3D Visionのドライバーを開発して欲しいと切に願う。

　
5.映像の理想から見た、今回の動画補完技術の位置づけ

理想的な映像
- ・コマ数：60フレーム/秒である事のみならず、人間が感じる残像まで再現する事
  - 今回の倍速補完で30フレームの動画を60フレームにも120フレームにも見せる事が出来る。しかも残像感のある形で。これは人間の目には極めて自然である。
- ・解像度：3840×2160
  - NHK技研でこの倍の解像度のものを見たが、解像感をあまり感じなかった。ここまでがハッキリ体感できるピークだと思う）
  - 超解像+BluePhaseMode液晶+フィールドシーケンシャル表示方式で解像度は満足の行く水準まで上げる事が出来るだろう。
- ・立体感：3Dであること（自然な視差のある映像）
  - 輪郭検出技術に奥行きも含めた情報を加えられれば、視聴者の目の位置に合わせた最適な立体映像を表現する事が可能となるだろう。

自然な動き、鮮明な画像、立体感、これらが組み合わさった時、まるでそこにいるかのような錯覚を生み出す事が出来る。さらに、そういった映像をCGで作り、それにAIを搭載すると、ティンカーベルのようなアシスタントが、頭の周りを飛び回るなど、映像で作られた夢（リアルな幻）を作る事が出来る。つまり、イケメンだろうが、美女だろうが、なんでもござれだ。人間の欲望なんて幻のようなものだから、それがこういう映像処理で満たされるようであれば、戦争がなくなるかもしれない。