工学院大学の情報学部情報デザイン学科、 合志清一教授の研究グループは、従来の理論限界を超える超解像度技術を発表した。
EE Times:「理論限界を超える高精細化を実現」、4Kテレビ向け超解像で工学院が新提案
http://eetimes.jp/ee/articles/1212/19/news019.html
工学院大学:超解像技術〜ナイキスト周波数を超える高解像度化
http://www.kogakuin.ac.jp/research/industry_university/cbr7au0000005z3w-att/09_001.pdf
合志清一氏のプロフィール
〜2008年:NHKの放送技術研究所技術局に長く勤務
2008年 :シャープ ディスプレイシステム研究所所長
2011年 :工学院大学の情報学部情報デザイン学科教授
ナイキスト周波数を超える非線形超解像度技術
まず、ナイキスト周波数について説明するためにウィキペディアの記事を引用
Wikipedia:ナイキスト周波数
ナイキスト周波数(ナイキストしゅうはすう、Nyquist frequency)とは、ある信号を標本化するとき、そのサンプリング周波数 fs の 1/2 の周波数を言う。ナイキスト周波数を超える周波数成分は標本化した際に折り返し (エイリアシングとも言う) という現象を生じ、再生時に元の信号として忠実には再現されない。ハリー・ナイキストにより1928年に予想されたこの再現限界の定理は、標本化定理と呼ばれる。
要するにアナログからデジタルにする際の標本化する際にナイキスト周波数(元の周波数の1/2)と呼ばれる周波数以上になると、忠実に再現されない。実際にはフィルタ性能の限界から元の周波数の45%程度にするのだという。
例えば100Hzの信号がある(ナイキスト周波数は元の信号の半分なので50Hz)
[a]:30Hz
- ナイキスト周波数以内(50Hz以内)なので正確に再生できる
[b]:70Hz
- ナイキスト周波数以上(50Hz以上)なので50Hzのピークから信号が折り返し、30Hz付近に信号が入り込んでしまう。この信号がオリジナルのものなのか、折り返したナイキスト周波数以上(この場合は50Hz以上)の信号成分によるものなのかは区別がつかない。これがノイズとなる。
今回の超解像度技術は、このナイキスト周波数成分を超える信号を忠実に再現できる手法といえる。その手法は、映像信号を高域部分と低域部分に分割し、低域部分をカットした上で、高域部分の信号を3乗し、強度を調整した後、一定値以下に収まるようにリミッタをかける。その上で、分割したもう一方と低域成分と足し合わせるという処理を行うという。この処理を施した出力信号には、入力した映像信号に含まれないナイキスト周波数を超える成分が含まれる。元々のアナログ情報にない情報を作り出せるわけではないが、デジタル映像の拡大後の解像度を高める効果がある。
これをみると、非常に品質の高い解像感のある映像ができることが分かる。ハッキリ言ってすげーと思った。花びらの真ん中を見れば分かるように従来技術ではボヤケたり、輪郭に変なノイズが入るようなところが、クッキリと自然に立体感のある形で再現できていることがわかる。また、この超解像度技術は静止画からダイレクトに作れる。複数フレームを必要としない。しかも、この処理は、従来の超解像に比べて大規模な処理を必要とせず、比較的、簡単な処理で済ませられるため、簡単な回路やソフトウェアで処理可能、つまり、低コストで実現できる。
この技術の応用範囲だが、非常に広いと感じる。単に超解像度技術では括れない応用範囲を持っている。というのは、kinectのようなセンサーは、赤外線を使って奥行き情報を得ているのだが、この赤外線映像の解像度が低い為、精度の高い3D情報の抽出は出来なかった。それに対して、最近マイクロソフトは、どうやら複数フレームを使った。奥行き情報の高解像度化を図り、それを撮影した映像と合成し、3Dモデルを創りだすソフトを作った。
- engadget:Kinect for Windows に新ツール Kinect Fusion、3Dモデルをリアルタイム生成
- http://japanese.engadget.com/2012/11/09/kinect-for-windows-kinect-fusion-3d/
- kinectfusion(7分46秒)
この合志教授の技術を使えば、複数フレームを使わずとも、1フレームのみで、ある程度の品質の奥行き情報が得られる可能性がある。または、それを複数フレームと連携して、さらに高精度な3Dモデルが生成できる可能性があるように自分には見える。さらに、最近、LEAPという会社が高性能な3Dセンサーを開発していて、この奥行き情報も注目している。
- Introducing the Leap Motion(LEAP社のモーションセンサのデモ)
- engadget:指先を1/100ミリ単位で捉える3Dモーション入力機器 LEAP、70ドルで予約受付開始(2012.5.21)
- http://japanese.engadget.com/2012/05/21/1-100-3d-leap-70/
なぜ、3D奥行き情報と超解像度が関連があるかというと、奥行き情報というのは、8bitのグレースケールで再現されることが多く、それが大体が画像情報だからである。しかし、使われる安価な赤外線センサーの解像度が低いため、高精度なセンシングが出来ない。それを高解像度にすれば、その3D奥行き情報に元画像をテクスチャのように貼りあわせれば、3D映像が出来、それを3Dモニタで見れば、立体視が可能という事になるのだ。つまり、将来のデジカメには、その両脇に赤外線センサーがあり、そのセンサーが奥行情報を読み取り、フォーカスを合わせたり、または3D映像を生成したりということが出来るのではないかと考えられるのである。従来の技術では低品質なものしか出来なかったのだが、この非線形超解像度技術を用いれば、それが高品質なものが作れると考えられる。また、このナイキスト周波数以上の信号成分を正確に再生できるというのならば、もしかしたら、デジタル音声の再生にも使えるように思える。
こういった超解像技術はデジカメの画質を向上させる効果もあるだろう。現在のデジカメは桜を取ると、細部がぼやける。これは、現行のデジカメがRGGBと4画素で3原色を再現しているからだが、そうなるとRとBの画素は、本来の画素数よりも1/4の情報しか無く、Gは1/2と、解像度としては少ない、これを各社がノウハウで補完してRGB合成して現在のデジカメの写真になっているのだが、桜の花びらを撮ってみれば分かる通り、細部が綺麗に撮影できない。しかし、今回の超解像度技術の花のデモ写真を見ると、その問題が解決できる可能性がある。さらに、この技術を赤外線センサーのような奥行き情報に応用することで高品位な3Dセンサも作れると考えられ、その結果、写真を低コストで立体化出来るかもしれない。そうなれば、単に解像度が上がるだけでなく、3D映像も手に入るわけだ。将来のデジカメは、映像の画素競争は終わり、奥行き情報の画素競争になるのかもしれない。今回の技術は、そういう可能性を持っていると自分は見る。
HMZ-T2は12月25日発売だそうな、でも高いな、前のより、画質はコントラストが良くなっていて、装着感も良くなっているけどね。でも、ソフトの少ない今は偏向方式の3Dモニタ(IPS)でいいかも。ほんでもって3Dは、ちょっとでっかい画面のほうがいいと思う。
- ソニー、ヘッドマウントディスプレイ「HMZ-T2」を発表
- http://d.hatena.ne.jp/skymouse/20120912/1347416283
自分的にはクビを動かしても大丈夫な暗くても解像度が高いアクティブシャッター方式のほうがいいのだが、IPSでアクティブシャッターとなるとモニタータイプのものはなく、もっぱら32インチのテレビになってしまう。