超解像処理の高性能化とステレオカメラの弱点を克服した2つの研究事例

　最近の研究事例を2つ紹介します。ビデオカメラでは露光時間が限られるため，高解像度化すると，ノイズが増えてしまいます。そこで複数枚の低解像度映像を使い，高解像度画像を推定する超解像処理が利用されます。しかし，複数枚の画像を撮影しても，画素形状が同一のため，原画像の高周波部分を復元することは困難です。
　そこで撮像素子にトナーを散布することで画素形状をランダム符号化し，超解像処理の高性能化を図りました。画素形状をランダムにコード化した場合では，撮影位置がずれると画素値に変化が表れます。これで画像を観測，超解像処理することで，高解像度画像を得ることができました。
　もう1つは，符号化開口を用いたDepth from Defocusとステレオ法の融合です。奥行きを測るためのステレオ法は基線に平行なエッジや繰り返し模様に弱く，合焦距離から離れるほど，対応付けの精度が低下するという問題があります。そこで，符号化開口を利用して，ぼけを味方に付けて距離を計測するために，新たな手法を研究しました。
　具体的には，平行な光軸を持つステレオカメラの合焦距離を相違させ，ステレオカメラの2つのレンズに符号化開口を装着します。この提案手法と符号化開口ステレオ法，Depth from Defocus，開口ペアの4つで画像を生成，比較しました。その結果，提案手法では，繰り返し模様，まだら模様，横縞模様のすべてで安定・高精度で，奥行き精度とテクスチャ方位への安定性を両立させることができました。しかし，符号化開口ステレオでは横縞模様は計測不能，Depth from Defocusと開口ペアでは視差情報がないため，精度が低いという結果になりました。実画像実験では，ピント位置の異なる2枚の画像の存在が有効に働き，良好な完全合焦画像を生成することができました。
　このように，コンピュテーショナルフォトグラフィにより従来のカメラでは実現できなかった機能を実現するには，レンズの設計を変え，レンズ単体で画像を完成するのではなく，画像処理を前提とした光学系の再構築が求められます。このうち光線を記録する装置としてのカメラは，ライトフィールドの計測により得た光線情報をもとに，シミュレーションによる「画像の再撮影」を行います。また，コード化（符号化）の考え方を用いた手法では情報理論や統計理論が活用されており，今後はコンピュータビジョン技術の応用が期待されます。