画像融合のためのキャリブレーション

　ハードウェアキャリブレーションの場合，ビームスプリッターを置かなければならないなど，システムが大きくなり，コストもかかります。そこで，ソフトウェアキャリブレーションが必要になります。可視画像に比べ，遠赤外線画像は歪みが大きく，ハードウェアアライメントでビームスプリッターを入れても精度の限界があります。
　キャリブレーションには，画角やレンズ歪みを調整するものと，2つのカメラの位置関係を調べるものがあります。可視カメラと可視カメラのキャリブレーションの場合，チェッカーボードを使ったZhangのキャリブレーションツールボックスがデファクトになっています。しかし，可視カメラと遠赤外線カメラの場合には，印刷したチェッカーパターンを白熱電球で温めなければならず，しかも熱拡散してすぐに不鮮明になるため，それを繰り返す必要がありました。そこで2層構造のキャリブレーションボードを開発しました。その結果，対応点が正確に得られ，長時間安定させることができました。
　キャリブレーションをするときには，チェッカーパターンの角を，可視画像と遠赤外線画像で対応するように変形させます。キャリブレーションが完璧なら再構成の誤差は出ません。その平均値を評価すると，既存のボードに比べ，われわれが開発したボードの場合，1桁程度高精度になり，レンズ歪みを高精度に補正できるようになっています。
　可視カメラでは当然ながら暗いところでは暗く映ります。それはノイズが大きいので，遠赤外線カメラを利用しノイズを取るデノイズを行います。われわれの提案手法を用いると，高画質なデノイズ画像を生成することができます。また，低解像度な遠赤外線画像を高解像度化するアップサンプリングも可能です。さらに，監視などセキュリティ用途として，2台の遠赤外線カメラと，1台の可視光魚眼カメラによる広視野・高解像のマルチモーダルカメラシステムも開発し，先ほどのキャリブレーション技術を活用して可視・遠赤外線画像の高精度な位置合わせを実現し，霧や煙のような環境でも周囲を確認できるようになっています。

＜次ページへ続く＞