オプティカルフローの厳密高解像度検出が可能に東京大学 安藤繁
- 説明文
- 写真
オプティカルフローとは,3 次元中の運動物体がイメージセンサー面に結像して生じる明暗パターンの動きのことである。このような動きを時々刻々の速度場として求める問題は,コンピュータービジョンによる情景解析や表情認識,流体の流速分布計測など,幅広い応用がある。近年,われわれは,複素正弦波変調撮像という新たな撮像方法で,このような速度場が,1 画素1フレームの画素値を用いた四則演算のみで,直接代数的に求められることを発見するに至った。
この複素正弦波変調撮像を実現する撮像素子が時間相関イメージセンサー(図1 右下)で,入射光量の1フレーム時間内の積分値(強度画像)と,複素正弦波状に時間変化する荷重を乗じた積分値(相関画像,図1)とを出力する。強度画像は通常のイメージセンサーの画像と同様だが,相関画像は時間変化する物体のみに反応し,動く物体のエッジやテクスチャーの部分に特有な複素の位相分布を生成する。これらの二つの画像は,オプティカルフローの速度場を支配する偏微分方程式から導かれる速度を未知数,積分量を係数とする線形連立方程式に代入される。これを画素ごとに解くことで,2 次元の速度分布が計算される(図2)。速度ベクトル(イメージセンサー上での1フレーム間の移動量)の大きさが線の長さで,速度ベクトルの方向が線の向きと色相で表されている。1 画素と1フレームのみを用いる処理のため,得られる速度場は,空間的にも時間的にも,この上なく高い解像度をもつ。全画素で速度ベクトルを求めると,その結果は,画素の明暗と色相が速度の大きさと速度の方向を表す速度ベクトル画像となる(図3)。加えて,エリアシング誤差や差分近似に起因する対象速度の制限が取り除かれ,1 次元的パターンで速度場が不定となる開口問題の条件も大きく緩和される。
図2では,右手前方向に進行する車(明るい青緑)のフロントガラス付近に逆方向の速度場(青から赤)が現れている。フロントガラスに映った周囲の情景の動きである。左上方向に進行する車の後部には,車体の進行速度(明るい赤)とは異なる若干乱れた速度分布(紫から青)が現れている。これは,車体に映る路面のパターンと静止した道路に投じた車の影の進行がとらえられているためである。異なる速度の混合に対しては,得られる速度は両者のパターンの強さに応じて両者の速度の間を揺れ動く。このような「異常」な検出結果は,速度検出の欠陥というよりは,高解像度オプティカルフロー検出によって得られる新たな情報量と考えられよう。なぜなら,フロントガラスに映った逆方向の速度場からは,自動車という解釈のもとで,当該部分が鏡面状に周囲を映すガラスであることやその表面の向きが,影の部分の速度場からは,車体の光沢や日差しの状況が追加的な情報として得られるからである。
このような新たな撮像方法と画像解析方法は,コンピュータービジョンや画像解析の性能の大幅な向上と新たな展開につながることが期待される。
この複素正弦波変調撮像を実現する撮像素子が時間相関イメージセンサー(図1 右下)で,入射光量の1フレーム時間内の積分値(強度画像)と,複素正弦波状に時間変化する荷重を乗じた積分値(相関画像,図1)とを出力する。強度画像は通常のイメージセンサーの画像と同様だが,相関画像は時間変化する物体のみに反応し,動く物体のエッジやテクスチャーの部分に特有な複素の位相分布を生成する。これらの二つの画像は,オプティカルフローの速度場を支配する偏微分方程式から導かれる速度を未知数,積分量を係数とする線形連立方程式に代入される。これを画素ごとに解くことで,2 次元の速度分布が計算される(図2)。速度ベクトル(イメージセンサー上での1フレーム間の移動量)の大きさが線の長さで,速度ベクトルの方向が線の向きと色相で表されている。1 画素と1フレームのみを用いる処理のため,得られる速度場は,空間的にも時間的にも,この上なく高い解像度をもつ。全画素で速度ベクトルを求めると,その結果は,画素の明暗と色相が速度の大きさと速度の方向を表す速度ベクトル画像となる(図3)。加えて,エリアシング誤差や差分近似に起因する対象速度の制限が取り除かれ,1 次元的パターンで速度場が不定となる開口問題の条件も大きく緩和される。
図2では,右手前方向に進行する車(明るい青緑)のフロントガラス付近に逆方向の速度場(青から赤)が現れている。フロントガラスに映った周囲の情景の動きである。左上方向に進行する車の後部には,車体の進行速度(明るい赤)とは異なる若干乱れた速度分布(紫から青)が現れている。これは,車体に映る路面のパターンと静止した道路に投じた車の影の進行がとらえられているためである。異なる速度の混合に対しては,得られる速度は両者のパターンの強さに応じて両者の速度の間を揺れ動く。このような「異常」な検出結果は,速度検出の欠陥というよりは,高解像度オプティカルフロー検出によって得られる新たな情報量と考えられよう。なぜなら,フロントガラスに映った逆方向の速度場からは,自動車という解釈のもとで,当該部分が鏡面状に周囲を映すガラスであることやその表面の向きが,影の部分の速度場からは,車体の光沢や日差しの状況が追加的な情報として得られるからである。
このような新たな撮像方法と画像解析方法は,コンピュータービジョンや画像解析の性能の大幅な向上と新たな展開につながることが期待される。