解像度の低下の種類と超解像処理

1．画素数の低下による場合

　超解像というのは，解像度が低下している画像に対して処理を行い，画像の解像度を向上する技術です。まず，その一例を示します（図1）。
　では，そもそも解像度の低下した画像といったときに，その原因としてどのようなものがあるのかというと，最初に思い浮かぶのが画素数の不足によるものです。例えば，図2(a)が元の高解像の画像だとしたときに，図2(b)は画素数を1/10にダウンサンプリングしたものです。ただダウンサンプリングしただけでは画像が小さくなりますから，図2(b)ではこれを拡大して示してあります。 　これは信号処理的な見方をすると，図2(a)のグラフが元の信号（横軸が周波数）の周波数分布だったときに，画素数の低下により解像度が低下した画像は，折り返しが出てきます。これがいわゆる「折り返しひずみ」あるいは，「エイリアシング」と呼ばれるものです。つまり，分布が重なっている部分から先は元の信号とは異なる周波数分布になってしまうわけです。このような画像に対して，オリジナルの画像に戻す処理を行うのが複数フレームを利用した超解像です。 　この場合，超解像処理においてどのようなことをするのかというと，要は標本点が少ないために解像度が落ちているわけですから，標本点を増やしてあげればいいということになります。つまり別の画像から標本点をもらってきて解像度の低下した画像に埋め込むのです（図3）。
　これは，原理的には非常に単純なことで，例えば図3(a)のような1次元の信号で，あるときはこのような標本点で［図3(a)上］，次の瞬間にはこのような標本点［図3(a)中］が得られた場合，それぞれの画像の位置合わせができていれば，それらを2つ合わせることで標本点が増えて解像度が上がるというわけです［図3(a)下］。信号処理的にいうと，標本化の周波数が上がることにより，周波数分布の重なりがなくなるため，オリジナルの画像に対する一つ分の分布を切り出すことで，元の完全な信号が得られるというものです［図3(b)］。これは2次元の画像でもまったく同じ原理となります。画像が得られるたびに位置合わせをして，その各位置に画素を埋めていくことによって，だんだん画素数が増え，解像度が上がるというものです［図3(c)］。 　これが超解像の典型的なアプローチで，このような方式を「複数フレーム超解像」と呼ぶことにします。この方法は，得られた画像の位置合わせ処理と，その後の集まった画素を使った高解像度画像の生成処理が技術的なポイントとなります。

2．高周波成分が低下している場合

　ここまでの話は，ある意味素直でわかりやすい話だと思います。しかしながら，世の中には解像度が低いと言っても，必ずしも先ほどのように荒いサンプリングが原因とは限りません。 　例えば，図4のようなローパスフィルタをかけたような（高周波成分が低下している），いわゆる“ピンぼけ”状態の場合もあります。この場合の周波数分布は，本来はもっと高いところにあるべきものが下に落ちているわけですので，要は落ちた分だけ高周波成分を持ち上げてあげれば元に戻るわけです。実際には，落ちている量がわからなければいけませんし，ノイズが入っていた場合には，ノイズも一緒に持ち上げてしまい，画像がざらつくといった問題も起きます。しかしながら，原理的には落ちた分だけ持ち上げれば元に戻るといえます。
　また，再構成型の超解像処理では，1,2節の現象を合わせてモデル化することにより，両方の影響を同時に回復することが可能です。

3．高周波成分が消失している場合

　前述の1,2節の場合は解決方法があるのですが，厄介なのは2節のローパスが強くなったような場合です。図5のように，周波数分布で見ると，ある部分から先の高周波成分が完全になくなっているような場合です。
　2節のような場合は，落ちた分だけゲインをあげればいいですが，いったん完全に，ある周波数の情報が失われてしまったら，もう戻しようがありません。残念ながらこういう画像が与えられた場合には，単にサンプリングを増やしていっても回復は無理ということになります。しかしながら，何とかしてこのなくなってしまった部分を戻せないのかということに対する努力は行われています。この場合にどのようなことをするのかというと，失われた情報を「類推」するということを行います。仮にそれができるのであれば，先ほどのように複数の画像を用いなくても，その1枚の画像のみで超解像を行うこともできるわけで，そのようなタイプの処理は「フレーム内超解像」と呼ばれます。
　その方法を説明する前に，ここで問題を整理すると，このフレーム内超解像の扱う問題というのは次のような問題になります。例えば，図6のようなモノクロ8bit画像があった場合に，元画像の一部分（4画素）が図6のHRだとします。解像度が半分になった低解像度（LR）の画像の対応部分（1画素）をHRに戻すということは，1画素から4画素を作り出し，その各画素の濃淡を求めるということになります。4画素が合わさって1画素に変わっているわけですから，その取り得る場合の数の比は1:224で 約1,600万通りのパターンの中から正しいものを1つ見つけ出すということです。
　これは本質的に非常に無茶な話だということが，なんとなく感覚的にわかっていただけると思います。
　では，そのような非常に“不良（ill-posed）な設定の問題”を解くためにどのような方法があるのかというと，代表的なものは，あらかじめ用意した事例データベースから「類推」しようというものです。事例データベースは，学習用の高解像度の画像を低解像にして，それらの対応を記録することで作成します。つまり，あらかじめ低解像パッチ（画像の小領域）と高解像パッチのペアを“example”としてたくさん覚えておいて，入力画像に対する一番近い低解像度パッチをそのデータベースから探してきて，それに対応する高解像度パッチに置き換えていくというものです。 　これが代表的なフレーム内超解像の方法ですが，あらかじめ用意した事例データベースを使わない方法も提案されています。この方法では入力された画像のみで解像度を上げようというもので，1節でお話した複数フレーム超解像が別フレームを探すのに対し，この方法では自分の画像の中を探しに行きます。
　例えば図7(a）のような入力画像があったとすると，この画像の建物をよく見ると横に同様なエッジのパターンがずっと並んでいますので，自分の画像の中を調べて共通する部分を探し出して，その部分のデータを使って解像度を上げて行くのです［図7(c)］。さらに，画像の自己相似性を利用して，自分の画像の解像度を落とした画像を生成し，事例データベースを利用する方法と同様に,低解像度パッチと高解像度パッチのペアを作成し利用します［図7(d)］。

＜次ページへ続く＞