Super resolution

超解像処理とは

超解像処理とは画像の解像度を上げる処理である。単なる拡大処理も超解像の一種であるが、低解像の画像に無い情報まで補えるわけではない。
低解像の画像で失われた情報までを再構成する新しい超解像処理が研究されている。当社で研究・開発している超解像処理には以下のようなものがある。

同じ対象物に関する複数枚の画像から高解像度画像を再構築するマルチフレーム超解像
当社では、複数枚の静止画、動画(AVIファイル)に対応したマルチフレーム超解像プログラムを開発している。
元画像

をbilinear法で拡大すると

Lanczos3法で拡大すると

当社において、マルチフレーム超解像(フレーム数14)により上記と同じ画像を処理した例
対象物が分かっている場合に、あらかじめ用意された対象物候補の辞書を使い、最も近い辞書項目をピックアップする。その情報を援用して超解像画像を再構築する。
当社では、ぼけた画像の文字を認識して認識結果のフォントをレンダリングして鮮明な文書画像に変換するプログラムを開発済みである。
通常のOCRでは、フォント種別まで認識できないが、当社のOCRではフォント種別を認識して同じフォントでレンダリングすることができる。

を認識

↑一部を拡大したレンダリング結果

マルチフレーム超解像処理のアルゴリズム

マルチフレーム超解像では、同じ対象を撮影した複数枚の画像から情報を再構成する。
２枚（フレーム）の低解像度画像が右方向に0.125ピクセル、下方向に0.1875ピクセルずれているものとする。４倍の高解像度画像では、右方向に0.5ピクセル、下方向に0.75ピクセルずれていることになる。
１フレーム目の画像の１ピクセルの輝度値と対応する４×４の正方形の部分の平均輝度値は等しい。４倍解像度画像でサブピクセル精度の位置合わせをすることによって、２フレーム目の同じピクセルに対応する部分が下図の右側に太線で示した正方形に対応することを得る。その部分の平均輝度値は、対応する低解像度画像の１ピクセルに等しいという前提を得る。
この情報によって高解像度画像の各ピクセルの輝度値を補正する。この補正を繰り返すことによって、低解像度の画像には無い情報を高解像度画像の上で復元することができる。

この説明から分かるように、マルチフレーム超解像のベースとなっているのは、２枚の画像の位置合わせ技術ということができる。
当社では、製品ラベルの欠陥検査システムの構築で用いた良品画像と検査対象の画像とのサブピクセル精度での位置合わせ技術を用いてマルチフレーム超解像プログラムを開発している。

アルゴリズムから分かるように、マルチフレーム超解像には以下の制約がある。

対象物が静止していなければならない
微妙にずれた複数枚の画像が必要

(1)の制約から、そのままでは低解像の動画から高解像の動画を再構成するという処理はできないことがわかる。対象物が静止している動画コンテンツは少ない。
当社では、対象物が動いていている場合にも適用可能な超解像処理手法を研究開発している。
アナログ放送をハイビジョンに、ハイビジョンを4k2kビジョンにするなどの用途を考えている。
ハイビジョンや4k2kのコンテンツを作るだけで膨大が費用がかかるが、ソフト的に低解像の動画資産の高解像度化が実現できれば、高解像度コンテンツを作るためのコストの大幅削減が可能となる。
参考：4k2k対応カメラは、2007年時点で40万円/1日のレンタル料がかかる。
(2)の制約から、カメラが三脚で固定されたケースなどでは、複数枚の画像にずれが無くマルチフレーム超解像処理を使うことができないことがわかる。
携帯で動画撮影するように、ある程度の手振れがあったほうがかえって都合が良い。天体観測などでは、地球の自転に応じて対象画像がずれていくので、固定されたカメラで撮影したものでも超解像画像を得ることができる。
ステレオカメラのように、複数のカメラで同時に撮影するシステムを使った研究もある。

動画のマルチフレーム超解像処理のアルゴリズム

たとえば、１６コマの動画があるとする。１コマ目を対象に静止画のマルチフレーム超解像を行い、１枚目の超解像画像を登録する。
この時点で、１枚目の残りの１５枚の画像との位置ずれの情報は計算済みである。
２枚目と、１枚目の位置ずれ情報は、１枚目と２枚目の情報を反転すればよい。３枚目以降との位置ずれは１枚目との位置ずれの分を差し引けば良い。
超解像処理で最もコストが大きい位置合わせ処理のコストは、２枚目以降ではゼロに近い値に抑えることができる。
また、N枚目を処理する際に１～N-1枚目まではすでに超解像処理が済んでいるものを使うことで、より精度の高い超解像処理を行うことができる。

同じ対象の複数枚の画像をカメラで撮影するのは骨が折れる作業なので、代わりに動画で撮影することで撮影者の負担を軽減することができる。

動画の超解像の例

当社で携帯画像に応用した例