画像の再構成理論〜概要、まとめ〜

今回は、以前4回にわたって記事として投稿した画像の再構成理論の概要について述べ、それのまとめをしたいと思います。

目次

画像の再構成とは手ぶれした画像をどうやったら元に戻せるか、ということでした。
重要なことは

・手ぶれやピンボケは画像どうしのたたみこみで表現される。

・ピンボケした画像にノイズが入っていた場合、たたみこみの逆演算をしても元に戻すことはできない。

・画像はピクセルがたくさん集まったもの。

・たたみこみはピクセルの行列計算で表され、その逆行列の固有値に問題がある。

これが画像が元に戻らない原因でした。

以下ではそれぞれの記事についての内容についてまとめていきます。

1.画像の再構成理論(1/4)　〜手ブレ、ピンボケ〜

正方形に左の画像をたたみこんだ結果
手ぶれやピンボケなどの画像操作は、画像と画像とのたたみこみで表されることが分かりました。たとえば、正方形の画像と円とを畳み込むとぼやけた画像が出力されることが確認できました。

なお、たたみこみはフーリエ変換をした領域では積で表されます。

2.画像の再構成理論(2/4) 〜ノイズによる影響〜

画像のたたみこみをImageJを用いて実装してみました。FFTをしてConvolveをしてます。これをDeconvolveするとうまくもとに戻ることも確認できました。

しかし、引っ掻き傷などを入れてDeconvolveをすると全くもとに戻らないことが確認できました。

3.画像の再構成理論(3/4)〜ガウシアンフィルタによるたたみこみの定式化〜

画像を行列で表現

画像がたくさんのピクセルの集まりであることを確認し、それを縦ベクトルにすることで、たたみこみを行列計算でおこないました。行列計算のときにはimageJではなく、pythonとOpenCVを組み合わせて実行しました。今回の場合は 3 x 3の画像で考えました。

4.画像の再構成理論(4/4)〜ノイズ拡大の原因〜

ガウシアンフィルタによって平滑化されるアルゴリズムを行列計算でおこないました。ガウシアンフィルタの逆行列をかけても全くもとに戻りません。これは逆行列の固有値と呼ばれるものが、最小固有値が非常に小さくなっており、それが原因でした。

Wiener-Hopf方程式

Wiener-Hopf

上で挙げた内容は、純粋に行列計算でもとに戻そうとしたものです。結果はもとに戻すことは不可能ということがわかりました。ですが、現在では信号を上手に推定する方法として統計的手法を用いたWiener-Hopf方程式などの方法が知られています。このような内容もこれから紹介していけたらと思っています。
P.S.

写真のうどん屋は赤羽の「すみた」といううどん屋です！てんぷらとダシとがマッチしておいしいですよ！！