この記事では,スパースモデリングの一つ,Total Variationを正則化項に加えた場合の画像の再構成方法に関して説明を行います.
Total Variation の正則化理論
TV denoising is considered to be one of the best denoising models, but also one of the hardest to compute.
Total Variation とは,例えば画像を復元したいと思ったとき,画像の微分のL1ノルムの最小化を行う方法です. L1ノルムの最小化はスパースな解を誘発するため,微分のL1をとることで, 画像の輝度値の変化がスパースな解を得ることが出来ます. これを確かめるため,ノイズの乗った画像に対して復元を行います.
結果だけ述べると,左のような画像から右のような画像を復元することが可能です.
Total Variation による方法では,微分のL1ノルムの最小化の正則化項を用います. このときの評価関数は
\begin{align} F = |\nabla_x u| + |\nabla_y u| + \frac{\lambda}{2}|u - I|^2 \end{align}
です.第一項目は画像の画素値$I$と,再構成画像$u$との差分,第二項は$\nabla_x$,$\nabla_y$でピクセルごとの差分です.
上の項は,微分のスパースを仮定しているため,画素値の変化がより小さいような解が得られることになります.具体的に図に表現するとこのようになります.
最適化方法: Split Bregman
上の問題は$u$の微分に関するL1ノルムの項が含まれているため,非線形な方程式です.
そのため,反復計算を行う必要があります.
まずはじめに,上の最適化問題を以下のように同値変形します.
\begin{align} F = |d_x| + |d_y| + \frac{\lambda}{2}|u - I|^2 \end{align} \begin{align} {\rm s.t.} \ \ d_x = \nabla_x u, \ \ d_y = \nabla_y u \end{align}
ここで,制約条件を少し弱め,(To weakly enforce the constraints in this formulation と原文には書いてある),最適化問題を以下のように変更します.
\begin{align} \underset{u,d_x,d_y}{\rm minimize}\ \ |d_x| + |d_y| + \frac{\lambda}{2}|u - I|^2 + \frac{\mu}{2}(|\nabla_x u - d_x|^2 + |\nabla_y u - d_y|^2) \end{align}
そして,これに対して,Bregman Iterationというのを用います.これは,上の最適化問題を更新のタイムステップ$k$を用いて \begin{align} \underset{u,d_x,d_y}{\rm minimize}\ \ |d_x| + |d_y| + \frac{\lambda}{2}|u - I|^2 + \frac{\mu}{2}(|\nabla_x u - d_x - b_x^k|^2 + |\nabla_y u - d_y - b_y^k|^2) \end{align} とし,最適化問題として \begin{align} u^{k+1} = \underset{u}{\rm minimize}\ \ |d_x| + |d_y| + \frac{\lambda}{2}|u - I|^2 + \frac{\mu}{2}(|\nabla_x u - d_x - b_x^k|^2 + |\nabla_y u - d_y - b_y^k|^2) \end{align} とすることで,$u$を更新するものです.
このように分割することによって,2次式の最適化と絶対値を含む問題の最適化に帰着します. 2次式の場合は最適化は簡単に求めることができますし,絶対値を含む問題に対しては解析的な解が求まっています.
詳しくは,L1ノルム最適化に関して書かれた以下の記事をご覧ください.
スパースモデリングに基づく画像の再構成 Part1. L1ノルム最小化に基づく画像再構成の実装 - IMACEL Academy -人工知能・画像解析の技術応用に向けて-|LPixel(エルピクセル)
実装
パッケージのインポート
import numpy as np import cv2 import matplotlib.pyplot as plt import random
ftp://ftp.math.ucla.edu/pub/camreport/cam08-29.pdf