SSII2014 チュートリアル資料

東京工業大学田中正行見えない画像を見るための 2次元画像再構成～画像を知る・学ぶ・作る～ＳＳＩＩ２０１４チュートリアル 2014年6月11日

概要１．知る－自然画像の性質，ノイズの性質２．作る－2次元画像再構成，2次元画像補間３．学ぶ－学習に基づく2次元画像処理 1 ノイズ信号

撮影モデル（劣化モデル） 2 原画像レンズセンサ回路メモリぶれ・ぼけ離散化ノイズ原画像は２次元のグレイ画像とし，圧縮ひずみは考えない． 𝒚 = 𝑨𝒙 + 𝒏

結局，2次元画像処理でやりたいこと！ 3 原画像ぼけ画像離散画像ノイズ画像デノイズぶれ復元超解像 𝒚 = 𝑨𝒙 + 𝒏

共通の定式化 4 mmm nxDFy  nAxy  超解像 ぶれ復元 デノイジング劣化モデル（生成モデル） nBxy  nAxy  nxy  nAxy  劣化モデル（生成モデル）劣化モデル（生成モデル）共通の定式化可能 𝒚 = 𝑨𝒙 + 𝒏劣化画像yから，原画像xを復元する処理

概要１．知る－自然画像の性質，ノイズの性質（１）自然画像の事前確率（２）ノイズ推定２．作る－2次元画像再構成，2次元画像補間３．学ぶ－学習に基づく2次元画像処理 5 ノイズ信号

拘束付き最小二乗法 6 𝒚 = 𝑨𝒙 + 𝒏 2 2 2 2 HxAxy I 拘束付き最小二乗法 y: 観測画像 x: 真の画像 A: 劣化モデル n: ノイズ H: ハイパスフィルタ尤度自然画像の事前確率事後確率最大化（MAP法）観測から観測以外から

事後確率最大化と拘束付き最小二乗法 7 2 2 2 2 2 22 2 22 11 ' HxAxy HxAxy     I I )()|()|( xxyyx ppp  事後確率（ベイズの定理）尤度事後確率           2 2 2 2 exp)|(  Axy xyp          2 2 2 2 exp)(  Hx xp 事前確率尤度（ノイズモデル）：ガウスノイズを仮定（自然画像の）事前確率：滑らかな画像を仮定事後確率の対数に－１をかけて拘束付き最小二乗法

事前確率の重要性 8 例えば，Haarウェーブレットの低周波成分に相当 nAxy  2 2 )( Axyx I 式の数（行列Ａの行数）が未知数の数（行列Ａの列数）より少ない．問題: 問題に対応する最小二乗コスト: システム行列 A 原画像 x 観測画像 y 観測画像 y •実際の過程 •可能な解 Haarウェーブレットの高周波成分は，不定．唯一解を得るためには，付加的な情報（事前確率）が必要．自然画像の事前確率が重要より正確には行列Aの条件数を評価する必要がある 2 2 2 2 HxAxy I 自然画像の事前確率（拘束項）

自然画像とは 9 自然画像：近年の人間が自然と目にする画像自然画像以外

自然画像の事前確率とは 10 自然画像の分布（Possible）数学的に可能性のある画像の分布(Probable) 8x8の画像であれば， 64次元空間に広がる自然画像は64次元よりもはるかに小さな次元の空間にのみ分布しているこの小さな次元の分布が自然画像の事前確率分布代表例：滑らかさ拘束画像空間分布の模式図画像空間分布の模式図

MAP法（事前確率）に基づく再構成処理 11 Roth & Black（CVPR 2005），Weiss & Freeman（CVPR 2007）  古典的な事前確率モデル Rother (SIGGRAPH 2004), Fergus (SIGGRAPH 2006)  パッチに基づく事前確率モデル  適応的な事前確率モデル  Expected Patch Log Likelihood (EPLL) Tanaka & Okutomi（CVPR 2008），Cho & Freeman （CVPR 2010） Zoran & Weiss（ICCV 2011） ●http://people.csail.mit.edu/danielzoran/

ノイズモデルと推定方法 13 劣化モデル： 𝒚 = 𝑨𝒙 + 𝒏一画素のノイズに着目１．独立なガウスノイズ２．ポアソン・ガウスノイズ３．一般化ガウスノイズ 𝑦 = 𝑥 + 𝑛, 𝑛~𝑁(0, 𝜎2) 𝑦 = 𝛼𝜌(𝑥) + 𝑛, 𝑛~𝑁(0, 𝜎2) 𝑦 = 𝑥 + 𝑛, 𝑛~𝑁 0, 𝜎2 𝑥 , 𝜎2 𝑥 = 𝜎 𝑢 2 𝑥 𝛾 + 𝜎 𝑤 2 𝑁(𝜇, 𝜎2):ガウス分布 𝜌(𝑥):ポアソン分布 Liu et al, TIP 2013 ●http://www.ok.ctrl.titech.ac.jp/res/NLE/AWGNestimation.html Foi et al, TIP 2008 ●http://www.cs.tut.fi/~foi/sensornoise.html Liu et al, ICIP 2013 ●http://www.ok.ctrl.titech.ac.jp/res/NLE/sd_nlevel.html

PCAに基づくノイズレベル推定  自然画像 – 最小固有値はゼロに近い  ガウスノイズ – 固有値は一定値 14 ゼロと見なせる Natural image Image patches PCA 1 2 3 4 5 6 7 8 Eigenvalue Principle component 一定値（ノイズの分散） Image patches PCA Gaussian noise 1 2 3 4 5 6 7 8 Eigenvalue Principle component 1 2 3 4 5 6 7 8 Natrual image Gaussian noise Image patches PCA Noisy image ノイズの分散 Principle component Eigenvalue  ノイズ画像ノイズ信号

PCAに基づくノイズレベル推定結果  テクスチャがあまりない画像  テクスチャがリッチな画像 15 plane mountain テクスチャが少なければ良い結果テクスチャがリッチだと精度は低い 1 2 3 4 5 6 7 8 Natrual image Gaussian noise ほぼゼロ 1 2 3 4 5 6 7 8 Natrual image Gaussian noise ゼロより大きい Noise level estimation result Noise level estimation result

ノイズレベル推定結果 (BSD dataset) 16 True Zoran et. al.[9] Tai et. al[25] Proposed method Average Std.dev RMSE Average Std.dev RMSE Average Std.dev RMSE 1 2.129 1.662 1.986 2.059 1.574 1.890 1.512 0.986 1.105 5 4.993 1.464 1.455 5.761 1.083 1.320 5.285 0.429 0.507 10 9.741 1.589 1.602 10.635 0.825 1.038 10.282 0.389 0.470 15 14.643 1.606 1.637 15.553 0.677 0.871 15.254 0.336 0.395 20 19.582 1.645 1.689 20.482 0.613 0.778 20.127 0.308 0.327 25 24.464 1.649 1.725 25.458 0.549 0.713 25.057 0.384 0.386 デモ Liu et al, TIP 2013 ●http://www.ok.ctrl.titech.ac.jp/res/NLE/AWGNestimation.html テクスチャレスパッチ抽出を工夫

概要１．知る－自然画像の性質，ノイズの性質２．作る－2次元画像再構成，2次元画像補間（１）データを増やす（２）構造を抽出する（仲間を見つける）（３）ガイドを利用する（助けを借りる）３．学ぶ－学習に基づく2次元画像処理 17 ノイズ信号

データを増やす 18 輝度方向にデータを増やす（平均する）デノイズ（画像フィルタ）空間方向にデータを増やすマルチフレーム超解像時間方向にデータを増やす高フレームレイト化

19 なぜ高解像度画像が得られるのか？ 1次元信号の場合 2次元画像の場合測定器測定器信号源時刻時刻時刻同期時間解像度が2倍観測画像画像間の位置関係既知（単純）拡大画像高解像度画像空間解像度が2×2倍半画素ずつ移動

20 複数枚の画像からの超解像処理例観測画像 (150x30) 超解像画像 (600x120) 観測画像 (150x30) 超解像画像 (600x120)

21 デモンストレーションソフトウェア例

輝度方向にデータを増やす（平均する）効果 22 M個の観測データを平均すると，平均値のノイズ分散は1/Mになる 𝑉 1 𝑀 𝑖 𝑀 𝑦𝑖 = 1 𝑀 𝑉[𝑦𝑖] 静止シーンを固定カメラで複数枚撮影画像一枚だけの場合は空間的なフィルタ処理フィルタ真値の等しい画素を平均する

ガウシアンフィルタ 23 真値の等しい画素を平均する空間的に近傍の画素の真値は等しいと仮定ガウシアンフィルタ位置u 画素値y 空間的重み      j jis j jjis i G yG x )( )( ˆ uu uu エッジ付近でぼける ui,uj: 画素位置 yj: 画素値 G:ガウス関数

バイラテラルフィルタ      j jirjis j jjirjis bi i yyGG yyyGG x )()( )()( ˆ uu uu 空間的な距離に基づく重み画素値の差に基づく重み位置u 画素値y 24 Tomasi, ICCV 1998 空間的重み画素値重み画素値重み重み小重み大エッジを保存した平滑化フィルタ真値の等しい画素を平均する空間的かつ輝度的に近傍の画素の真値は等しいと仮定バイラテラルフィルタ

ノンローカルミーンフィルタ 25 Buades CVPR 2005 画像注目パッチ類似度計算位置u 画素y 注目パッチ類似度小 →重み小類似度大 →重み大空間方向の重みは利用しない（利用してもよい．）真値の等しい画素を平均する構造（パッチ）が似ている画素の真値は等しいと仮定ノンローカルフィルタ      j jip j j T jip nl i G G x )( )( ˆ yy ycyy

処理例 26 入力画像バイラテラルフィルタノンローカルミーンフィルタバイラテラルフィルタノンローカルミーンフィルタ Paris et al, A Gentle Introduction to Bilateral Filtering and its Applications ●http://people.csail.mit.edu/sparis/siggraph07_course/ Buades et al, Non-Local Means Denoising ●http://www.ipol.im/pub/art/2011/bcm_nlm/

高性能デノイジング 28 BM3D (Block-matching and 3D) filter, Dabov et al, Image denoising by sparse 3d transform-domain collaborative filtering, TIP2007 ●http://www.cs.tut.fi/~foi/GCF-BM3D/ LSSC (learned simultaneous sparse coding) Mairal et al, Non-local sparse models for image restoration, ICCV2009 PLOW （Patch-based Locally Optimal Wiener Filtering for Image Denoising） Priyam et al, Patch-based Near-Optimal Image Denoising, TIP 2012 ●http://users.soe.ucsc.edu/~priyam/PLOW/ パッチベース・ノンローカルアプローチ Zontak et al, Separating Signal from Noise using Patch Recurrence Across Scales, CVPR 2013 http://www.wisdom.weizmann.ac.il/~vision/MultiScaleDenoising.html

パッチベースデノイジング手法  パッチベース手法 – 高性能な手法として注目されている。 – 小さな四角形の領域を処理単位とする。 1. ノイズを含んだ画像からのパッチ生成 3. デノイジングされたパッチからの画像再構成 2. パッチごとのデノイジングデータベースに基づく手法自然画像データベースの情報を利用する。ローカル手法近傍のパッチの情報を利用する。ノンローカル手法類似したパッチの情報を利用する。 3種類 29

ノンローカルアプローチ  ノンローカルアプローチとは – 自然画像の自己相似性に着目し、画像中に含まれる類似パッチの情報を利用してデノイジングを行う。 1st step : Collaborative Hard-thresholding 周波数領域例：BM3D Filter 繰り返し処理（ウィナーフィルタ） 30

類似パッチを集めることの意味 31 ノイズ信号自然画像全体をモデル化するのは困難ノイズ分布は変化しない類似パッチを集める信号とノイズの分離を容易にする画像全体類似パッチのみ

ガイドを利用する（助けを借りる） 33  ジョイントバイラテラルフィルタ  ガイデットフィルタガイド画像の例： RGB-NIR： NIRをガイド画像としてRGB画像をデノイズ RGB-D： RGBをガイド画像としてD画像をデノイズノイズ信号ガイド画像目的画像ガイド画像を利用して，信号とノイズを分離 Kopf et al, Joint bilateral upsampling, SIGGRAPH 2007 実装例： ●http://nma.web.nitech.ac.jp/fukushima/research/weightedjointbilateralfilter.html ●http://www.mathworks.com/matlabcentral/fileexchange/27468-joint-bilateral-filter He et al, Guided Image Filtering, ECCV2012, PAMI2013 ●http://research.microsoft.com/en-us/um/people/kahe/eccv10/

ジョイントバイラテラルフィルタ 34 位置u 画素値y 空間的重み画素値重み画素値重み重み小重み大位置u ガイド画像ｚ注目画素      j jirjis j jjirjis i zzGG yzzGG x )()( )()( ˆ uu uu 空間的な距離に基づく重みガイド画像の画素値の差に基づく重み      j jirjis j jjirjis bi i yyGG yyyGG x )()( )()( ˆ uu uu 参考：バイラテラルフィルタ

ガイデットフィルタ 35 Guide patch I Input patch p Linear transformation baIk     Nk kk ba apbaI 22 ),( )(min  N: Sampled pixels ε: Smoothness parameter 残差項滑らかさ項残差項：小滑らかさ項：大入力画像をガイド画像に使える！残差項：大滑らかさ項：小残差高速処理エッジ保存 ●http://research.microsoft.com/en-us/um/people/kahe/eccv10/ 出力画像出力画像 ε：小 ε：大

ガイドを利用した補間（ガイデットアップサンプリング） 37 Linear transformation baIk  Interpolation Output image    Nk kk ba apbaI 22 ),( )(min  N: Sampled pixels : Smoothness parameter 適切なガイド画像が得られれば，エッジを保存した補間が，高速に実現できる！ガイド画像入力データ

ガイデットアップサンプリングの応用例スペクトル間の相関ガイデットアップサンプリング (He et. al., ECCV2010) マルチスペクトル CFA G R G Or G B G Cy G B G Or G R G Cy G B G Cy G R G Or G 38 初期補間ガイド画像 Y.Monno et al. , “Multispectral demosaicking using guided filter”, EI2011. ガイド画像はどうするの？ → マルチスペクトルデモザイキング

色差補間とガイド画像の関係 39 －＋色差補間 R −G 初期補間 Gデータ Rデータ補間 R画像 G画像 RGB画像 R画像色差画像(R-G) 高周波エネルギーを低減補間が容易になる！ガイド画像線形変換してみたら？

残差補間 40 －＋残差画像補間 R − R 初期補間ガイデットアップサンプリング初期推定 R Gデータ Rデータ補間 R画像 RGB画像 R画像色差画像(R-G) 残差画像（R − R）高周波エネルギーをさらに低減補間がさらに容易になる！ガイデットアップサンプリング matlab code: ●http://www.ok.ctrl.titech.ac.jp/res/DM/RI.html ガイド画像＆線形変換

概要１．知る－自然画像の性質，ノイズの性質２．作る－2次元画像再構成，2次元画像補間３．学ぶ－学習に基づく2次元画像処理（１）事例ベース超解像（２）スパースコーディング（３）機械学習（Deep learning） 42

Freeman et al,Example-Based Super-Resolution, 2002. Kim et al, Example-based learning for single-image super-resolution, DAGM 2008. (●http://www.mpi-inf.mpg.de/~kkim/supres/supres.htm)43 事例ベース超解像観測画像（低解像度画像）高解像度画像画像データベース高解像度画像低解像度画像 •一枚でも可能 •データベースの作成が重要（コスト大） •対応付けの問題失われた（存在しない）高周波成分をデータベースに基づき，推定する処理

スパースコーディング 44 ≅ + + + + 5.73 0.00 4.12 0.00 0.00 + 高解像度画像辞書D 高解像度辞書入力パッチ 𝒚 出力パッチ 𝒙 = 𝑫 𝜶 入力画像出力画像 5.73 0.08 スパース係数を推定ライブラリ ●http://spams-devel.gforge.inria.fr/ ●http://www.cs.technion.ac.il/~elad/software/ 高解像度画像辞書：D 低解像度画像辞書：BD ぼけ＆ダウンサンプリング B低解像度画像辞書BD 𝜶 = argmin 𝜶 𝒚 − 𝑩𝑫𝜶 2 2 + 𝜆 𝜶 1 𝒙 = 𝑫 𝜶 スパース係数の推定再構成出力パッチスパース係数：少数の係数のみ非ゼロの値を持つ

辞書学習 45 辞書固定スパース係数推定スパース係数固定辞書更新 𝐼 = 𝑖 min 𝜶 𝑖 𝒚𝒊 − 𝑫𝜶𝑖 2 2 + 𝜆 𝜶𝒊 1 自然画像データベース高解像度画像辞書低解像度画像辞書 BD 課題：低解像度画像から推定されるスパース係数と高解像度画像から推定されるスパース係数が異なるスパース係数推定スパース係数推定高解像度画像低解像度画像 0.84 0.22 0.00 0.00 0.000.75 0.34 0.00 1.23 1.23

入力低解像度パッチ𝒚 カップリングを学習 46 He et al, Beta Processing Dictionary Learning for Coupled Feature Space with Application to Single Image Super Resolution, CVPR 2013 (●http://web.eecs.utk.edu/~lhe4/) 自然画像データベース高解像用辞書 𝑫 𝑯 学習低解像用辞書 𝑫 𝑳 学習スパース係数間のカップリングMを学習 𝜶 𝑯 = 𝑴𝜶 𝑳 𝒙 = 𝑫 𝑯 𝜶 𝑯 𝒚 = 𝑫 𝑳 𝜶 𝑳 出力高解像度パッチ𝒙 高解像係数変換低解像用辞書 𝑫 𝑳 スパース係数推定高解像用辞書 𝑫 𝑯 高解像度パッチ再構成 𝜶 𝑳 𝑴𝜶 𝑳 𝑫 𝑯 𝑴𝜶 𝑳

機械学習（Deep learning） 48 Schuler et al, A machine learning approach for non-blind image deconvolution, CVPR2013 (●http://webdav.is.mpg.de/pixel/neural_deconvolution/) Gao et al, Restricted Boltzmann Machine Approach to Couple Dictionary Training for Image Super-Resolution, ICIP2013. Vincent et al, Extracting and Composing Robust Features with Denoising Autoencoders, ICML2008 Nakashika, et al, High-frequency Restoration Using Deep Belief Nets for Super-resolution, International Conference on Signal Image Technology & Internet-Based Systems 2013.

概要１．知る－自然画像の性質，ノイズの性質２．作る－2次元画像再構成，2次元画像補間３．学ぶ－学習に基づく2次元画像処理 49 ノイズ信号何かのきっかけになれば嬉しいです！ Xin Li’s Reproducible Research: http://www.csee.wvu.edu/~xinl/source.html

SSII2014 チュートリアル資料

by Masayuki Tanaka, Working at Tokyo Institute of Technology on May 02, 2014

Statistics

Views

Actions

1 Embed 10

Accessibility

Categories

Upload Details

Usage Rights

Report content

SSII2014 チュートリアル資料 Presentation Transcript