深層学習オートエンコーダー

深層学習オートエンコーダー

1. 1. MLP深層学習 自己符号化器 後半 曽和 修平
2. 2. 前提知識 [対角行列] 対角成分以外が0の正方行列 [対称行列] 自身の転置行列と一致するような正方行列 [共分散行列] 対角成分に分散、それ以外の部分に共分散が並ぶ行列
3. 3. 前提知識(2) [直交行列] 転置行列と逆行列が等しくなる正方行列 AT A = AAT = I が成り立つ [固有値,固有ベクトル] 正方行列Aに対して が成り立つ時xを固有ベクトル,λを固有値という 固有ベクトルはあるベクトルAの方向は変えず大きさだけ変 えるような線形変換を施すベクトル 固有値はその変換倍率を表している
4. 4. 白色化
5. 5. 白色化とは • 成分間の相関をなくす処理
 
 • 自己符号化器が良い特徴を学習できるかどうかに大き く影響する可能性
6. 6. 成分間の相関をなくすとは？(1) • 特徴量としてテストの点数
 （国語,算数,理科,社会,英語）をとるとする 国語の点数が高い人は英語の点数も高い傾向がある 相関あり 白色化は任意の2成分間で相関をなくす処理
7. 7. 成分間の相関をなくすとは？(2) • 任意の2成分間で相関を0に • 共分散行列の非対角成分を全て0にする 1成分と3成分間の分散
8. 8. 具体的な考え方 • 考え方 データに対してある線形変換Pを施す 施した後のデータの共分散行列の非対角成分が0に
 なっている このような変換行列Pを見つけ出せば良い
9. 9. 線形変換Pの導出(1) • ここまでを数式化する ・データXの共分散行列
 （データは各成分の平均値を引いた状態） ・線形変換Pを施した後のデータu ・線形変換Pを施した後のデータの共分散行列
10. 10. 線形変換Pの導出(2) • ΦU が対角行列に成ることが目標 • ここで、目標とする対角行列をI(=単位行列）にする 変換には を用いている
11. 11. 線形変換Pの導出(3) • ΦXは固有ベクトルの定義に従って下記に分解できる 固有ベクトルの定義 E・・固有ベクトルを列ベクトルに持つ行列 D・・固有値を対角に並べた対角行列 E−1 AE = D Aが対称行列,エルミート行列の時Eは直交行列
 になることが知られている Φxは対称行列なので、Eは直交行列
12. 12. 線形変換Pの導出(4) PT P = Φ−1 XΦ−1 X = ED−1 ET と を用いて の逆行列を求める Qは任意のPと同じサイズの直交行列 Qの任意性の分だけPは無数に存在 対称行列の逆行列も対称行列
 よって、Pは対称行列なので
 P P^t = P^2 Pt P = ED−1 ET , P2 = ED−1 ET , P = ED−1/2 ET
13. 13. 線形変換Pの例 ・PCA白色化 共分散行列の固有ベクトルを用いる事から
 主成分分析と似ているためこう呼ばれる Q = I ・ZCA白色化 Pが対称行列になっていることから、
 ゼロ位相白色化（ZCA白色化）とよぶ。 Q = E
14. 14. PCA白色化とZCA白色化の違い ・以下はPCA白色化とZCA白色化のPの行ベクトルを画像化し たもの （引用）http://stats.stackexchange.com/questions/117427/what-is-the-difference-between-zca-whitening-and-pca-whitening （ZCA） フィルタ部分とその他の部分の画素の
 差を強調するようになっている
 （オンセンタと呼ばれる） （PCA） 高周波成分を強調するようになっている。 元画像とは全く違う見た目になる。
15. 15. PCA白色化とZCA白色化の違い PCA白色化 ZCA白色化 元画像
16. 16. ディープネットの事前学習
17. 17. 概要 • 勾配消失問題のため多層の順伝搬型ネットワークは学 習が難しい • 順伝搬型ネットワークでは学習開始時の重みはランダム で初期化 • 学習開始時の重みをもっと良い値で初期化してやれば 学習がうまくいく（経験則）
 ＝積層自己符号化器
18. 18. 積層型自己符号化器の構築 W 2 W 3 W 4 この多層順伝播型ネットワークの重みを事前学習する
19. 19. 積層型自己符号化器の構築（２） (1)１層ずつに分割し、それぞれを自己符号化器とみなして 教師なし学習を行う W 2 W 3 W 4 Z 2 Z 3 Z 4 ここで得られる重みW2~4とバイアスb2~4が初期値となる
20. 20. 積層型自己符号化器の構築（３） W 2 in (補足) out この層が次のネットワークの 入力 自己符号化器に分割した状態 W’ 2
21. 21. 積層型自己符号化器の構築（４） (2)学習した重みW2~W4とバイアスb2~b4に初期化した ネットワークを構築する ただし、最後にランダムに初期化した層を1層追加する W 2 W 3 W 4 W 5
22. 22. その他の自己符号化器
23. 23. その他の自己符号化器 • 多層自己符号化器
 これまでの自己符号化器は単層であったが、それを
 多層にしたもの
 勾配消失問題のリスクが伴う
 • デノイジング自己符号化器
 学習に確率的な要素を取り入れ性能を向上したもの
24. 24. 多層自己符号化器 W W’ 単層 W 2 W 3 W’ 3 W’ 2 多層
25. 25. デノイジング自己符号化器 ・ノイズを除去する能力を備えた特徴を得る事が期待できる 
 ・ネットワークの構築方法は全く同じ ・入力と出力（教師）のデータにノイズを加える ・誤差関数を復号化したx’と元のサンプルxの差にする
26. 26. デノイジング自己符号化器 （出力） ・活性化関数が恒等写像なら （誤差関数） ・シグモイド関数なら ˆx(ˆx) = ˆf( ˆWf(W ˆx + b) + ˆb) 二乗誤差 交差エントロピー ||ˆx(ˆx) − x||2 C(ˆx(ˆx), x)
27. 27. ノイズの例 ・ガウシアンノイズ 平均x,分散σ^2のガウス分布に従う値を加算する ・マスク状のノイズ 適当な割合で要素をランダムに選出し,0にする ・ソルト＆ペッパーノイズ 適当な割合で要素をランダムに選出し,上限値or下限値
 どちらかにランダムでする