2009-08-06 E-Mobile届いた。お外でネットができるのは1年ぶり
PRML読書会 #5 資料「線形識別モデル(2)」
これは パターン認識と機械学習(PRML)読書会 #5 (4章 線形識別モデル) での発表用の資料「4.1.3 最小二乗」〜「4.1.6 多クラスにおけるフィッシャー判別」です。
まとめメインで、細かい計算やサンプルは板書する予定です。
【更新】読書会での指摘を反映。
【更新】読書会での指摘を反映。
4.1.3 最小二乗
学習データ から
二乗和誤差関数(sum-of-squares error function)を最小にする
weight vector(matrix) を求める。
- 最小二乗の解は、条件付き期待値の近似を与える [cf. 1.5.5]
- (★*1, t=1 が に対応するような)2値表記法では、クラス事後確率に一致
- 近似精度が悪い。[0, 1] の範囲外になることも。
クラスごとの線型モデル
- K クラス分類における、各クラス の線型モデル
- ,
- が最大となる に割り当てる
- ひとまとめにして
- (D+1)×K 行列 ,
- ,
二乗和誤差関数(sum-of-squares error function)
これを最小化する は
-
- : pseudo-inverse matrix
計算とサンプルは板書で。
演習 4.2
が線形制約 を満たす場合、
について を満たすことがある
- 二乗和誤差の式からバイアス項 を分離&最小化、と異なる方法で W を推定しなおす
- このとき任意の x に対し y(x) の要素の和が1になる
- しかし各 y_k が [0, 1] に収まることは言っていないので、確率と解釈するには足りない
細かいところは読書会にて
最小二乗法の問題点
4.1.4 フィッシャーの線形判別(Fisher's linear discriminant)
クラス平均間の分離度を大きく、各クラス内の分散を小さくする射影による判別
クラス平均間の分離度を最大化
- クラス平均間の分離度:
- これを最大にする
- 非対角な共分散が強い場合にうまくいかない
クラス平均間の分離度を最大化し、クラス内分散を最小化
フィッシャーの判別基準=(クラス間分散)/(クラス内分散)
-
- 射影されたデータのクラス内分散:
- between-class covariance matrix:
- within-class covariance matrix:
- これを最大にする
4.1.5 (フィッシャー判別と)最小二乗との関連
フィッシャー判別は最小二乗の特殊な場合と一致する
- のとき x を に、
- のとき x を に分類
sum-of-squares error function の
における導関数を 0 とおくことで、E を最小にする を求めると
- これより
4.1.6 多クラスにおけるフィッシャー判別*2
K>2 への一般化 (K < D)
- により D' 次元への射影を考える(★一般に K < D' < D)
- within-class covariance matrix:
- 総共分散行列
- 総共分散行列は と between-class covariance matrix の和に分解できる(★ほんと?)
- ∴
多クラスフィッシャー続き
クラス間共分散が大きく、クラス内共分散が小さい場合に大きくなるスカラー