PRML読書会 #5 資料「線形識別モデル(1)」

機械学習, 読書会, PRML

PRML 4章 線形識別モデル

• ２クラス分類 [4.1.1]
• 多クラス分類 [4.1.2]
• 最小二乗による学習 [4.1.3]
• フィッシャーの線形判別による学習 [4.1.4-6]
• パーセプトロン・アルゴリズムによる学習 [4.1.7]
• おまけ

分類問題

• 入力ベクトル を K 個の離散クラス の１つに割り当てる
  • 入力空間は決定領域 ( decision region ) に分離される
  • 決定面 ( decision surface ):決定領域の境界

線形識別モデル

決定面が superplane

• 線形モデル
  • 入力ベクトル の線形関数(★*1線形方程式?)
  • 
• 一般化線形モデル
  • 非線形な活性化関数(activation function) f によって変換
  • 決定面は superplane
• 非線形モデル
  • 難しい

1-of-K 表記法

分類問題において、目的変数を

• K=2 のとき
  • の場合 t=1
  • の場合 t=0
• K>2 のとき
  • の場合

問題に応じて取り方も工夫 [4.1.5, 4.1.7]

アプローチ [cf. 1.5.4]

• 識別関数 (discriminant function) [4.1]
  • 入力から直接決定関数を学習する
• 確率的識別モデル (discriminative model) [4.3]
  • 事後確率 を求める推論問題を解く
• 確率的生成モデル (generative model) [4.2]
  • クラスの条件付き密度 を決める推論問題を解き、ベイズの定理により事後確率 を求める

4.1 識別関数 (discriminant function)

4.1.1 ２クラス

• : weight vector, supersurface y=0 の法線ベクトル
• : bias parameter
• : threshold parameter

• なら に、 なら に分類
• decision surface は

decision surface までの距離

原点から

r : からdecision surface までの距離

• • : decision surface への直交射影とすると
  • を y に代入

4.1.2 多クラス

K>2 個のクラスへの分類

• １対多分類器
• １対１分類器

１対多分類器

• に入る点と入らない点を分類する２クラス分類器を (K-1)個用意
  • k=1,...K-1, に入らない点を に分類

１対１分類器

, (k=1,...,K)

• 全ての について なら に分類
• decision surface は ( 個)
• decision region は凸領域
  • 領域内の任意の２点を結ぶ線分が 領域に含まれる

多クラス分類器の問題点

• 曖昧な分類領域が存在する
  • １対多も１対１も「２クラス問題の拡張」方式ゆえ
• K個の分類器によるKクラス分類によってそれを解決する
  • 入力 は が最大となる に割り当てる
  • 4.1.3 ではその考え方で分類する
  • Passive Aggressive Algorism での multiclass classification も同様( の値を confidence として用いることができることを示す)

パラメータの学習方法

• 最小二乗 [4.1.3]
• フィッシャーの線形判別 [4.1.4〜6]
• パーセプトロンアルゴリズム [4.1.7]

【→ 4.1.3 へ続く】

ツイートする

Permalink | コメント(0) | トラックバック(2)