PRML読書会 #5 資料「線形識別モデル(3)」

機械学習, 読書会, PRML

4.1.7 パーセプトロンアルゴリズム

• 参照
  • [3.1.3] 逐次学習
  • [5.2.4] 勾配降下最適化
  • ★Perceptron を手で計算して理解してみる
  • ★コンピュータはオー・ヘンリーとエドガー・アラン・ポーの文章を見分けられるか？ (Ruby実装)

• 線形モデル において、
  • φは特徴ベクトル、 (bias)
  • 目的変数: t ∈ {-1, +1}
  • なら +1(positive), < 0 なら -1(negative) に分類
• ここで が正の時は正解、負の時は誤分類を示す

• 誤差関数 : 誤分類された n
  • 確率的最急降下アルゴリズム[3.1.3]で これを最小化
• • : 学習率パラメータ。w を定数倍しても符号は不変ゆえ、 としてよい
• w は decision surface の法線ベクトル。これに誤分類した入力ベクトルを加える(あるいは引く)という動作になる

パーセプトロンの収束定理

「厳密解が存在する場合は」

「有限回」の繰り返しで解に収束する

問題点：

• 収束に必要な繰り返し回数が非常に多い
• 初期値やデータの提示順によって様々な解に収束してしまう(★解の最適性を評価していない)
• K>2 への一般化が容易ではない(値の正負しか意味を持たないため)

Passive Aggresive Algorism *1

• margin が閾値 1 を下回っていたら、正解であっても補正する(aggressive)
• 累積二乗損失(cumulative squared loss)の最大値が想定可能であることを示す
• １次＆２次の正則項を導入できる(PA1 & PA2)
  • ★ Ruby 実装
• Cost-Sensitive Multiclass Classification に応用
  • ★そのうち試してみるつもり

Confidence-Weighted*2

• が に従うとして、 を逐次学習するアルゴリズム
  • ★結構泥臭い計算＆泥臭い結果なのに、性能がいいというのがおもしろい
• 収束が早い。繰り返し無しでも十分な精度
  • ★と書いてあるが、岡野原さんの oll＋手元のデータで試した限りでは、１回では精度がでなかった

ツイートする

Permalink | コメント(0) | トラックバック(3)