Tokyor45 カーネル多変量解析第２章 カーネル多変量解析の仕組み

Transcript

• 1. カーネル多変量解析 第２章  カーネル多変量解析の仕組み 里  洋平（@yokkuns） yokkuns0511@gmail.com 第４５回TokyoR   Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 2. 　カーネルで画像検索 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 3. 　過去のカーネルに関係する発表 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 4. 　過去のカーネルに関係する発表 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 5. 　【参考】カーネル多変量解析 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 6. 　AGENDA Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved Ø 自己紹介 Ø カーネル多変量解析 Ø カーネルによる非線形回帰 Ø 特徴抽出による非線形回帰 Ø 汎化能力の評価とモデル選択
• 7. 　AGENDA Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved Ø 自己紹介 Ø カーネル多変量解析 Ø カーネルによる非線形回帰 Ø 特徴抽出による非線形回帰 Ø 汎化能力の評価とモデル選択
• 8. 　里  洋平（@yokkuns） Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved Ø  やってたこと Ø  Webアプリ開発 Ø  統計解析/データマイニング Ø  マーケティング
• 9. 　TokyoR R言語の東京コミュニティ  Tokyo.R  を主催 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 10. 　著書 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 11. 　AGENDA Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved Ø 自己紹介 Ø カーネル多変量解析 Ø カーネルによる非線形回帰 Ø 特徴抽出による非線形回帰 Ø 汎化能力の評価とモデル選択
• 12. 　線形回帰モデル Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 13. 　線形回帰モデル Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 14. 　直線の関係になっていない場合 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 15. 　線形回帰では無理 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 16. 　線形回帰では無理 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved ×
• 17. 　大きく二つのアプローチ Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved ①  データ同士の「近さ」に着目した方法 ②  データを何らかの関数で非線形変換する方法
• 18. 　大きく二つのアプローチ Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved ①  データ同士の「近さ」に着目した方法 ②  データを何らかの関数で非線形変換する方法
• 19. 　データ同士の”近さ”に注目した考え方 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved x ③ ⑦ ①
• 20. 　データ同士の”近さ”に注目した考え方 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved x ③ ⑦ ① ！？
• 21. 　データ同士の”近さ”に注目した考え方 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved x ③ ⑦ ①
• 22. 　”近さ”の定義の例 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 23. 　”近さ”の定義の例 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved x ③ ⑦ ① ③ ① ⑦
• 24. これがカーネル関数 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 25. 　カーネルを使った回帰モデル Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved x(j)とxの近さ
• 26. 　カーネルを使った線形回帰 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved 入力データ データ同士の 近さ 線形回帰
• 27. 　パラメータの推定方法：最小二乗誤差 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved が最小になるようなパラメータを求める 実測値 モデルで算出した予測値
• 28. 　Rで実行 h<p://nlp.dse.ibaraki.ac.jp/~shinnou/zemi2012/kernel/kernel-­‐sasaki-­‐0413.pdf
• 29. 　そのまま実行すると・・・ Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 30. 　そのまま実行すると・・・ Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved ×
• 31. 　正則化 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved が最小になるようなパラメータを求める 実測値 モデルで算出した予測値 ペナルティ
• 32. 　Rで正則化（λ  =  0.01） h<p://nlp.dse.ibaraki.ac.jp/~shinnou/zemi2012/kernel/kernel-­‐sasaki-­‐0413.pdf
• 33. 　正則化した実行結果（λ  =  0.01） Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 34. 　Rで正則化（λ  =  0,  0.0001,  0.01,  1） h<p://nlp.dse.ibaraki.ac.jp/~shinnou/zemi2012/kernel/kernel-­‐sasaki-­‐0413.pdf
• 35. 　λを変えた時の様子 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved λ  =  0 λ  =  0.0001 λ  =  0.01 λ  =  1
• 36. 　大きく二つのアプローチ Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved ①  データ同士の「近さ」に着目した方法 ②  データを何らかの関数で非線形変換する方法
• 37. Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved 　非線形変換という考え方：例）多項式フィッティング
• 38. 　非線形変換という考え方：例）多項式フィッティング Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 39. 　非線形変換という考え方：例）多項式フィッティング Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 40. 　パラメータの推定方法：最小二乗誤差 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved が最小になるようなパラメータを求める 実測値 モデルで算出した予測値
• 41. 　多項式フィッティングとは結局のところ何か？ Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved 入力データ 特徴ベクトル 線形回帰
• 42. ところで Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 43. 　カーネル関数  =  データ同士の近さ Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved x ③ ⑦ ① ③ ① ⑦
• 44. 　データ（特徴ベクトル）同士の近さ  =  内積 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 45. 　つまり Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved 入力データ データ同士の 近さ 線形回帰
• 46. 　つまり Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved 入力データ 特徴ベクトル データ同士の 近さ＝内積 線形回帰 入力データ データ同士の 近さ 線形回帰
• 47. 　カーネル法がやってることは Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved とある高次元空間 x ③ ⑦ ① カーネル関数 特徴抽出 特徴ベクトル同士の 近さ（＝内積）の計算
• 48. 　カーネル法がやってることは Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved とある高次元空間 x ③ ⑦ ① カーネル関数 特徴抽出 特徴ベクトル同士の 近さ（＝内積）の計算
• 49. これがカーネルトリック Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 50. 　最初の例：ガウスカーネル h<p://nlp.dse.ibaraki.ac.jp/~shinnou/zemi2012/kernel/kernel-­‐sasaki-­‐0413.pdf
• 51. 　多項式カーネル h<p://nlp.dse.ibaraki.ac.jp/~shinnou/zemi2012/kernel/kernel-­‐sasaki-­‐0413.pdf
• 52. 　Rで多項式カーネル h<p://nlp.dse.ibaraki.ac.jp/~shinnou/zemi2012/kernel/kernel-­‐sasaki-­‐0413.pdf
• 53. 　多項式カーネルの実行結果 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
• 54. 　まとめ Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved とある高次元空間 x ③ ⑦ ① カーネル関数 特徴抽出 特徴ベクトル同士の 近さ（＝内積）の計算
• 55. 　AGENDA Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved Ø 自己紹介 Ø カーネル多変量解析 Ø カーネルによる非線形回帰 Ø 特徴抽出による非線形回帰 Ø 汎化能力の評価とモデル選択
• 56. 　参考：サンプル領域外での値 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved 多項式カーネル ガウスカーネル カーネルを使った回帰は、サンプル領域外に弱い サンプル領域外では発散する サンプル領域外では０に近づく
• 57. 　データをモデルを訓練データと検証データに分ける① h<p://www.slideshare.net/sfchaos/ss-­‐33703018
• 58. 　データをモデルを訓練データと検証データに分ける② h<p://www.slideshare.net/sfchaos/ss-­‐33703018
• 59. 　分けて何をするのか h<p://www.slideshare.net/sfchaos/ss-­‐33703018
• 60. 　検証データで成績が良いハイパーパラメータを使う h<p://www.slideshare.net/sfchaos/ss-­‐33703018
• 61. 　AGENDA Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved Ø 自己紹介 Ø カーネル多変量解析 Ø カーネルによる非線形回帰 Ø 特徴抽出による非線形回帰 Ø 汎化能力の評価とモデル選択
• 62. Enjoy!