Scikit learnで学ぶ機械学習入門

Scikit learnで学ぶ機械学習入門

1. 1. Scikit-learnで学ぶ機械学習入門 佐藤貴海 @tkm2261 2014/07/19@機械学習勉強会 機械学習勉強会 1 2014年7月19日
2. 2. 今日の目的 •機械学習の雰囲気感じる –『こいつ・・・動くぞ！』くらい –わかりやすさ>>>厳密性 –理論勉強するのも、威力を知ったあとの方が捗る •深入りはしない –紹介量を優先 機械学習勉強会 2 2014年7月19日
3. 3. 自己紹介 専門：経営工学/最適化 所属：（株）ブレインパッド入社2年目 業務：データ分析全般（何でも屋さん） 機械学習との出会い： ⇒研究が現在実用性皆無の半正定値計画問題 ⇒精神の逃げ道として機械学習を趣味で始める ⇒研究が詰んで、趣味が本職に 趣味で始めたので言語、画像など幅広く遊んでます この前、多摩川のほとりで1人燻製してきました。 機械学習勉強会 3 2014年7月19日
4. 4. Scikit-learnってなに？ •Pythonの機械学習ライブラリ –無料・有料含めて、コレほど充実したライブラリは他にない –ほぼデファクトスタンダード状態（と思っている） 機械学習勉強会 4 2014年7月19日 利点（対R） ・高速 ・省メモリ ・Pythonなので言語基盤がしっかりしている ・検索しやすい 欠点（対R） ・カテゴリカル変数の処理（factor型は無い） ・環境構築が面倒
5. 5. 環境構築 •よくわからない人 ⇒Anacondaを入れましょう Python導入、環境変数設定、Scikit-learn導入、IDE導入全部やってくれます 機械学習勉強会 5 2014年7月19日 http://continuum.io/downloads
6. 6. 環境構築 機械学習勉強会 6 2014年7月19日 •こだわりたい人 •Windowsユーザ ⇒GohlkeのページでMKLビルドのNumpyを入れましょう 保証はないので、自己責任で
7. 7. 環境構築 機械学習勉強会 7 2014年7月19日 •こだわりたい人 •Linuxユーザ 非商用個人ならインテルコンパイラとMKLが無料で使える それ以外は、OpenBLASが高速 インストール方法はGithubにあげました OpenBLASはmultiprocessingとの相性が悪いので要注意 WindowsでOpenBLASは鬼門なのでやめましょう https://software.intel.com/en-us/non-commercial-software-development インストール方法はコチラ https://software.intel.com/en-us/articles/numpyscipy-with-intel-mkl?language=eshttp://gehrcke.de/2014/02/building-numpy-and-scipy-with-intel-compilers-and- intel-mkl-on-a-64-bit-machine/ https://github.com/anaguma2261/setup_python_with_openblas
8. 8. 機械学習勉強会 8 2014年7月19日 脱線：BLASとLAPACK 数値計算をやると裏で必ずお世話になるのがこの２つ Basic Linear Algebra Subprograms （BLAS） -線型代数計算を実行するライブラリの標準仕様 Linear Algebra PACKage（LAPACK） -BLAS上に構築された固有値計算などの高位な線形代数計算ライブラリ 現在様々なBLAS実装が公開されている Intel MKL…MATLABはコレ有償すごく速い・高い・安心！ ATLAS…自動チューンのBLASBSD速い GotoBLAS2…後藤和茂氏作成のBLASBSDかなり速い開発停止 OpenBLAS…xianyi氏によるGotoBLAS2の後継BLASBSDすごく速い (MATLAB, R, Octave, numpy…) 計算が遅い時、４つのどれかの導入すると幸せになれるかも？ ・・・
9. 9. 脱線：BLASの比較 機械学習勉強会 9 2014年7月19日 引用:R BLAS: GotoBLAS2 vsOpenBLASvsMKL (http://blog.felixriedel.com/2012/11/r-blas-gotoblas2-vs-openblas-vs-mkl/) 実行コード A = matrix(rnorm(n*n),n,n) A %*% A solve(A) svd(A) RのデフォルトBLASから何倍早くなったか検証してるサイトがあったので紹介 最大で１１倍ほど高速化 MKLが基本的に一番高速 OpenBLASも所によってはMKLを上回ることも マルチスレッド環境では導入は必須かも
10. 10. 機械学習勉強会 10 2014年7月19日 Scikit-learnの前に機械学習の流れもおさらい 脱線してますが、
11. 11. 機械学習の流れ 機械学習勉強会 11 2014年7月19日 分析対象のデータを集める。趣味でやる場合には、結構重要 最も苦痛を伴う作業。機械学習モデルに渡せる方に整形する カテゴリカル変数のダミー変数化、欠損値穴埋め、変数の作成等 問題に合わせて適当な手法を選択する。 リッジ回帰、SVM、RandomForest、決定木、k-meansなど 手法のハイパーパラメータを選択する。 リッジ回帰の正則化項、決定木の木の深さなど 尤度最大化などで学習。Scikit-learnがやってくれるので割愛 問題に合わせて適当な評価尺度を選択する。 精度、F値、平均二乗誤差、AUCなど ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功！ 手法を 変える パラメタを 変える
12. 12. データを集めて・前処理する 機械学習勉強会 12 2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功！ 手法を 変える パラメタを 変える 趣味でやると、手法は知ってても、 データが無いことが多数 いくつか、データのある場所を紹介 ◆練習用データ ・Kagglehttps://www.kaggle.com/ ・UCI Machine Learning Repository http://archive.ics.uci.edu/ml/ ◆テキストデータ（日本語） ・２ｃｈ ・TwitterStreamingAPI ・Wikipediaダンプデータ ・青空文庫 前処理はひたすら頑張って下さい。 ここでどんな変数を作るかで、かなり（一番？）利きます Scikit-learnやpandasに便利関数アリ
13. 13. パラメータの探索 機械学習勉強会 13 2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ④モデル評価 精度 は十分か ④モデル学習 NO YES 成功！ 手法を 変える パラメタを 変える この一連の流れ （良いパラメータの発見）を効率良く行う方法が 交差検定（Cross-validation ） グリッドサーチ どちらもscikit-learnにあります
14. 14. 交差検定(k-fold cross validation ) 機械学習勉強会 14 2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功！ 手法を 変える パラメタを 変える 学習と評価には、学習データと検証データが必要 ただし、別々に用意すると・・・ ・検証データを学習に全く使えない ・検証データが偶然良い（悪い）可能性 交差検定をしよう！
15. 15. 交差検定(k-fold cross validation ) 機械学習勉強会 15 2014年7月19日 5-fold cross validation のイメージ（レコードは最初にランダムに並べ替え済みとする） テスト用のレコードセット 学習用のレコードセット 学習と精度評価をｋ回繰り返し、平均値を精度の推定値とする手法 ・検証データを学習に全く使えない ｋ－１回は学習に使用 ・検証データが偶然良い（悪い）可能性 ｋ回評価で偶然性を極力排除
16. 16. グリッドサーチ（気合） 機械学習勉強会 16 2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功！ 手法を 変える パラメタを 変える 良いパラメータって どうやって見つけるの？ グリッドサーチ（気合）です。
17. 17. グリッドサーチ 機械学習勉強会17 2014年7月19日 探索するパラメータの範囲を決めて、適当な間隔で切る。（指数の肩で切ることが多い） あとは切ったパラメータを総当りで検証して、最も良いパラメータを見つける パラメータ２つの例、この場合は81回学習と検証をする必要 さらに細かく学習したいときは、指数の底を小さい値にする 引用： http://xargs.hateblo.jp/entry/2014/02/09/005058
18. 18. パラメータの探索 機械学習勉強会 18 2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功！ 手法を 変える パラメタを 変える グリッドサーチ 交差検定 学習と評価 まとめると、こんな感じ
19. 19. パラメータの探索 機械学習勉強会 19 2014年7月19日 先ほどのパラメータ（81種）を10-fold 交差検定すると 810回学習と検証が必要
20. 20. パラメータの探索 機械学習勉強会 20 2014年7月19日 先ほどのパラメータ（81種）を10-fold 交差検定すると 810回学習と検証が必要 Q：解けるの？
21. 21. パラメータの探索 機械学習勉強会 21 2014年7月19日 先ほどのパラメータ（81種）を10-fold 交差検定すると 810回学習と検証が必要 Q：解けるの？ A：気合です
22. 22. パラメータの探索 機械学習勉強会 22 2014年7月19日 先ほどのパラメータ（81種）を10-fold 交差検定すると 810回学習と検証が必要 Q：本当に解けるの？
23. 23. パラメータの探索 機械学習勉強会 23 2014年7月19日 先ほどのパラメータ（81種）を10-fold 交差検定すると 810回学習と検証が必要 Q：本当に解けるの？ A：完全並列出来る計算なので 810台サーバがあれば 最近のGoogleは真顔でこのぐらい言ってきます
24. 24. パラメータの探索 機械学習勉強会 24 2014年7月19日 先ほどのパラメータ（81種）を10-fold 交差検定すると 810回学習と検証が必要 Q：クラスタ組めない
25. 25. パラメータの探索 機械学習勉強会 25 2014年7月19日 先ほどのパラメータ（81種）を10-fold 交差検定すると 810回学習と検証が必要 Q：クラスタ組めない A：弊社のを買って下さい
26. 26. パラメータの探索 機械学習勉強会 26 2014年7月19日 先ほどのパラメータ（81種）を10-fold 交差検定すると 810回学習と検証が必要 Q：クラスタ組めない A：弊社のを買って下さい 最近はクラウド上の機械学習も有ります。 http://jp.techcrunch.com/2014/06/17/20140616microsoft-announces-azure-ml- cloud-based-machine-learning-platform-that-can-predict-future-events/
27. 27. 機械学習勉強会 27 2014年7月19日 これで、今日からデータサイエンティスト
28. 28. ・・・とは行かない 機械学習勉強会 28 2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功！ 手法を 変える パラメタを 変える 適切な手法の選択が 機械学習で最も重要かつ難しい問題
29. 29. 適切な手法の選択 機械学習勉強会 29 2014年7月19日 Q：常に最適な手法ってあるの？ A：ありません Q：どうやったら最適な手法を選べるの？ A：機械学習を体系的に学び、 経験を積んで、更に運が必要 Q：詰んでない？ A：なんとかするのが、今日の議題
30. 30. 現状ベストアンサー：scikit-learnに任せる 機械学習勉強会 30 2014年7月19日 『Scikit-learnにできる事』≒『自分にできること』 これで最近は問題が無いことが多い http://scikit-learn.org/stable/tutorial/machine_learning_map/index.html
31. 31. 実装の雰囲気 機械学習勉強会 31 2014年7月19日 importnumpy fromsklearn.cross_validationimportcross_val_score #使いたい手法をインポート fromsklearn.hogehogeimportsome_machine_learning_method for パラメータin (グリッドサーチの探索範囲)： #手法のインスタンスを生成 model =some_machine_learning_method(パラメータ) #お手軽交差検定 cv_scores=cross_val_score(model, 説明変数, 目的変数） #交差検定の各学習のスコア平均値を計算 score =numpy.mean(cv_scores) これでScikit-learnの大体の手法は、これで使えるはず リッジ回帰の例をGithubにあげました https://github.com/anaguma2261/scikit-learn-sample/blob/master/ridge_regression.py
32. 32. 手法の種類 •Classification（分類） –ラベルをデータで学習して、ラベルを予測 •Regression（回帰） –実数値をデータで学習して、実数値を予測 •Clustering（クラスタリング） –データを似ているもの同士を集めて、データの構造を発見 •DimensionalReduction（次元削減） –データの次元を削減して、よりメタな要因を発見 （主成分分析は次元削減のひとつ） –削減した次元をデータにして他の手法を行う （次元の呪い回避） 機械学習勉強会 32 2014年7月19日
33. 33. Classification（分類） •SVM （SVC, LinearSVC） –利点 •汎化性能が高く、少量のデータでもうまく学習出来る事がある •カーネルの組み合わせで様々データに対応できる –欠点 •カーネル入れると遅い •関数によっては、予測確率で出力できない •K-近傍法（NearestNeighbors） –利点 •単純な割に精度が高い –欠点 •予測時にもメモリに学習データを格納する必要がある •ランダムフォレスト（RandomForestClassifier） –利点 •精度が高いことが多い •並列計算しやすい •過学習や、変数のスケールを考えずに、全て変数を入れて学習できる –欠点 •ランダムフォレスト信者になりやすい 機械学習勉強会 33 2014年7月19日
34. 34. Classification（分類） •確率的勾配法による学習（SGDClassifier） –これは手法でなく学習方法 –データが大きい時に、データを一部づつを見て 学習の計算をサボって高速化 –オプションで、SVMやロジスティック回帰が選択可能 機械学習勉強会 34 2014年7月19日
35. 35. Regression（回帰） 機械学習勉強会 35 2014年7月19日 •重回帰（LinearRegression） –利点・・・速い（パラメータ無し） –欠点・・・Scikit-learnにstepwise法が無いので、使いにくい •リッジ回帰（Ridge） –利点・・・ラッソより速い、多重線形性の影響を受けにくい –欠点・・・ラッソに比べて、変数選択力が弱い •ラッソ回帰（Lasso） –利点・・・少ない変数でモデルを作ってくれる –欠点・・・リッジよりは遅い、使わない変数があることを仮定している •SVR（SVR） –利点・・・カーネルで非線形性を取り込める –欠点・・・カーネルを入れると遅い •ランダムフォレスト（RandomForestRegressor） –Classificationを参照回帰では予測値が離散になる欠点がある
36. 36. Clustering（クラスタリング） •K-means法（KMeans） –利点・・・速いMiniBatchKMeansは計算をサボってるので更に速い –欠点・・・クラスタ数を最初に与えないといけない •階層的クラスタリング（AgglomerativeClustering） 最近実装されたので表には無い –利点・・・クラスタ数を後から色々変えられる –欠点・・・遅い、大きいデータは階層が表示出来ないことも •混合ガウス分布（GMM） –利点・・・各クラスタの所属確率が出る。 –欠点・・・正規分布を仮定する •MeanShift（MeanShift） –使用経験がないのでノーコメント誰か教えて下さい 機械学習勉強会 36 2014年7月19日
37. 37. DimensionalReduction（次元削減） 機械学習勉強会 37 2014年7月19日 Scikit-learnのフローチャートに語れる手法があまりなかったので、私がよく使う手法を紹介 •主成分分析（PCA） –利点・・・速い疎行列も扱える –欠点・・・裏で正規分布を仮定 •非負値行列因子分解（NMF） –利点・・・要因の引き算を許さないことでより特徴を抽出できる事もある –欠点・・・非負行列限定 その他、LDAやDeep Learningなどなども