Pythonで動かして学ぶ機械学習入門_予測モデルを作ってみよう

1. 機密 Pythonで動かして学ぶ機械学習入門第1回 :予測モデルを作ってみよう 2016/9/9 堅田@白ヤギコーポレーション

2. 機密 Copyright Shiroyagi Corporation. All rights reserved. 自己紹介堅田　洋資 (データサイエンティスト＠白ヤギコーポレーション ) 日本では数少ない米国大学のデータサイエンス修士号を保有。白ヤギコーポレーションにて、社内のデータはもちろんクライアントのデータ分析を支援するコンサルタントとして活躍。これまで機械学習を用いたレコメンデーション、アプリユーザーの行動分析や機械学習を用いたプッシュ通知の最適化、交通系IoTのデータ分析などを担当。白ヤギコーポレーション参画前は、監査法人トーマツにてデータ分析コンサルタント、生体センサスタートアップでサービス・アルゴリズム開発の取締役、KPMG FAS にて事業再生コンサルタント、外資系メーカーでの経理・マーケティングなど幅広い経験を持つ。学歴 ● University of San Francisco, M.S. in Analytics修了 ● 一橋大学商学部卒業（統計学・データサイエンス専攻）メディア実績 • 日経ビッグデータWeb版パートナーレポート「成功するアナリティクス案件の選択とは http://business.nikkeibp.co.jp/article/bigdata/20141021/272866/ • SELECK 「数値からユーザー行動を読み解く！　データ可視化のカギは、TableauとRの使い分け」 https://seleck.cc/article/286 • SELECK 「ビッグデータ分析を競い合え！世界中のデータサイエンティストが集う「Kaggle」とは」 https://seleck.cc/article/313 セミナー・トレーニンング • 日経ビッグデータカンファレンス「世界最大級分析モデルコンペ　Kaggleの最新動向」 • デブサミ2016 「人間と機械学習のはざま: どこまで機械に任せるのか」 • 大手コンサルティングファーム様社内トレーニング「SQLを使ったデータ分析セミナー」 • 「文系ビジネスパーソンのための統計学入門講座」　など

3. 機密 Copyright Shiroyagi Corporation. All rights reserved. 講義を始める前に・・・ $pip install ipython $pip install jupyter $pip install numpy $pip install scipy $pip install pandas $pip install scikit-learn $pip install matplotlib 必要なライブラリは入っていますか？入っていなければ、以下のコマンドで入れてください。

5. 機密 Copyright Shiroyagi Corporation. All rights reserved. 不動産仲介企業の新サービスを立ち上げろ！ • あなたは不動産仲介会社のデータサイエンティストです • 商品企画部長から新サービスとしてユーザーが販売物件のスペックを入力すると予想成約価格が出力される自動査定サービスを検討しており、背後のアルゴリズムを検討してほしいと相談されました • あなたならどうやってアプローチしますか？

10. 機密 Copyright Shiroyagi Corporation. All rights reserved. ビジネスゴールから分析のゴールへの翻訳ここでのビジネスゴールは？ - 自動査定システムを通じた物件売却の相談件数では、分析に求められる要件は？ - できるだけわかりやすく・少ない入力（入力しやすい）項目で - 精度の高い予測を行う - レスポンスまでの時間は短く（瞬時に） - 週に1回モデルの更新などなど

12. 機密 Copyright Shiroyagi Corporation. All rights reserved. 講義ではできませんが・・・データの準備はとても重要多くの場合、データセットは自分で作る必要があります。どんなデータを用意するかはあなたの想像力・観察眼・仮説力にかかっています。原因になりそうな変数1 原因になりそうな変数2 原因になりそうな変数N ・・・住宅価格なにかしらの関係性（関数）どんな要因で住宅価格を説明できそうですか？

17. 機密 Copyright Shiroyagi Corporation. All rights reserved. 必要なライブラリをインポート %matplotlib inline #グラフをインラインで表示させる import pandas as pd import numpy as np import matplotlib import matplotlib.pyplot as plt matplotlib.style.use('ggplot') # ggplot風のグラフ形式まずは必要なライブラリをインポート & スタイルなどを指定しますちなみに最初の”%matplotlib inline”がないとグラフがインラインで表示されません。

19. 機密 Copyright Shiroyagi Corporation. All rights reserved. （参考）データベースからデータを抽出する import pandas as pd import pandas.io.sql as psql import pymysql con = pymysql.connect(host='XXX’, port=3306, user='user_id', passwd='user_pass', db='test', charset='utf8', use_unicode='true') sql = “SELECT * FROM test_table” data = psql.read_sql(con, sql) MySQLであればpymysqlライブラリ（PostgreSQLであればpsycopg2ライブラリ）と pandas.io.sqlを使えば、データベースからSQLを使ってデータを抽出することもできます。

21. 機密 Copyright Shiroyagi Corporation. All rights reserved. 各カラムの定義カラム名定義 id いわゆるID date 販売日 price 価格($) bedrooms ベッドルームの数 bathrooms バスルームの数 sqft_living リビングルームの広さ sqft_lot 駐車場の広さ floors 階数 waterfront ウォーターフロントか (0,1) view ビューの種類(0,1,2,3,4) condition 状態（1,2,3,4,5) grade グレード(1~13) カラム名定義 sqft_above 地上階の広さ sqft_basement 地下の広さ yr_built 建築年 yr_renovated リノベーションの年 zipcode 郵便番号 lat 緯度 long 経度 sqft_living15 近所15件の平均のリビングの広さ sqft_lot15 近所15件の駐車場の広さ

26. 機密 Copyright Shiroyagi Corporation. All rights reserved. 欠損のチェックは少し面倒くさいが、それでも簡単なほう col_names = dataset.columns for col_name in col_names: missing_num = sum(pd.isnull(dataset[col_name])) print col_name, "; # of missing record: ", missing_num missing_check = dataset.copy() missing_check = missing_check.apply(pd.isnull, axis = 1) missing_check.apply(sum, axis = 0)

27. 機密 Copyright Shiroyagi Corporation. All rights reserved. 欠損値への対応 #0で補完 dataset.fillna(0, inplace = True) #平均で補完 dataset.fillna(dataset.mean(), inplace = True) #中央値で補完 dataset.fillna(dataset.median(), inplace = True) 補完する dataset.dropna(inplace = True) 欠損があるレコードを削除する

29. 機密 Copyright Shiroyagi Corporation. All rights reserved. 「特徴量」とは？？人によっては ● 特徴量 ● 素性 ● 変数、説明変数 ● フィーチャー ● カラム（いう人いるかな） ● パラメーター（いままでひとりだけ）と呼びます。要は、「説明したい変数」（これも人によって、被説明変数、ターゲット変数など呼ばれます）を説明するための要因です。

30. 機密 Copyright Shiroyagi Corporation. All rights reserved. 精度の高いモデルを作るためには特徴量作成は必須！集めたデータをそのまま使って、高い精度を達成できるモデルを作れることは稀よって当初集めたデータにある特徴量を組み合わせて、新しい特徴量を作っていく、これを Feature Engineeringと呼びます。例) 近所の物件と比較した相対的リビング広さ度 = sqft_living / sqft_living15 みなさん、他にはどんな特徴量を作りたいですか？

31. 機密 Copyright Shiroyagi Corporation. All rights reserved. いよいよモデリング改めて今回の目的は「住宅のスペックから予想成約価格を出力する」モデルを作る機械学習の種類 ● 教師あり学習 ○ 回帰問題(Regression)（ターゲット変数が連続数値） ○ 分類問題(Classification)（ターゲット変数がフラグ/ラベル） ● 教師なし学習

33. 機密 Copyright Shiroyagi Corporation. All rights reserved. 教師あり機械学習のアルゴリズムで最低限抑えるべきポイント ● どんなターゲット変数がとれるか？ ○ 連続値？ ○ フラグ？ ● 目的関数: 何を最小化/最大化させるのか？ ● 関数の形は何か？ ● パラメータは何か？その役割は？ ● 解釈可能性(interpretability)は？ ● 予測可能性(Predictability)は？特徴量1 特徴量M ・・・ターゲット変数関数

35. 機密 Copyright Shiroyagi Corporation. All rights reserved. 小うるさいこと言うと統計モデルとしての回帰分析の前提条件 • 誤差が平均0の正規分布に従う • 誤差の分散が均一 • 誤差に系列相関がないこれらの前提条件が満たされない場合は、回帰分析の推定結果は信頼できない • 残差が平均0の正規分布に従う • 残差の分散が均一 • 残差に系列相関がない

36. 機密 Copyright Shiroyagi Corporation. All rights reserved. 回帰木・・・の前に決定木とは × × × × × × × × × × 直近の購入金額　　　　　　前月の訪問数あなたは会員制ECサービスのデータアナリストです。今、前月の訪問数と直近の購入金額から当月の解約したか（解約=1,継続=0)のデータがあります。このデータから来月以降の解約を予測するモデルを作りたいと考えています ID 前月の訪問数直近の購入金額当月の解約 A9542K 15 2,000 0 G4344H 1 0 1 Y4352U 5 980 0 N4205J 11 1,200 0 ・・・・・・・・・・・・・・・・ C4325P 32 0 0

42. 機密 Copyright Shiroyagi Corporation. All rights reserved. ランダムフォレスト ID 購入性別年齢 … 3 あり女性 31 … 6 なし男性 24 … : : : : ID 購入性別年齢 … 1 あり男性 35 … 2 なし男性 28 … 5 なし女性 42 … 5 なし女性 42 … ：：：：ランダムフォレストとは機械学習のアルゴリズムの一つであり、複数の決定木を用いて予測を行う ID 購入性別年齢 … 1 あり男性 35 … 2 なし男性 28 … 3 なし女性 31 … 4 あり男性 26 … 5 なし女性 42 … 6 なし男性 24 … : : : : : : : : : : : : OOB(Out-of-bag) 列もサンプリング重複を許してサンプリング学習データサンプリングされなかったデータ決定木を生成この一連の流れを繰り返し、多くの決定木を生成、つまり木がたくさんある=森を作る

43. 機密 Copyright Shiroyagi Corporation. All rights reserved. ランダムフォレスト … ID 購入性別年齢 … 101 ? 男性 42 102 ? 女性 36 103 ? 女性 27 : ：：：　あり　　　あり　　　なし　　　　　　　あり　　　なし　　　あり多数決でID.101は「購入あり」と予測様々なルールを持つ決定木を用いて、それぞれで予測を行う生成した決定木入力すると回帰の場合は各回帰木の出力の平均が予測結果となる

49. 機密 Copyright Shiroyagi Corporation. All rights reserved. パラメータのチューニングの方法 ● グリッドサーチ ○ 与えたパラメーターの候補を総当たりで検証する例:　ランダムフォレスト ● 木の数 ○ 10 ○ 50 ○ 100 ● 最大の木の深さ ○ 5 ○ 10 ○ 20 木の数最大の木の深さ 10 5 50 5 100 5 10 10 50 10 100 10 10 20 50 20 100 20

51. 機密 Copyright Shiroyagi Corporation. All rights reserved. モデルの精度をどのように評価するか？モデルの評価指標はいろいろある。しかし、どの評価指標を使えば良いか？この質問の答えるには、そもそもの分析のゴールにたち戻る必要がある。まずターゲット変数が連続値かフラグかによって異なる。 ● 連続値の場合 ○ RMSE, MSE, MAE... ● フラグ ○ Accuracy , Precision, Recall, F-score...

53. 機密 Copyright Shiroyagi Corporation. All rights reserved. 実際にやってみましょう必要なライブラリをインポートしてください。 from sklearn.linear_model import LinearRegression #線形回帰モデル from sklearn.tree import DecisionTreeRegressor # 回帰木 from sklearn.ensemble import RandomForestRegressor #ランダムフォレスト from sklearn.grid_search import GridSearchCV #グリッドサーチ from sklearn.cross_validation import train_test_split #学習データとテストデータ分割 from sklearn.metrics import mean_squared_error　#評価指標: MSE

Pythonで動かして学ぶ機械学習入門_予測モデルを作ってみよう

洋資 堅田

Pythonで動かして学ぶ機械学習入門_予測モデルを作ってみよう

洋資堅田