データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016

データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016

1. 1. データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 Cloudera World Tokyo 2016 2016/11/08 中山ところてん Emotion Intelligence株式会社
2. 2. お前誰よ  @tokoroten  http://twitter.com/tokoroten  Emotion Intelligence株式会社  http://emin.co.jp/  http://www.zenclerk.com/  高機能雑用  現職：ECデータ分析、新規開発、営業  昔：半導体計測器屋、ゲームディレクター、セキュ リティ
3. 3. 目次  データ分析グループの組織編制とその課題  データ分析グループの仕事の範囲  データ分析グループの組成失敗例  データ分析グループを正しく運用するには  マーケティングにおけるKPI設計の失敗  デジタルマーケティングにおけるKPI偏重の問題  ABテストによるリフト計測  ABテストから機械学習へのシームレスな移行  ABテストの向こう側へ、マーケティングオートメーション  マーケティングオートメーションの悲哀  機械学習の投入と、その限界  アップリフトモデリング
4. 4. 目次  データ分析グループの組織編制とその課題  データ分析グループの仕事の範囲  データ分析グループの組成失敗例  データ分析グループを正しく運用するには  マーケティングにおけるKPI設計の失敗  デジタルマーケティングにおけるKPI偏重の問題  ABテストによるリフト計測  ABテストから機械学習へのシームレスな移行  ABテストの向こう側へ、マーケティングオートメーション  マーケティングオートメーションの悲哀  機械学習の投入と、その限界  アップリフトモデリング
5. 5. データ分析の流れ  データ分析グループは、アプリ運用で生まれたログ データを解析、改善活動を行っていくことでビジネス に生かす  必然的にカバー範囲は、研究からアプリ運用 研究 開発 システム 運用 アプリ 運用 営業活動 ログ データ データ分析グループ
6. 6. データ分析に必要な人材 データサイエンティスト協会 データサイエンティストのスキルセット http://www.datascientist.or.jp/news/2014/pdf/1210.pdf
7. 7. データ分析グループはチーム戦  研究開発から運用までを一気通貫で行う  チーム内に「ビジネス」「サイエンス」「エンジニ アリング」の能力を全部持つ必要がある  一人で全部をカバーする必要はない、複数人でカ バー  データ分析チームが失敗する条件  チーム内の能力の欠如（Biz、Sci、Eng）  チームに与えられた業務範囲が限定的  業務範囲についての、経営者・開発ラインからの無 理解
8. 8. データ分析グループの組成失敗例①  大企業はプロセスごとに会社が切れている  会社の壁を超えてログデータを手に入れることが困難  しかし、会社からは「データ分析しろ」という命令が …  仕方ないので、他社と「共同研究」という形でお茶を 研究 開発 システム 運用 アプリ 運用 営業活動 研究所 事業会社 孫会社 孫会社 代理店 ログ データ データが無いのに 分析しろって言われても…
9. 9. データ分析グループの組成失敗例②  データサイエンティスト＝高学歴、研究者 で採用  雇ったら、研究的な仕事しかしたがらない  難しい問題を、難しく解きたがる  研究における価値と、ビジネスにおける価値の混同  ビジネスは「難しい問題を、簡単に解く」ことに価値がある  売り上げに繋がらない 研究 開発 システム 運用 アプリ 運用 営業活動 ログ データ データ分析 グループ やったー 面白いデータだ！！ あいつら、現場に何も還元し ないで、好きなことばっかり やりやがって……
10. 10. データ分析グループの組成失敗例③  現場を改善するためにアナリストを雇う  研究系とアナリスト系で、データ分析グループが空中 分解 グループが二つに割れる  双方が「あいつらは仕事をしていない」と言い合って対立  現場の改善と、研究で、サービスのコアの開発に入っ ていかないので、サービスが進歩しない  グループ内での業務範囲の共有の失敗が原因 研究 開発 システム 運用 アプリ 運用 営業活動 データ分析 グループ① データ分析 グループ② 好きなことばっかり やりやがって…… 好きなことばっかり やりやがって……
11. 11. データ分析グループの組成失敗例④  データ分析グループは、スキルセット的に広範囲をカバー  エンジニアと営業の間に落ちた問題を拾うことが増える  SQL叩いてExcelで集計するだけの簡単なお仕事  同僚から感謝されるため、ついやってしまうが、 本質的な価値を生む仕事ができない 研究 開発 システム 運用 アプリ 運用 営業活動 エンジニア、DevOps データ分析 グループ 営業 グループ バグ見つけてくれて 助かるわー お客さんからの依頼で、 データ出力してくれ
12. 12. データ分析グループの組成失敗例⑤  データ分析グループが本来の領分で仕事をしようとすると、 エンジニアの領分と重複  言語や品質の面でエンジニアと対立  いくら分析をしても、本番に導入することができない  ともすると、企画の領分とも衝突、企画にデータ分析に対 する理解が無いと頓挫する 研究 開発 システム 運用 アプリ 運用 営業活動 データ分析グループ エンジニア、DevOps PythonやRはメンテできないから無理 データ分析のコードは品質が悪い
13. 13. データ分析グループの組成失敗例⑥  データ分析インフラに対する投資をしないで、人だけ 雇う  データ分析以外のところに多大な工数がかかる状態  データレイク（データ蓄積基盤＋データ処理基盤）の不在  Hadoopやredshift等のインフラに適切に投資する必要 研究 開発 システム 運用 アプリ 運用 営業活動 データ分析グループ ログ データ え、本番サーバにログインして、 ログファイル拾ってくるんですか… うわ、手元のPCだと、 処理に50時間かかる……
14. 14. データ分析グループの組成失敗例⑦  インフラ投資をしてデータだけ貯める  データ分析＝ビッグデータ＝データ蓄積の箱 という勘違い  数年前は「面白いデータがある会社にデータ分析者が集まる」と いう時代だったので、これは正解だった  いまはデータ＋データ分析基盤の両方が無いと人が集まらない  データ分析者がいないため、ログ設計がグチャグチャ  あとから分析者が入っても使いものにならないケースが多い 研究 開発 システム 運用 アプリ 運用 営業活動 よくわからんけど、お偉方がログをサーバに 貯めろっていうから仕方なく入れるか
15. 15. 何が問題なのか？  データ分析グループは近年できた新しい組織形 態  その運用方法を知っている人が少ない  データ分析者当人も知らないことが多い  だから、研究者とアナリストで空中分解  気付くと、SQL叩いてExcelで集計する仕事になってしまう  データ分析グループとは何か？  研究からアプリ運用までを一気通貫でPDCA  他の職種の領域と重複する  膨大なデータを取り扱うためのシステム投資が必要
16. 16. データ分析グループを正しく運用するには  エグゼクティブのサポートが必要  カバー範囲の明確化  会社として、データ分析グループのカバー範囲を明確にし、周知する  データ分析者自身にも、この範囲を意識させる  チームとして、カバー範囲を満たせるように人材を集める  システム面のサポート  データへの自由なアクセス、データの一元化  ログ収集インフラ、データ分析インフラの構築  データ分析者の書いたコードが、サービスに影響を与えないようにアー キテクチャを設計  会社として十分なお膳立てがなければ、ワークしない  データ分析は空軍みたいなモノ。パイロットだけでは機能しない  航空機だけでも機能しない、地上設備も必須
17. 17. 目次  データ分析グループの組織編制とその課題  データ分析グループの仕事の範囲  データ分析グループの組成失敗例  データ分析グループを正しく運用するには  マーケティングにおけるKPI設計の失敗  デジタルマーケティングにおけるKPI偏重の問題  ABテストによるリフト計測  ABテストから機械学習へのシームレスな移行  ABテストの向こう側へ、マーケティングオートメーション  マーケティングオートメーションの悲哀  機械学習の投入と、その限界  アップリフトモデリング
18. 18. 計測できないものは改善出来ない  デジタルマーケティングはKPIだらけ  CPA、CTR、CVR、ROAS、……  KPIを基準とした改善  より反応率の高いクリエイティブを  より反応率の高いセグメントを  より……  KPIを重視した改善を行うあまり、失敗するケースが 多い  KPIの本質を考えないで、数値だけによる改善が行われて いる
19. 19. 改善の過程で忘れられているモノ①  限界効用逓減の法則  投入したコストに対して、得られる効用は次第に 減って行く  10万円投入したときの1,000人獲得できても、 1000万円投入したときには10,000人だったり… … 効用 コスト
20. 20. なぜABテストをするのか？  費用対効果が高いクリエイティブを探し、 より良いものに対して大規模出稿するため  費用対効果がリニアな世界のデータを元に、 大規模投資を行おうとして爆死する  費用対効果がリニアで点線の世界であるという勘違 効用 コスト
21. 21. 改善の過程で忘れられているモノ②  KPIの改善は売上の改善に結びついているのか？  デジタルマーケティングは施策が複雑なので、 KPIがいつの間にか売上とリンクしなくなっている  ECでの例  純広告で広く流したら、反応率がものすごく悪かった  カート落ちしたユーザにリタゲ広告打ったら反応率がと ても良かった  現実の小売店に置き換えて考えてみる  折り込みチラシを出したら、反応率が悪かった  レジに並んでいる人に広告を渡したら、反応率が良かっ た
22. 22. KPIを重視した結果
23. 23. デジマケの現場で何が起こっているの か  過剰な単純化  CPAやROASというKPIは、施策やセグメントが異 なっても、共通で評価できる  複雑な商材も、CPAやROASをベースに比較可能  自分が理解不可能なものもKPIベースで判断可能に  KPIをベースに意思決定、業績評価を行えばよい  分かりやすさ重視  施策が複雑すぎるので、直接計測可能なものだけ信 頼  計算によって間接的に算出される数値は信頼できな い
24. 24. よくある話 書籍：ヤバい予測学 334p http://scientificmarketer.com/2007/02/response_16.html
25. 25. 何を間違えているのか？ 施策無し 施策あり ココは計測可能 計測できない ことが多い 成果 評価すべき場所 計測可能な数値だけを見て判断
26. 26. 差を計測する  施策を行わなかった場合を考える必要  施策を行う、行わないのABテストを行えばよい  ABテストにより、「増分」を計測可能になり、真の売上貢献が分 かる  駄目な例  レジ前にいる人にチラシを渡したら、95%の反応率でした！！  ABテストを活用した例  ある店舗では、レジに一度並んだ人は、95%が買いものをしました  別の店舗では、レジに並んでいる人にチラシを渡したら、95%の人 が買いました  したがってレジに並んでいる人に広告を渡しても効果がありません  最近はブランドリフト広告という形で、広告の増分が計測可 能に
27. 27. ブランドリフト広告  一部の顧客に広告を「見せない」ことで差を計 測 https://www.ja.advertisercommunity.com/t5/%E6%97%A7%E3%83%96%E3%83%AD%E3%82%B0%E8%A8%98%E4%BA%8B/Google-%E5%BA%83%E5%91%8A- %E3%83%96%E3%83%A9%E3%83%B3%E3%83%89%E5%8A%B9%E6%9E%9C%E6%B8%AC%E5%AE%9A-%E6%B4%BB%E7%94%A8%E4%BA%8B%E4%BE%8B/ba-p/12384 http://web-tan.forum.impressrd.jp/e/2016/02/23/22150
28. 28. 変わるKPI  施策の有り無しのABテストにより、 KPIは「現在の値」から「増分(リフト)」へ  ABテストにより進歩するマーケティング  ABテストの結果を活用することで、パーソナライゼー ションや、 マーケティングオートメーションが可能に  機械学習への活用にも繋がってくる  機械学習を導入したいのであれば、まずABテスト から  機械学習の一足飛びの導入は困難  機械学習が入った際に改善できる業務フローを作る
29. 29. 目次  データ分析グループの組織編制とその課題  データ分析グループの仕事の範囲  データ分析グループの組成失敗例  データ分析グループを正しく運用するには  マーケティングにおけるKPI設計の失敗  デジタルマーケティングにおけるKPI偏重の問題  ABテストによるリフト計測  ABテストから機械学習へのシームレスな移行  ABテストの向こう側へ、マーケティングオートメーション  マーケティングオートメーションの悲哀  機械学習の投入と、その限界  アップリフトモデリング
30. 30. ABテスト  ただのクリエイティブのABテスト  A:B=60CV:50CV  クリエイティブAを選ぶと、60CVが取れる クリエイティブA クリエイティブB 60CV 50CV
31. 31. クロス集計・パーソナライゼーショ ン  ABテストの結果をセグメント情報とクロス集計  男性に画像A：男性に画像B=40CV:20CV  女性に画像B：女性に画像B=20CV:30CV  ターゲティング配信を実施すれば、ABテストより結果が向 上  男性にA、女性にBを見せれば、合計70CV  この一連のプロセスがMA（マーケティングオートメーション） の流れセグメント クリエイティブA クリエイティブB 男性 40CV 20CV 女性 20CV 30CV 全体 60CV 50CV
32. 32. マーケティングオートメーションの悲 哀  セグメントを増やしてパソナライゼーションを進めると成 果がどんどん上がっていく  軸となる変数を増やすと組み合わせ爆発が発生する  2変数で4セグメント、3変数で8セグメント、10変数で1024セグメント  サンプル数が少なくなり統計的優位性が確認できなくなる  CV改善幅が少しずつ小さくなっていき、管理コストが増大して いく  これによりMA運用の現場は疲弊している  機械学習による自動化が求められている セグメント 画像A 画像B 男性 40CV 20CV 女性 20CV 30CV 全体 60CV 50CV セグメント 画像A 画像B 男性-30歳未満 30CV 5CV 男性-30歳以上 10CV 15CV 女性-30歳未満 10CV 25CV 女性-30歳以上 10CV 5CV 全体 60CV 50CV 合計70CV 合計80CV
33. 33. 機械学習の投入  クリエイティブのABテストから、学習データを生成  説明変数：年齢、性別、職業、配偶者…、クリエイティブ  目的変数：CVしたか否か  機械学習を行い、ユーザがどちらのクリエイティブより反応しそうか を予測  予測されたCVRが最も高いクリエイティブを表示する  アドテクなどではロジスティック回帰などを利用して、このような問題を解いて いる 画像Aだと予測CVRは3% 画像Bだと予測CVRは5% 画像Bを出しとこ 30代男性、未婚、サイト訪問 回数は4回、未購入….
34. 34. 機械学習によるターゲティング クリエイティブA クリエイティブB 予測値 このユーザは 画像Aだと予測CVRは3% 画像Bだと予測CVRは5% 画像Bを出しとこ
35. 35. 単純な機械学習の限界 クリエイティブA クリエイティブB 予測値 え？ 予測値＝真の値＋予測誤差
36. 36. 単純な機械学習の限界  MAを機械学習で置き換えるのは有効  大量の変数による手動のセグメンテーションを、機械学習に代替  従来人間がやっていたことを、そのまま自動化させられる  複数の機械学習の予測値から良いものを選ぶのは実は危険  予測値A＝真の値A＋誤差A  予測値B＝真の値B＋誤差B  サンプル数が少ないと誤差項が大きくなる  真の値AとBの差が小さいと、意思決定が誤差項に引きずられる  アドテクでは何故うまくいくのか？  広告の表示回数が多く、誤差Aと誤差Bが小さい値になる  男性にはスポーツ用品、女性には化粧品といった形で、 真の値が大きく異なる広告が存在する  広告なので、多少は興味を外した人に出しても許される
37. 37. アップリフトモデリングへ  単純な予測から、差を予測するモデルへ クリエイティブA クリエイティブB 予測値 このユーザは画像Aと画像Bでは、 画像Bのほうが良く反応しそうだゾ
38. 38. アップリフトモデリングとは？  疫学から生まれた統計手法  対照実験と機械学習を組み合わせた手法  その後、ダイレクトメールや、クーポン配布などに発展  差を学習するために教師データが特殊  説明変数：患者の年齢、性別、症状、住環境…  介入行動：薬を投与するか否か  目的変数：患者の生存  何が分かるのか？  ある薬がどのような患者に効くのか  この患者には薬を投与するべきか否か 詳しい説明は「ヤバい予測学」の316pからを参照
39. 39. クーポン配布への応用  クーポンの問題  買う気マンマンの人にクーポンを配布すると損失  買う気の全くない人にクーポンを配布するとブラン ド毀損
40. 40. クーポン配布への応用  クーポンを貰ったら購買に転じるユーザか否かを予測したい  アップリフトモデリングの教師データ  説明変数：ユーザの年齢、性別、訪問回数、見ているページ、 etc…  介入変数：クーポンを渡すかどうか  目的変数：CVしたかどうか  ユーザを四象限に分類、赤枠のセグメントに送らないことが 重要 ZenClerkは、アップリフトモデリングに より、できるだけクーポンを配布しない サービス
41. 41. まとめ  デジタルマーケティングは魑魅魍魎  KPIによる単純化により、本質を見失っていることが多 い  ABテストにより「増分」を計測する必要がある  ABテストからアップリフトモデリングまでの流れ  ABテストにより、よりよいクリエイティブを選択  クロス集計を行い、セグメントごとの反応率を調べる  セグメントごとに別のクリエイティブを出し、反応率を 高める  マーケティングオートメーションによりセグメントを増 やし、より反応率を高める  機械学習を導入し、MAのオペレーションコストを削減 する