Transcript

• 1. なぜ統計学がビジネスの 意思決定において大事なのか？ 株式会社リクルートコミュニケーションズ ICTソリューション局 アドテクノロジーサービス開発部 尾崎 隆
• 2. まずは自己紹介を… 2 CodeSCOREチームのデータ分析プロダクトの 技術的コンサルティングを担当しております
• 3. まずは自己紹介を… 3 ブログを書いております
• 4. まずは自己紹介を… 4 最近本も出しました
• 5. 5 ※本日はエントリーレベルのお話のみさせていただきます （ガチ勢向けのコンテンツはございません悪しからず）
• 6. 6 ところで…
• 7. 7 ビジネスの意思決定に 統計学を使うと 何が嬉しいんでしょうか？
• 8. 8 …?
• 9. 9 うちは毎月ちゃんと数字集 計して、月末の振り返りで 確認してるし、それを全員 で共有して課題点も確認し てるし、統計学とか小難し いもの要らないですよ？ ※よくある反応
• 10. 10 でも皆さん、こんな経験を されたことはありませんか？
• 11. ある月末のこと 11 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 1 2 今月の採用決定率(CVR)は先月 の数字を下回りました。。。来 月は巻き返します！○○と××に テコ入れして盛り返そう！
• 12. その翌月末のこと 12 今月のCVRは先月の数字を上回 りました！（パチパチパチ）来 月もこの調子で頑張ろう！ 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 1 2 3
• 13. そのまたさらに翌月末のこと 13 今月のCVRは惜しくも先月の数 字を下回りました。。。来月は 巻き返します！△△と□□にテ コ入れして盛り返そう！ 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 1 2 3 4
• 14. 14 翌年度末
• 15. 翌年度末振り返ってみたら… 15 おっかしいなぁ…毎月前月の反 省をもとに、営業方針スピー ディーに変えていたはずなんだ がなぁ…何故横這い？？？ 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 ※よくある話
• 16. 16 このような現象を 「平均への回帰」 と呼びます
• 17. 「平均への回帰」とは？ 17 「あるスポーツ選手が、何かの技を練習している途中であるとしよう。 何回も練習していると選手はだんだんうまく技ができるようになるが、 時としていつもの技の水準よりずっとうまくできることがある。 逆に、たまたま技がうまくできないときもある。たまたまうまくいった ときは、その時の実力よりもうまく行ったのだから、次にその技を行う ときは、いつもの水準に戻ると予測するのが、統計学的には正しい。 逆に、たまたま技を失敗したときには、次の回にはいつもの技の水準に 戻ってよりよい技を発揮できると予測するのが正しいのである。 誉めなくても、叱らなくても、いつもよりよかった際は、次の回は平均 的には前よりも悪くなり、いつもより悪かった際は、次の回には平均的 には前よりもよくなるのだ。これは、指導の成果でもなんでもなくて、 純粋に統計的な現象だ」 （原文ママ・改行＆太字筆者） 出典：大竹文雄の経済脳を鍛える - 2013年2月13日 体罰の有効性の錯覚は「平均への回帰」が理由 http://www.jcer.or.jp/column/otake/index449.html
• 18. そもそも世の中の大半の物事は「平均回帰的」 18 平均（位置の） 世の中の大半の物事は基本的には 「振り子」と同じように、ある平均 を持っていて、何もしなければ勝手 に平均に「戻る」（回帰する）性質 がある つまり、ちょっと値が変わったとし てもそれはその場その場の例えば 「風で揺れた」「周りの物がたまた ま当たった」というような偶然で あって（「ばらつき」）、長い目で 見れば同じ平均のまま この状態を変えるには、「振り子」 そのもの位置を変える必要がある…
• 19. なので、こういうことも起き得る 19
• 20. 気付いたら… 20
• 21. 右肩下がりで、もはや風前の灯… 21
• 22. 22 どうしたらこの 「平均への回帰」の呪い から逃れられる？
• 23. 平均的「位置」は振り子の状態を表す「真の値」 23 平均（位置の） ＝振り子を表現する真の値 どれほど風に吹かれようと、物が当 たろうと、振り子は同じところから 吊り下げられている限り、必ず同じ 平均的「位置」に戻る 言い換えると、これは振り子の状態 を表す「真の値」だということ 例えば、吊り下げる支点を動かせば この「真の値」は必ず動くわけで、 その時ようやく振り子の状態が変 わったと言える では、事業におけるそのような 「真の値」を動かすにはどのように データと向き合うべきなのか？
• 24. 24 統計的な現象には、 統計学で対応する のが一番！ データサイエンティスト
• 25. 処方箋たち 1. ベースラインが上がっているかどうかを 統計学的に見定める 2. 統計モデリングで最適解を直接狙う 25
• 26. 26 1. ベースラインが 上がっているかどうかを 統計学的に見定める
• 27. ベースラインを引き上げるとは、こういうこと 27
• 28. 実際にはこんな感じで「ばらつき」がある 28 施策を打った タイミング
• 29. 例えば、統計学的検定で白黒つけることもできる 29 > t.test(d[1:15],d[16:30]) Welch Two Sample t-test data: d[1:15] and d[16:30] t = -2.6278, df = 27.8, p-value = 0.01383 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: - 0.17645650 -0.02183668 sample estimates: mean of x mean of y 0.4788178 0.5779644
• 30. 実験してみて確かめるという取り組みも必要 30 施策を打った タイミング 施策に効果あり (t = -2.6278, df = 27.8, p-value = 0.01383) 施策に効果なし (t = -0.8967, df = 27.917, p-value = 0.3775)
• 31. うまくいけばこのように右肩上がりになるはず 31
• 32. 32 ※実際にはもっと複雑かつ統計学的に厳密に扱います （特にA/Bテストや時系列データの場合）
• 33. 33 2. 統計モデリングで 最適解を直接狙う
• 34. こんなCVRのデータがあったとする 34 見た感じでは、ただの平均回帰的なデータ
• 35. ところが実は施策実施の詳細なデータも同時にあるとする 35 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 ad1 0 1 1 1 0 0 1 0 1 0 1 0 1 1 0 0 1 0 1 1 0 0 1 0 0 1 1 1 1 0 0 0 0 1 1 0 0 0 1 1 ad2 0 1 0 0 1 1 1 0 0 0 1 1 1 0 0 1 1 1 0 0 0 0 1 1 0 0 1 0 1 1 1 0 0 0 1 0 1 1 1 0 ad3 0 1 1 0 0 1 0 1 1 1 0 0 1 0 0 1 0 0 0 1 0 1 1 1 0 0 1 1 0 0 1 1 0 0 0 1 1 0 1 1 ad4 0 1 0 1 1 0 0 1 0 1 0 1 1 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 0 1 0 1 0 1 0 1 1 0 ad5 0 0 0 1 0 1 1 1 0 1 1 0 0 1 0 1 1 0 1 0 0 1 0 1 0 1 0 0 1 0 1 1 0 1 1 1 1 0 0 0 施策は5種類
• 36. 一般化線形モデルで、施策ごとの影響度の大小関係を見る 36 𝑦𝑖~ 1 1 + 𝑒−(𝛽0+𝛽1 𝑥1𝑖+𝛽2 𝑥2𝑖+𝛽3 𝑥3𝑖+𝛽4 𝑥4𝑖+𝛽5 𝑥5𝑖)
• 37. 一般化線形モデルで、施策ごとの影響度の大小関係を見る 37 𝑦𝑖~ 1 1 + 𝑒−(𝛽0+𝛽1 𝑥1𝑖+𝛽2 𝑥2𝑖+𝛽3 𝑥3𝑖+𝛽4 𝑥4𝑖+𝛽5 𝑥5𝑖) 優先すべき施策 やるべきではない施策
• 38. 38 ※実際にはもっと複雑かつ統計学的に厳密に扱います
• 39. 39 ということで、
• 40. 40 ビジネスの意思決定に 統計学を使うことには 大きな意義があります！ データサイエンティスト
• 41. ※slideshareで閲覧されている方のために 41 この資料は「第2回CodeSCOREによる、エンジニアの 実務スキルの可視化と、その周辺の知見共有セミナー」 での講演内容です https://codescore.codeiq.jp/seminar