傾向スコアを使ったキャンペーン効果検証V1

Transcript

• 1. 0 傾向スコアを使ったキャンペーン効果検証 Evaluation of campeign with propensity score (総ページ数18ページ) 第46回 TokyoWebmining
• 2. 一応、何はともあれ。 - 1 - 本日の発表は、全て発表者の私見であり、所属する団体等とは一切関係ありません。 ほぼ素人なので、間違いがありましたらご指摘ください。
• 3. 自己紹介 - 2 - Twitter ID ：obnym 本名 ：尾花山 和哉 略歴 ： 元々は小保方さんと同じ領域の研究室出身。 今思えば、10年位前に『細胞を引っ張ったらSTAP細胞になるんじゃ無 いか』という研究をしていた事に最近気づきました。 最近の仕事は、無闇に持ち込まれるデータを使ってメタデータ作ったり、リ バースプロファイリングをアルゴリズム化して商材開発したりしています。 時々、PPDM(Privacy Preserved Data Mining)というニッチな領域 で秘密計算(Secret Calculation)を使った特許を出したりしてます。
• 4. 今日の話の大まかな流れ。 本日は、傾向スコアを使ったキャンペーン分析について - 3 - 1. 何か施策を行うと、大抵の場合その評価が必要になります。 2. 評価が簡単なABテストは、既に標準と言えるほど普及しています。 3. しかしながら、『ABテストできない施策』も少なくないですよね？ 4. そんな時、今日紹介する手法を使うと幸せになれるかも。というお話。
• 5. 効果検証 普段どうやってますか？ 例えば、『エントリーするとポイント5倍』という施策で売上を伸ばそう、という施策について。 - 4 - ¥400 ¥500 ¥600 ¥700 ¥800 ¥900 期間前 期間中 期間後 施策前後の売上/人 エントリー有 エントリー無 データは、ヘビーユーザほどエントリーしやすく季節変動を受けにくい、という条件で生成したダミーデータ。
• 6. ¥400 ¥500 ¥600 ¥700 ¥800 ¥900 期間前 期間中 期間後 施策前後の売上/人 エントリー有 エントリー無 効果検証 期間比較 一つの方法として、エントリーした人の施策前後で比較する方法があります。 - 5 - 【施策効果=E2-E1】 E1 E2 でも、エントリー無くても売上伸びとる…(季節変動などの経時影響)
• 7. ¥400 ¥500 ¥600 ¥700 ¥800 ¥900 期間前 期間中 期間後 施策前後の売上/人 エントリー有 エントリー無 効果検証 2群比較 季節影響を避けるため、同時期のエントリーしていない群と比較する方法 - 6 - 【施策効果=E2-N2】 N2 E2 元々施策に関係なく売上の差が既にある… (比較対象の偏り)
• 8. ¥400 ¥500 ¥600 ¥700 ¥800 ¥900 期間前 期間中 期間後 施策前後の売上/人 エントリー有 エントリー無 効果検証 2群比較+期間比較 前述の2つを組み合わせて欠点を補完しようとする試み。 - 7 - 【施策効果=(E2-E1)-(N2-N1)】 一見良さげに見えるものの、ヘビーユーザとライトユーザで季節変動影響が同じとは限らない… N2 E2 N1 E2
• 9. そもそも、施策効果とは何ぞや？ 実は、本当に欲しい『施策効果』は直接観測するのは不可能。 - 8 - ユーザ 施策を実施する？ 実施した世界 のユーザ 実施しなかった世界 のユーザ YES NO 売上：700円 売上：600円 本当に欲しいのはここの差！ しかし、二つを同時に 観測することは不可能
• 10. でも、どうにかして見れないハズのものを見たい！ そこで、売上がどのように決まるかの因果関係を考えてみる。 - 9 - 売上 時節因子 来店経験 施策 来店経験の効果 時節因子の効果 施策の効果
• 11. ABテスト(無作為化実験の威力) ABテストは、施策以外の効果は均等に受けるため、単純に売り上げの差が - 10 - 売上 時節因子来店経験施策 実施した群 の売上 = + + 1×効果 X1 Y1 実施しない群 の売上 0×効果 X0 Y0 ABテストでは、施策以外の部分は均等に割振られる！ = + + = + + よって、X1=X0, Y1=Y0！ 【実施した群の売上】ー【実施しない群の売上】=効果+0+0 来店経験の効果時節因子の効果 施策の効果
• 12. それなら、全部ABテストすれば問題は解決する？ - 11 - ところが現実には、ABテストできないシーンは結構あり… 1. 技術的に特定の人に出し分けられない場合。 2. 何も考えずに実施した施策の過去データを分析する場合。 3. お客様差別だとかでコンプライアンス障壁が発生する場合…などなど。
• 13. 無作為化できないと何が起きるか エントリー方式の施策の場合、実施(エントリー)の有無で来店経験等に偏りが生じる。 - 12 - 売上 時節因子来店経験施策 実施した群 の売上 = + + 1×効果 X1 Y1 実施しない群 の売上 0×効果 X0 Y0 実施の有無で施策以外の部分も偏りができてしまう！ = + + = + + よって、X1≠X0, Y1≠Y0！ 【実施した群の売上】ー【実施しない群の売上】=効果+ [X1-X0]＋[Y1-Y0 ] 来店経験の効果時節因子の効果 施策の効果
• 14. さて、この偏りをどうしたものか… 施策の有無とそれ以外の因子の関係を上手く調整できればよいのではないか？ - 13 - 売上 時節因子 来店経験 施策 来店経験の効果 時節因子の効果 施策の効果 例えば、エントリーする確率が50%の集団に絞れば、疑似的にABテストと同じ事になる！ (実は、この『エントリーする確率』が傾向スコアと呼ばれるもの。) もっと言うと、50%に限らず、同じ確率ならOK
• 15. IPWのアイディア 絞り込む方法を更に工夫をして、偏りやすさを基に他の因子の影響をバランスさせる手法 - 14 - ライトユーザ エントリー確率10% ヘビーユーザ エントリー確率90% 売上：600円 売上：900円 実際エントリーした場合 ⇒ウェイトを大きくする 実際エントリーしない場合 ⇒ウェイトを小さくする 実際エントリーした場合 ⇒ウェイトを小さくする 実際エントリーしない場合 ⇒ウェイトを大きくする
• 16. 具体的なIPW推定量の算出手順 まずは、他の因子から施策の実施有無に関する予測値(傾向スコア)を求める。 - 15 - 時節因子 来店経験 施策 1. 他の因子を説明変数、施策の実施有無を目 的変数として予測値を算出する。 文献ではロジスティック回帰の例が多いが、他の手法を採 用してもよい。 2. 当然、モデルが正しく作られているかを確認す る。(AUC:0.8以上が業界標準…らしい。) 3. 傾向スコアから以下の式で各サンプルのウェイ トを作成する。 𝑊𝑇1 = 𝑍 𝑒 𝑒: 傾向スコア 𝑍: 施策の実施有無 𝑊𝑇0 = 𝑍 − 1 1 − 𝑒
• 17. 具体的なIPW推定量の算出手順 続いて、ウェイトによる調整が成功しているかの確認を行う。 - 16 - 時節因子 来店経験 施策 1. それぞれのウェイトの平均値が0.98~1.02の 範囲に納まっているか。 2. ウェイトをかけた場合、施策の実施有無と傾向 スコアの相関がほぼ0になっているか。 3. ウェイトをかけて施策の実施有無を目的変数と したロジスティック回帰を行った場合、他の因子 の効果が非有意になっているか。 4. ウェイトをかけて売上を目的変数とした回帰を 行った時、他の因子を説明変数に加えるかに 関わらず施策の効果がほぼ同じとなるか 実は、1は根拠が良く理解できてないです。 自分でデータを作ってみたり、経験した範囲では2と3がクリア 出来ていれば概ねOKな気はしています… 日本版総合的社会調査共同研究拠点 研究論文集[12] JGSS Research Series No9. 114より抜粋 𝑒
• 18. 具体的なIPW推定量の算出手順 最後に算出したウェイトを使って、加重平均を求めれば目的の効果が算出できます。 - 17 - 実は、ウェイトをかけた上で、すべての因子を説明変数、売上を目 的変数にした回帰分析は、よりロバストな推定になるのですが、資 料作成の時間切れのため説明は割愛。 売上 時節因子 来店経験 施策𝑒 1. ウェイトを使った加重平均をそれぞれ求め、差を 算出することで施策による効果を算出 施策実施有無を説明変数、売上を目的変数にして回帰 分析を行っても大丈夫です。 𝑖|𝑍=1 𝑊𝑇1𝑖 × 𝑆 𝑖|𝑧=1 𝑊𝑇1𝑖 − 𝑖|𝑍=0 𝑊𝑇0𝑖 × 𝑆 𝑖|𝑍=0 𝑊𝑇0𝑖 S: 売上 𝑍: 施策の実施有無
• 19. IPW推定における困ったところ - 18 - 1. 傾向スコアが正しく算出できるか、解析するまで不安が残る。 効果検証は次のアクションに繋がるため、出来るだけ早くかつ固まったスケジュールで必要 2. 施策の対象が著しく偏ると、傾向スコアが0とか出てきて大変なことに。 個人的には、傾向スコアの範囲を制限してサンプルから除外しています。 もしこういう風にしている、などありましたら情報交換しましょう！ 3. 効果検証は高度に政治的配慮が必要な場合があるので、出来るだけクライアントに 近い人が行って欲しいが、まだまだ大変そう。