ABテスト・LPOのための統計学【社内向けサディスティックエディション】データアーティスト株式会社

1. DLPOチーム内セミナー LPOのための統計 DLPOチームバイトリーダー山本覚社外秘！！公開用資料

2. 本セミナーの目的とスコープ LPOに必要な基礎統計を理解する。 →営業:自社サービスの強みをより正確に理解することで、セールストーク・シートの質向上。 →コンサル:測定可能な提案の作成。提案の効果を正確に把握。 →開発:統計にかかわる開発の効率向上。 →オペサポ:お客様への正確な対応。 ※数学ⅠA・ⅡBまでは勉強していることを前提とし話を進めますので、不安のある方は復習をお願いします。 [目的] MVT誤差 User Modeling 統計クリエイティブ作成 Web マクロなキャンペーン設計 LPOツール [スコープ] A/Bテスト

3. 今日言ってるLPOの基礎統計とは？ A/B テスト MVT Full-F Parametric MVT Full-F Non-Parametric

4. なぜ統計が重要か？ True Value Observed Value 次に何が起こるか法則の発見

5. 参考図書 [統計学入門] DLPOプロジェクトに入ったときに購入し、現在まで現役でレギュラーな本です。ぱっと見とっつきやすくは無いですが、ズルをせず、かつなるべくシンプルな方法で式変形をしています。他の本と読み比べることなくこの本の中だけで完結しているのも魅力的です。 DLPOにでてくる基礎統計はこの本にほぼ全て書いてあります。ぜひぜひ一度手を動かしながら、頭からお尻まで読破することをお勧めいたします。 [Landing Page Optimization] 英語なんでしんどいですが、多変量解析の章がLPOの視点から非常によく書かれています。その章だけでも読んだら良いと思います。 [実験計画法] 全件テストに関するイメージがつかみやすい。見開きでぱっとわかる。 http://www.qmss.jp/qmss/related/stat02.htm

6. １．統計学の基礎 1.1 統計学とは 1.2 統計データと統計手法 1.3 統計データの分析プロセス２．1次元のデータ 2.1 度数分布とヒストグラム 2.2 代表値 2.3 散らばりの尺度３．2次元のデータ 3.1 2次元のデータとは 3.2 散布図と分割表 3.3 相関係数 3.4 直線および平面のあてはめ４．確率 4.1 ランダムネスと確率 4.2 標本空間と事象 4.3 確率の定義 4.4 加法定理 4.5 条件付確率と独立性５．確率変数 5.1 確率変数と確率分布 5.2 確率変数の期待値と分散 5.3 モーメントとモーメント母関数 5.4 チェビシェフの不等式 5.5 確率変数の変換６．確率分布 6.1 超幾何分布 6.2 二項分布とベルヌーイ分布 6.3 ポアソン分布 6.4 幾何分布と負の二項分布 6.5 一様分布 6.6 正規分布 6.7 指数分布 6.8 ガンマ分布 6.9 ベータ分布と一様分布 6.10 コーシー分布 6.11 対数正規分布 6.12 パレート分布 6.13 ワイブル分布付．モーメント母関数による証明 11．推定 11.1 点推定と区間推定 11.2 点推定の考え方とその手順 11.3 点推定の基準 11.4 点推定の例 11.5 区間推定 12．仮説検定 12.1 検定の考え方 12.2 正規母集団に対する仮説検定 12.3 いろいろのχ２検定 12.4 中心極限定理を用いる検定 12.5 検出力 13．回帰分析 13.1 回帰分析 13.2 回帰係数の推定 13.3 偏回帰係数の統計的推測 13.4 重回帰分析付．ガウス・マルコフの定理の証明統計学入門の関連事項ハイライトされた項目は今回のセミナーの誤差論と深く関係があります。６．確率分布 6.1 超幾何分布 6.2 二項分布とベルヌーイ分布 6.3 ポアソン分布 6.4 幾何分布と負の二項分布 6.5 一様分布 6.6 正規分布 6.7 指数分布 6.8 ガンマ分布 6.9 ベータ分布と一様分布 6.10 コーシー分布 6.11 対数正規分布 6.12 パレート分布 6.13 ワイブル分布付．モーメント母関数による証明７．多次元の確率分布 7.1 同時確率分布と周辺確率分布 7.2 条件付確率分布と独立な確率変数 7.3 多次元正規分布 7.4 独立な確率変数の和付．数学的証明８．大数の法則と中心極限定理 8.1 大数の法則 8.2 中心極限定理 8.3 中心極限定理の応用９．標本分布 9.1 母集団と標本 9.2 母数と統計量 9.3 統計量の標本分布 9.4 有限母集団と有限母集団修正 10．正規分布からの標本 10.1 正規分布の性質 10.2 分散が既知のときの標本平均の標本分布 10.3 標本分散の標本分布 10.4 分散が未知のときの標本平均の標本分布 10.5 2標本問題 10.6 標本相関係数の標本分布

7. シミュレーションしましょう→統計ツール紹介 R は有名な統計言語『 S 言語』をオープンソースとして実装し直した統計解析ソフトです．さまざまなプラットフォーム（OS）に対応しており，誰でも自由にダウンロードすることができます．それにも関わらず，世界中の専門家が開発に携わっており，日々新しい手法・アルゴリズムが付け加えられていますので，機能的にはあの有名な『 S-plus 』を凌駕しているといっても過言ではありません．とにかく計算が速い上にグラフィックも充実しているので数値計算などにも持ってこいです(インタープリタなんですが、長い計算ではCのサブルーチンが動くので早いです)． http://cse.naro.affrc.go.jp/takezawa/r-tips/r.htmlR-Tips http://aoki2.si.gunma-u.ac.jp/R/Rによる統計処理 http://www1.doshisha.ac.jp/~mjin/R/Rで学ぶデータサイエンス Rの操作方法全般。辞書代わりに使う。統計をやる際のコードがいろいろ載ってます。概念だけ理解して実装しきるという視点から書かれています。相当良いサイトです。百聞は一見にしかず！！ →シミュレーションしよう。想定しているモデルは、自分が考えているよりもダイナミックです。 Ex:悪いクリエイティブから切っていく。実際どんな感じで得をするの？

8. アジェンダ 1 A/Bテスト誤差論~得られたCVRを正しく解釈するために~ ・分散・標準偏差とは・真値から実測値の推定・実測値からの真値の推定 2 MVT ・多変量解析とは・多変量解析の分類・一部実施で目指していること・完全実施パラメトリック 3 最適化トラフィックの無駄遣いをしちゃダメだよ。守る攻める

9. 1 A/Bテスト～誤差論を中心に～

10. どうして誤差が重要か？ LP1 LP2 UU:3000 UU:3000 CV:941 CV:912 CVR1>CVR2といっていいのか？以下の質問に答えられる人は今回のゼミの誤差論については聞かなくても平気です。 LP LP UU:100,000 UU:1000 CV:10,000 CV:95 ~2011/4/3 2011/4/4 Q. 1 Q. 2 下がってしまったんですが。。。？？ A/Bテスト、こんな疑問が良く出ます。ちゃんとこたえられるだろうか？？

11. 平均・分散・標準偏差母集団 x n 平均:   n i ix n 1 1  不偏分散: 母集団の中からn回サンプリングした場合の平均、不偏分散、不偏標準偏差は以下の式になります。     n i ix n 1 22 )( 1 1  不偏標準偏差:  イカサマの無いサイコロを 50回振った場合。 ※xiはi回目のサンプリングの実測値 0123456 μ σ σ 振った番号サイコロの値自由度で割っている。計算上便利データの解釈上便利 )( ix偏差: サンプリング

12. 母平均、平均母平均:統計量の期待値     m j jj XpXE 1   5.3 6 6 1 5 6 1 4 6 1 3 6 1 2 6 1 1 6 1   XE サイコロの場合平均はnが増えていくと母平均に漸近していく。期待値:

13. 母分散、不偏分散母分散: (偏差：観測値と平均の差)統計量の偏差の2乗の期待値       m j jj XpXE 1 22     2.916667 )5.36( 6 1 )5.35( 6 1 )5.34( 6 1 )5.33( 6 1 )5.32( 6 1 )5.31( 6 1 222 222 2     XE 不偏分散はnが増えていくと母分散に漸近していく。

14. 母数とは？

15. 統計量の和の分散 ],[2][][ )])([(2])[(])[( )])((2)()[( ])[(][ 22 22 2 YXCovYVXV YXEYEXE YXYXE YXEYXV yxyx yxyx yx        共分散=相関係数2 ・X,Yが独立のとき、Cov[X,Y]=0 ][][][ YVXVYXV  ・X=Yのとき、Cov[X,Y]=V[X] ][2]2[ 2 XVXV  同様に ][][ 2 XVaaXV  0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 02468 x dnorm(x,0.3,(0.3*0.7/100)^0.5) 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 02468 x dnorm(x,0.4,(0.4*0.6/100)^0.5) ハイライトの二つの式を覚えてください！！ 0.0 0.1 0.2 0.3 0.4 0.5 0.6 02468 prob.sample prob.density 元のフィルム男性の体重女性の体重カップルの体重スクリーン

16. 平均のばらつき nn n n nn n XXX VXV n i n 2 2 2 1 2 2 2 2 2 2 21 ][                平均値の分散は？X1, X2, ・・・ ,Xnが互いに独立に分散σ2の分布にしたがうとき √V[X]

17. CVの考察のために LP CVする:X=1 (確率p) CVしない:X=0 (確率 1-p) 複数CVが無い時のみ！ CVR=pとわかっている場合 )1()1()1(][ 0)1(1][ 22 ppppppXV pppXE   n人がLPに来て独立に行動するとわかっている場合。 )1(][ ][ pnpCVV npCVE   nppCVRV pCVRE /)1(][ ][   0.0 0.2 0.4 0.6 0.8 1.0 0.000.100.20 p V[X] 一回のランディング(CVの有無)はベルヌーイ試行です。 √V[X]

18. ベルヌーイ試行と二項分布ベルヌーイ試行であるランディングをn回繰り返した場合CVがk回ある確率は   knk kn ppCkCVP   1][ p=0.3の場合

19. 二項分布と正規分布二項分布の確率密度関数は同じ母数(平均と分散)を持つ正規分布で良く近似できます。 n>100のとき、二項分布で正規分布を近似してもほぼ問題ない。中心極限定理

20. 正規分布             2 2 2 exp 2 1 )(:),(     x xfN +σ +2σ +3σ +4σ+2σ+3σ+4σ +σ 68.26 % 95.44% 99.74% 99.994% 母数をどのように選択しても面積は常に1になる。平均値の付近に集積するようなデータの分布を表した連続的な変数に関する確率分布である。中心極限定理により、独立な多数の因子の和として表される確率変数は正規分布に従う。

21. 正規分布からの標本 0.0 0.1 0.2 0.3 0.4 0.5 0.6 02468 prob.sample prob.density 真のCVRが0.3の場合、そこから100人サンプリングして CVRを測定値とする。これを10万回繰り返した場合。平均: 0.3000641 不偏標準偏差: 0.04591629 0.0 0.1 0.2 0.3 0.4 0.5 0.6 02468 prob.sample prob.density 真のCVRが0.3の場合、そこから10000人サンプリングして CVRを測定値とする。これを10万回繰り返した場合。真の値が分かっていても、標本数が少ない場合、その平均は真の値からずれる。拡大平均: 0.299985 不偏標準偏差: 0.004599207 690.04582575][ 5.0 XV 5690.00458257][ 5.0 XV

22. Q1:すごいUU集めた値がすぐにずれました？ LP1 LP1 UU:100,000 UU:1000 CV:10,000 CVR:0.1 (ほぼ真値) CV:95 CVR:0.095 ~2011/4/3 2011/4/1 Q. 1 下がってしまったんですが。。。 0.094868][ 5.0 XV 0.0 0.1 0.2 0.3 0.4 0.5 0.6 02468 prob.sample prob.density CVR=0.1で1000人サンプリング観測される値の確率密度関数

23. Histogram of sample.0.4.cv.v - sample.0.3.cv.v sample.0.4.cv.v - sample.0.3.cv.v Frequency -0.2 -0.1 0.0 0.1 0.2 0.3 0.4 0100020003000400050006000Histogram of sample.0.3.cv.v sample.0.3.cv.v Frequency 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 02000400060008000 Histogram of sample.0.4.cv.v 正規分布からの標本真のCVRが0.3、0.4の場合、そこから100人ずつサンプリングして CVRの差を測定値とする。これを10万回繰り返した場合。 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 02468 x dnorm(x,0.3,(0.3*0.7/100)^0.5) 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 02468 x dnorm(x,0.4,(0.4*0.6/100)^0.5) LP1 LP2 平均:0.0998328 不偏標準偏差: 0.06723252 930.06708203][ 100 )4.01(4.0 100 )3.01(3.0 ][][][      YXV YVXVYXV

24. 標本からの真値の推定 npp ppp ppp ppp p pp pp pp /)ˆ1(ˆˆ ˆˆˆˆ ˆˆˆ ˆ         pppp  ˆˆ  Pが0.3のときσpは0.4582 その実測値は0.4439～0.4702 実測値から真値を区間推定できる。 pの真値標本数n pの実測値実測値のばらつき pの真値標本数n pの真値真値のばらつき True Value Observed Value 同じ

25. 標本からの真値の推定実測値から真値を区間推定できる。 +σ +2σ +3σ +4σ+2σ+3σ+4σ +σ 68.26 % 95.44% 99.74% 99.994% 014491.01000/)3.01(3.0ˆ 1000 3.0ˆ    p n p  この場合、pの真値は 99.994%で0.3±4×0.0144191に収まる。

26. 測定値からの真値の幅とnの依存性神様CVRを発生 CVR=10+10*乱数→10～20のCVRを作る。まだ未知。30000UUまで待ってみる。答え合わせ CVR=0.1120388 0.1119 32%以下のことは起きている。 0.1900 0.1140 0.1120

27. 例1:0.3±2.52*0.014491 にpの真値がある確率。 0.491なので両サイドでは 0.984で収まる。例1:0.3±Z*0.014491に90%収まると言える、Zの値。量サイドで0.9なので、片方で0.45となるZを探す。左図よりZ=1.65のときとなる。標本正規分布表の使い方 http://www.koka.ac.jp/morigiwa/sjs/standard_normal_distribution.htm DLPOで出力しているもの。

28. Q2:二つのクリエイティブのCVRの差の真値の推定 LP1 LP2 UU:3000 UU:3000 CVR:941 CVR:912 CVR1>CVR2といっていいのか？ V[X-Y]=V[X]+V[Y] V[CVR]=CVR(1-CVR)/UU 0. 967±1.19% -0.10 -0.05 0.00 0.05 0.10 051015202530 x dnorm(x,cvr.d,sd.d) 0.967=0.81σ 0.291 0.209 CVR1<CVR2となる確率が20.9%もある。統計的には有意水準5%でCVR1<CVR2となることを否定しきれない。

29. おまけ:誤差の伝搬 f(x)=axやf(x1,x2)=x1+x2の分散の求め方はここまででわかりました。微積分の知識を使うことで分散の計算可能な範囲を近似的に拡張することができます。となります。この式を理解するには大学1年の数学が必要になりますので、今すぐわからなくても問題ありませんが、そこから得られる式は覚えておいて損はありません。 2 2 2 1 2 1 2 2 2 1 2 2 1 21 , xxy xxx x y x x y xxy          2 2 2 1 2 1 2 24 2 2 2 2 1 221 2 1 1 , 1 xxy xx xx x x y xx y x x y         積の分散:CVRにも分散があり、商材の値段にも分散がある場合。商の分散:CVRの改善率を求めたい場合。 http://www.infra.kochi-tech.ac.jp/takagi/Survey1/3Error.pdf

30. 2 多変量解析

31. 多変量解析とは？多次元のX:独立変数(説明変数)とY:従属変数(被説明変数)の間の関連性を解析すること。 Xの値が離散的である場合、X:因子、Xの値:水準と呼びます。 Sepal Petal 説明変数:Irisの各部位の大きさ被説明変数：Irisの種類 (setosa,versicolor,virginica)

32. 多変量解析の一般的なテーマ一般的な多変量解析のテーマとLPOでいう多変量解析のテーマとは結構乖離があります。普通の多変量解析の本を買ってきてもちょっとスコープがずれてます！第1章統計学の基礎第2章 Rの基礎第3章線形回帰モデル第4章判別分析第5章ロジスティック回帰モデル第6章主成分法第7章対応分析分析法第8章因子分析法第9章正準相関分析法第10章多次元尺度法第11章クラスター分析法複数の説明変数間の関係性を分析する。一般的な多変量解析の教科書で学ぶことと、 DLPOで用いる多変量解析で使う技術はかなり異なります。一部のことに慣れてしまえば、ここまでの誤差論で用いた考え方のみでほぼ説明することができます。これは一般的な多変量解析では、独立変数間の出現頻度の関係性の解析に多くの力を注いでいますが、LPOでは各クリエイティブは独立に配信されるため以下の技術を用いないことによります。LPOにタグが付き、クリエイティブをまたいだ属性間の分析を行う場合に下記の技術が用いられます。 ※ターゲティングセグメントを因子とみなした場合は下の技術はかなり役立ちますが、 LPのクリエイティブを変数とみなす限りは下の技術の多くは本質的に用いられることはありません。被説明変数説明変数ターゲティングの無い LPOではここだけ

33. LPOにおける多変量解析ＬＰＯのMVTの場合、因子(factor)はエリア、水準(level)は登録されているクリエイティブになります。複数のエリアがある場合に多変量解析となります。 LP [アクセス解析] 1因子、1水準 LP_1 LP_2 [A/Bテスト] 1因子、多水準 1 2 12 1 2 [MVT] 多因子、多水準 ※一つのLPのCVRを複数のターゲティングセグメントごとに解析していくことも多変量解析ですが、LPOでは慣習的にエリアを複数にした場合にMVTと呼んでいます。

34. 探索空間(Search Space)の拡張｜MVTをやる理由 A/B 訴求軸 MVT 訴求軸ビジュアルわかりやすさ探索空間の拡張

35. 実際はLPOではきれいなMVTは難しいとき 3次元の中の2次元多様体に答えが集中している。 2.5次元を考えればいい。 →ベイズ統計を駆使して頑張らなくてはならない。を読むとちょっとわかるが、しんどい。金利即日審査金利詳細A 金利詳細B 即日詳細A 即日詳細B 芸能人A 芸能人B 芸能人C 訴求軸ビジュアルわかりやすさインタラクションが強いところは始めからまとめてしまってください。 ↓ 今のA/Bテストにエリアがあるのはその名残。 Ex:消費者金融の場合

36. MVTはデータ収集、データ解析の二つの視点で分類することができます。データ取得完全実施要因計画法一部実施要因計画法データ解析パラメトリック GWO,DLPO 種主のDOE,DLPO,T&T ノンパラメトリック Site Tuner,DLPO 実現不可能多変量解析の分類完全・ノンパラ完全・パラ一部・パラ Advantage 一番良いパターンが見つかる。全体の傾向を早くつかめる。柔軟にモデルを作れる。簡単なモデルであれば少ないサンプル数で正確にパラメーターを測定できる。複数のパターンを表示してはいけないときに使える。 Disadvantage サンプル数がパターン数と比例して必要。パターンの単独の実測値の誤差が大きい。交互作用の計算に制限がある。後からクリエイティブを追加しづらい。それぞれのアドバンテージ、ディスアドバンテージ LPOでは完全実施要因計画法でお願いします。

37. データの取得について [データ取得] [データ解析] B M S 1 2 12 1 2 個別に比較交互作用を比較一部実施要因計画法: 探索空間の一部の点におけるデータを取得する。完全実施要因計画法: 探索空間の全ての点におけるデータを取得する。パラメトリック: モデルを作成し、そこで用いられる係数を推定する。ノンパラメトリック: パターンごとのCVRを実測する。 M S B A/Bテストと基本一緒

38. 今日言ってるLPOの基礎統計とは？ A/B テスト MVT Full-F Parametric MVT Full-F Non-Parametric

39. 主効果モデル|パラメトリック Y= μ + α + β + ε β α A1 A2 A3 A4 B主効果 B1 5.53 2.2 4.23 3.65 -1.5906 B2 8.2 6 7.32 6.67 1.55544 B3 6.7 3.63 5.36 4.16 -0.5302 B4 7.86 4.32 6.15 5.9 0.56534 A主効果 1.58 -1.5 0.27 -0.4 5.49304 μ ε:残差 Y= fA(vA) + fB(vB)と書けるときは完全に主効果モデルが成り立つ。まずは主効果だけに絞って話をします。

40. 一部実施要因計画法ここでは例としてエリアをメインエリア、サブエリア、バナーエリアと区切り、メインエリアにＭ１とＭ２、サブエリアにＳ１とＳ２、バナーエリアにＢ１とＢ２が登録されているとします。全てのクリエイティブの組合せは２＾３＝８通りになります。一方各クリエイティブがＣＶＲに与える個別の効果(これを主効果と呼びます) のみを測定することで実際に測定するパターンは４通りまで減らすことが可能です。しかしここで無作為に選んだ４通りのパターンでは交互作用の効果を最大限主効果に持たせることができない、もしくは全く主効果を計算できないことがあります。 →実験計画法を用いてきちんとテストパターンを設計する。 B M S 1 2 12 1 2

41. テストするパターン設計の話に入る前にCVRの分解の話をします。あるパターンのCVRは、そのパターンの各エリアのクリエイティブがパターン全体のCVRに影響を与えて求まっていると考えることができます。たとえばM1,S1,B1を出した場合には CVR=μ +M1+S1+B1 +M1S1+S1B1+B1M1 +err と書くことができます。ここでM1等は主効果、M1S1等は２因子の主効果、errは3因子以上の主効果とテスト上の誤差になります。ここで、平均と主効果のみを求めるのであれば、求める値はμ,M1,M2,S1,S2,B1,B2になります。ただし、各因子の主効果の平均を取ると0なるので、M1+M2=0, S1+S2=0, B1+B2=0となり、結果求める値はμ,M1,S1,B1の4つになります。求める値が4つの場合は方程式が4つあれば基本的には解くことができます。つまり、四つのパターンの測定をすれば済むことになります。一般的に、N個の因子がある場合、パターン数は 1+1個目の因子の水準数+2個目の因子の水準数+ ・・・+N個目の因子の水準数-N となります。初めの1は平均の分、最後にNを引いているのは主効果の平均は0になるので、変数を減らせる分になります。一部実施要因計画法平均主効果 2因子間交互作用

42. メインサブバナーパターン１ 1 1 1 パターン２ 2 1 1 パターン３ 1 2 2 パターン４ 2 2 2 前ページで、4つのパターンで基本的には答えが求まると書きました。このようにパターンを組んだ場合は、主効果を求めることができません。後で個別の効果がわからない形でいっぺんに複数のパターンを変更してしまったことに寄ります。これは、 y=2x+4 3y=6x+2 といった連立方程式に解がないことに対応しています。パターン設計1|一部実施 Not 直行表

43. メインサブバナーパターン１ 1 1 1 パターン２ 2 1 1 パターン３ 1 2 1 パターン４ 1 1 2 続いて上の様にパターン１に対して２、３、４では各エリアを別々に変更した場合は個別の効果を測定することは可能になります。一方ここで求まる主効果には問題があります。上記の４パターンを分解式に直しますと、パターン１：μ+M1+S1+B1+M1S1+S1B1+B1M1+err パターン２：μ+M2+S1+B1+M2S1+S1B1+B1M2+err パターン３：μ+M1+S2+B1+M1S2+S2B1+B1M1+err パターン４：μ+M1+S1+B2+M1S1+S1B2+B2M1+err ハイライトした、交互作用にはオーバラップがある一方、M2S2,S2B2,B2M2の交互作用は全くテストに反映されていないことが分かります。これではもし上記の三つの交互作用が大きな値であった場合に対応することができません。パターン設計2|一部実施 Not 直行表

44. メインサブバナーパターン１ 1 1 1 パターン２ 1 2 2 パターン３ 2 1 2 パターン４ 2 2 1 一方左の様にした場合は、平均と主効果はパターン１：μ+M1+S1+B1+M1S1+S1B1+B1M1+err パターン２：μ+M1+S2+B2+M1S2+S2B2+B2M1+err パターン３：μ+M2+S1+B2+M2S1+S1B2+B2M2+err パターン４：μ+M2+S2+B1+M2S2+S2B1+B1M2+err 各パターンには交互作用にオーバーラップがなく網羅出来ていることが分かります。つまり、求まった主効果には交互作用の効果が含まれておりこの主効果だけから、全パターンを予測したとしても、交互作用を加味して予測を行っていることになります。 μ=-0.5Pt1+0.5Pt2+0.5Pt3+0.5Pt4 M1=0.5Pt1+0.5Pt2-0.5Pt3-0.5Pt4 S1=0.5Pt1-0.5Pt2+0.5Pt3-0.5Pt4 B1=0.5Pt1-0.5Pt2-0.5Pt3+0.5Pt4 の様に求まり、与えられたパターン数の中で交互作用を最大限含むようにパターンを生成しています。一部実施(デザイン3)

45. M S B デザイン1 デザイン2 デザイン3 S B B M M S S B B M M S 含まれる二因子間交互作用の直感的イメージ S B B M M S

46. デザイン3 一部実施から完全実施へ S B B M M S 完全実施 S B B M M S 一か所の色を薄めて、全体を塗ればいいんじゃ？それぞれの精度は下がる？？完全実施要因計画法二因子間交互作用で見ると色の濃さは変わってない。 ↓ 三因子以上の交互作用も全て均一に求められる。 ↓ パラメトリックで見ても完全実施の方が良い！

47. とはいえ交互作用はそんなに重要なのか？

48. キッコロモリゾー CVR= MEキッコロ + MEモリゾー交互作用も重要だから考えよう

49. モリゾーキッコロ CVR= MEモリゾー+ MEキッコロ二人がちょっと離れているが、言われなければ気付かない。交互作用

50. ゾーコロ CVR= MEゾー+ MEモリ+ MEコロ + MEキッ = MEモリ+ MEゾー+ MEキッ+ MEコロ ≒ MEモリゾー+ MEキッコロモリキッだいぶ印象が違うが “そういうデザインなのかな?”と思える。交互作用

51. CVR= MEゾー+ MEモリ+ MEコロ + MEキッ = MEモリ+ MEゾー+ MEキッ+ MEコロ ≒ MEモリゾー+ MEキッコロ + Interaction悪意悪意を感じる。ゾーコロモリキッヲタラス交互作用

52. いきなりですがちょっとユーザーセグメントの話ゾーコロモリキッヲタラス

53. ゾーコロモリキッヲタラスいきなりですがちょっとユーザーセグメントの話

54. 完全実施要因計画法|パラメトリック A1 A2 A3 A4 B主効果 B1 5.53 2.2 4.23 3.65 -1.5906 B2 8.2 6 7.32 6.67 1.55544 B3 6.7 3.63 5.36 4.16 -0.5302 B4 7.86 4.32 6.15 5.9 0.56534 A主効果 1.58 -1.5 0.27 -0.4 5.49304 μ β α αβ       ji ji i BjAiCVP CVPBjCVPAiCVPBjAiCVP AiCVPCVPAiCVP )|( )()|()|()|( )|()()|( C,D・・・もあるが、A,Bのみに注目

55. CVR=f(A,B,C) 真値を自由に定義パラメトリックな予測の精度 A:1~4,B:1~4,C:1~4の3つがある。 0.0 0.1 0.2 0.3 0.4 0.5 0.6 02468 prob.sample prob.density n個サンプリングしてくる。モデルの作成、真値の予測観測

56. 0.06 0.08 0.10 0.12 0.14 0.16 0.080.100.120.140.16 ノンパラメトリック,推定値真値 0.06 0.08 0.10 0.12 0.14 0.080.100.120.140.16 主効果モデル、推定値真値 0.06 0.08 0.10 0.12 0.14 0.16 0.080.100.120.140.16 主効果・2因子間交互作用モデル、推定値真値 2因子間交互作用を含めてCVRを生成した場合

57. 相関係数相関係数（そうかんけいすう、correlation coefficient）とは、2 つの確率変数の間の相関（類似性の度合い）を示す統計学的指標である。原則、単位は無く、-1 から 1 の間の実数値をとり、1 に近いときは2 つの確率変数には正の相関があるといい、-1 に近ければ負の相関があるという。0 に近いときはもとの確率変数の相関は弱い。因みに 1 もしくは -1 となる場合は 2 つの確率変数は線形従属の関係にある。

58. 交互作用真値は主効果のみ p=μ+α+β+γ

59. 交互作用真値は主効果と2因子間交互作用 p=μ+α+β+γ+αβ+βγ+γα

60. 真値は主効果と2,3因子間交互作用交互作用 p=μ+α+β+γ+αβ+βγ+γα+αβγ

61. 真値は主効果と2因子間交互作用 p=μ+α+β+γ+αβ+βγ+γα+αβγ

62. 0th Order Polynomial 1st Order Polynomial 3rd Order Polynomial 9th Order Polynomial 過学習について

63. Root-Mean-Square (RMS) Error: 過学習とモデルの選択

64. おまけ:α1-α2 これまでの話だと二つの主効果の差の分散は )()()( jiji VVV   )|()|( )}()|({)}()|({ AjCVPAiCVP CVPAjCVPCVPAiCVPji   となりそうですが、実際はもっと小さな値になります。これは本来計算すると0になる値の分散をそのまま足してしまっていることに起因します。 ],[2][][ )])([(2])[(])[( )])((2)()[( ])[(][ 22 22 2 YXCovYVXV YXEYEXE YXYXE YXEYXV yxyx yxyx yx        下の式のように統計量の分散の和を計算する場合は、二つの値が独立であるかに十分注意する必要があります。なお、Aiを出している場合と、A2を出している場合のCVRに相関は無くは独立となります。))|(())|(()( AjCVPVAiCVPVV ji 

65. 3 マクロなテスト設計

66. キャンペーンを通したテスト設計 A/B テスト MVT Parametric MVT Non-Parametric

67. A/Bテスト、MVT-Non-Parametricの足切り足切り、選抜をどのように行えばいいか？？Q. 3 LP2 LP2 LP2 LP2 LP LP2 LP2 LP2 LP LP2 LP2 LP LP Q.どう変化するのか？ A.わからん。悪いパターンをどんどん切ってCVRを上げないと、マーケッターさんが切られちゃうよ！！

68. #初期登録 max.cvr=0.2 min.cvr=0.12 default.position=0.5 #デフォルトの全体順位 pttrn.num=100 #全パターン数 max.test.day=100 #テスト期間 day.uu=10000 #日ごとのUU signif.level=0.01 #有意水準(0.05,0.01,0.001で実験) 0.2 0.12 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 02468 x dnorm(x,0.3,(0.3*0.7/100)^0.5) 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 02468 x dnorm(x,0.4,(0.4*0.6/100)^0.5) 0.0 0.1 0.2 0.3 0.4 0.5 0.6 02468 prob.sample prob.density B A A-B 0 [シミュレーションのConfig] [足切の条件] BがAに勝つ確率が有意水準以下なら切ってしまう。このプロセスを毎日やった場合。

69. default.position=0.5 #デフォルトの全体順位 pttrn.num=100 #全パターン数 signif.level=0.1 #有意水準(0.1,0.05,0.01で実験)

70. default.position=0.5 #デフォルトの全体順位 pttrn.num=100 #全パターン数 signif.level=0.05 #有意水準(0.05,0.01,0.001で実験) 縦CVR,横Day 縦Pt数,横Day 縦CV数(赤最適化、黒全体) 横Day

71. default.position=0.5 #デフォルトの全体順位 pttrn.num=100 #全パターン数 signif.level=0.01 #有意水準(0.05,0.01,0.001で実験) 縦CVR,横Day 縦Pt数,横Day 縦CV数(赤最適化、黒全体) 横Day

79. 0 20 40 60 80 100 0.160.170.180.190.20 Index apply(pttrn.cv.mat,2,sum)/apply(pttrn.uu.mat,2,sum) 0 20 40 60 80 100 0100200300400500 Index active.craetive.num.v 0 20 40 60 80 100 050000100000150000200000 Index cumsum(rep(pttrn.cvr.v[default.num]*day.uu,max.test.day)) 0 20 40 60 80 100 050000100000150000200000 Index cumsum(apply(pttrn.cv.mat,2,sum)) default.position=0.9 #デフォルトの全体順位 pttrn.num=1000 #全パターン数 signif.level=0.01 #有意水準(0.1,0.05,0.01で実験)

81. 1 2 3 4 5 4 1 2 3 4 5 4 1 2 3 4 5 4 主効果のチャンピオンを発見する。 A B C 6エリア10クリエイティブ(1,000,000パターン) を用意してみる。 CVRが0.16の周りで、±0.04でばらつくようにする。 3因子の交互作用までは入るようにする。

82. 0 5 10 15 20 25 30 0.160.220.28 Index test.average.cvr.v 0 5 10 15 20 25 30 103050 Index deg.free.v 0 5 10 15 20 25 30 0e+006e+05 Index seach.space.size.v 6エリア10クリエイティブ(1,000,000パターン) ので有意水準(0.001)とき黄色い本にがんばれば100万~1000万でもいけると書いてあったので、参考までに増やしてみる。パターン数240 ここからノンパラメトリックな最適化を行う。

83. 0 5 10 15 20 25 30 0.160.220.28 Index test.average.cvr.v 0 5 10 15 20 25 30 02040 Index deg.free.v 0 5 10 15 20 25 30 0e+006e+05 Index seach.space.size.v 6エリア10クリエイティブ(1,000,000パターン) ので有意水準(0.05)とき

84. 早い分最適化の値が下がった

85. 多変量解析のためには再急降下法(今回のに一番近い) 山登り法シミュレイテッドアニーリング進化的アルゴリズムなどなどいろいろあります。なかにはかなり効率的に交互作用を考えながら最適化を行っているアルゴリズムもあります。が、どんな状況でもうまくいく究極のアルゴリズムなんてもんはありません。誰かがただ飯をおごってくれると言ったら大体裏があるものです。終わりに(No Free Lunch Theorem) 基本的には等価交換はいつも成り立ちます。私が尊敬する錬金術師はそれで体が半分持ってかれてました。計算コスト、足りないUUを自分たちの知恵で補い、LPOに関して言えばなんかうまくいくアルゴリズムを作っていきましょう！！

SlideShare for iOS

Views

Actions

Embeds 1

Report content

Transcript