『ＡＢテストを実施したけれど、良かったのか悪かったのかよくわからない』
そんなことってよくありますよね？
ベビー服EC『べびちゅ』でも『結果を見ても、よく分からない』といったことが、よくあります。
でも今回の失敗はもっとひどいです。『結果自体』が出なかったんです・・・。
まず、今回のテストの経緯を話しますね。
べびちゅでは、数多くのクーポン施策のテストを行ってきました。
その結果、『値引き額固定型クーポンが客単価を下げる』と結論付けました。
（『値引き額固定型クーポン』というのは、値引き額が固定されているクーポンのことです。）
そして、５％引きクーポンのような『値引き額変動型クーポンは、客単価を上げる』ことも分かっています。
なので、べびちゅでは、クーポン施策をうつ場合には『値引き額変動型クーポン』を配布するようにしています。
なお、クーポン施策のテスト結果は、『「400円引きクーポン」の客単価が1,525円も下がった理由』、『 売上と粗利を最大化するクーポンが見つかった』で詳しく説明していますので、ご参考にしてください。
以上から『値引き額変動型クーポン』を活用していますが、
『本当に値引き額固定型クーポンは客単価を上げられないのか？』
について、べびちゅ内でも疑問の声が上がっており、『値引き額変動型クーポン』で客単価を上げる方法をテストすることになりました。
ところが・・・。
対象クーポンを利用した会員がゼロ・・・。
これでは、クーポン施策の検証ができません・・・。
今回、『なぜこんな失敗が起きたのか？』について考察した後、失敗を踏まえて『どうすれば成功するＡＢテストを実施できるか』について説明したいと思います。
目次
テストの概要
今回のテストは、『値引き額固定型クーポンを使って客単価を上げる方法』を見つけることが目的でした。
成果の感触をまず掴みたかったので、小規模なテストとしました。
実施したテストの内容は、次のとおりです。
- 対象となるクーポンの付与人数：236名
- クーポン利用人数（予測）：５名前後
- クーポン内容：8000円以上購入で使える『400円引きクーポン』
- クーポン有効期間：２日間
- クーポン付与の告知方法：メルマガ
- べびちゅ特有の事項：べびちゅでは、8,000円以上購入で『送料無料』
- 比較対象となるサンプル数：105件（あらかじめ設定した母集団のうち、クーポンを利用せずに購入した件数）
次に、うまくいかなかった原因について順に説明します。
想定されるクーポン利用者数の読み誤り
うまくいかなかった１番の理由は、『クーポン利用者数（予測）』を読み誤ったということです。
過去のクーポンの利用状況から考え、５名くらいはクーポン利用があると思いましたが、見事に外れました。。
では、なぜ過去の利用状況と比較したにも関わらず、大きく異なる結果となったのでしょう？
『クーポンの魅力』が足りなかった
クーポン利用者が出なかった1つ目の理由として、クーポンの魅力が足りなかったからだと推測しています。
『クーポンの魅力』は、『クーポンの値引き額』と『クーポンの利用期間』、『クーポンが使えるようになる条件』によって、決まります。
『クーポンの魅力』の具体例としては、
・値引き額は大きい方がいい
・利用できる期間は長い方が使いやすい（買いたいときに買えるほうがいい）
・5000円以上お買い上げのお客様に使えるクーポンより、無条件で使えるクーポンのほうがいい
などになります。
これらの『クーポンの魅力』と照らし合わせて考えると、今回のテストでクーポンを受け取ったお客様は、こう思ったのではないかと推測できます。
・8000円以上購入で400円くらい引いてくれてもうれしくない
・クーポンが利用できる期間が短すぎて、利用しにくい
・8000円以上買えって言われても、今はそこまでほしいものないし。。
このように考えると全く魅力なしですね。。
ですが、弊社としても無駄に値引きはしたくありません。
また、8000円以上購入にしたことには意図があるので、この条件も外せません。（8000円以上購入にした意図については、次回以降の記事で説明したいと思います）
本テストの場合、クーポンを利用できる期間を長くして、クーポンの魅力を高めるということが、正解だったようです。
クーポン付与対象人数（テスト対象人数）が少なかった
どんなに反応が薄くても対象人数を広げれば、一定数が反応してくれます。
今回のクーポンの魅力レベルであれば、５～10倍くらいの付与人数が必要だったと反省しています。
今回のテストでは、対象クーポンの付与人数を1000～2000人くらいに広げてテストをするのが正解だったようです。
弊社の失敗に学ぶ『成功するＡＢテスト』の実施方法
弊社の今回のＡＢテスト。
結局、なにが失敗だったのでしょう？
最大の失敗は、ＡＢテストが成立しなかったことです。
つまり、調査したいサンプル（クーポンを利用した購入者）が集まらなかったことです。
確かに、弊社のようにサンプルが集まらないという極端な例はまれかもしれません。
しかし、サンプル数が十分でないまま、ＡＢテストの結論を出そうとすることは、割と多くの企業で行われています。
たとえば、ＥＣサイト流入後の受注率を改善するためのＡＢテスト。
今までの受注率は１％前後だったとします。100流入で、０（ゼロ）か１くらいの受注です。
サンプル数が100以下であれば、かなり数値がぶれることが分かると思います。
ですので、100流入の10倍の1000流入くらいは、最低でも流入を集めないとテストになりません。
以上から、ＡＢテストを成功させるコツは、
『このサンプル数でＡＢテストの結果を評価できるか？』という観点で必要なサンプル数を設定する
ことです。
受注率１％の例でいうと、
『100流入で1受注くらいだから、1000流入で10受注くらいか。これくらいは必要だな。』
といった形で、サンプル数を設定していきます。
最後にひとつ。言い訳をさせてください。
今回のテストでも、『クーポン利用人数（予測）』を５名前後と設定はしていたんです。
今回の失敗は、サンプルを集めるロジックが正しくなかったということです。（次に活かします！）
まとめ
- サンプルを集めは、サンプルを集めるロジックが間違っていると失敗する
- べびちゅの今回のテストでは、『クーポンの魅力』と『テスト対象となる人数の設定』を読み違えた
- ＡＢテストで成功するには、ＡＢテストを評価するのに十分なサンプル数かどうかをあらかじめ見積もったうえで、テストを実施することが重要
- べびちゅでは、本失敗の次に活かし、なんとしても客単価が上がる『値引き額固定型クーポン』を見つけたいと思っている
以上、本記事が貴社のＥＣ運営に役立てば幸いです。