ちびクロの細かすぎて伝わらないネットサービスの話 クックパッドとトウキョウオタクモードのABテスト方法を比べるとABテストをただのウェブ改善で終わらせるのは勿体無いことが凄くよくわかる

ABテスト流行ってますね。

optimizelyなどの海外ツールであれば月に数千円、Googleのウェブテストであれば無料で実施できます。

一方で多額のコストをかけて取り組んでいるものの思うような成果が出ていないというケースも見聞きし、成果を出すためのテスト方法はまだ浸透していないと考えています。

そのため今回の記事の目的は成果を出すためのABテストの方法を理解することです。

結論としては

・訴求方針が大きく異なる仮説を複数用意する
・小さなテストによって検証する
・パフォーマンスが良かった仮説をウェブ以外に展開する

これが大きく成果が出せるABテストです。

これを理解するにはトウキョウオタクモードというコミュニティサービスとクックパッドそれぞれが公開しているABテストの方法を見比べるのが最適だと考えています。

・仮説の立て方が最大の違い
・クックパッドのテスト方式の最大の価値は知見を転用できること
・トウキョウオタクモードのテストアプローチがはまるケース

これらをひとつずつ解説しましょう。

■最大の違いは仮説の切り口

トウキョウオタクモードとは全世界に1500万人のフェイスブック上のファンがいる日本のオタクカルチャーを扱ったウェブサービスです。

現在フェイスブックからウェブサイトにユーザを送客させて、会員登録を促すことに取り組んでおり自社のブログでABテストの進め方を公開しています。

Tokyo Otaku Modeのグロースハック術を公開　ABテスト実例
http://blog.otakumode.com/2014/07/24/growth-hack-AB-Test/

テストの検証対象を見ると、ブログに掲載されているのはボタンの大きさや色、レイアウトなどインターフェースの改善がメインです。

こういった方法は稀に成果出るケースもありますが、ほとんどの場合はあまり大きな成果が見込まれません。むしろテストを実施した時期によっては成果が逆になったりすることもあります。

一方でクックパッドのテスト方法は検証対象が違います。

執行役員の加藤さんがテスト方法をスライド公開しているので見てみましょう。

見るとまず自社メルマガを活用し複数のテキスト案のコンバージョン率を検証しています。

前提としてウェブサイトで成果を出すための改善ポイントは

・インターフェース
・シナリオ

2つの要素に分けることができます。

インターフェースはウェブの形や色などに該当する要素で、シナリオはユーザに何をどう伝えるのか？という訴求と呼ばれる要素です。

営業マンに例えると身だしなみがインターフェースで、セールストークがシナリオですね。

クックパッドの検証対象はボタンの色や大きさといったインターフェースではなく、自社のサービスをユーザにどのように伝えれば最も成果が出るのか？というシナリオの検証になっているのが最大の違いです。

トウキョウオタクモードが行っているボタンの背景色やデザインを変えたテストは営業マンのネクタイの色を変えるようなテストみたいなもので、クックパッドのテストはセールストークの中身を変えています。

まあどっちも大事なんですがシナリオ改善のほうがインパクトはあることが多いです。

まずシナリオベースの改善の良さを説明してから、インターフェースの改善が有効なケースを説明しましょう。

■マーケティングの成果を最大化できるABテスト

クックパッドのようなテスト方法のメリットとしては

・コストを抑えられる
・大きな改善につながる
・別の施策に転用することでマーケティング成果を最大化できる

ことが挙げられます。

クックパッドはメルマガのテキストの成果をもとにランディングページの改善に展開させているので、いきなりランディングページを複数用意するよりはコストを抑えられます。

またシナリオを対象としたテストは数字が大きく変化することが多く、コンバージョン率が倍以上の成果改善につながるケースがあります。もちろん逆もしかりです。

そして最大のメリットは得られた知見を別の施策に展開をすることでマーケティング全体のパフォーマンスを最大化できることです。

この場合の知見とは「どういったセールストークがユーザのアクションを最も促せるのか？」にあたるコンテンツ訴求案です。

クックパッドは知見という言葉を社内で使っているのがわかります。

仮にお手軽の訴求のパフォーマンスが最も高いことがわかれば、よりお手軽感を伝えるためにどのようなコンテンツが必要なのか？と文言だけではなくウェブ上のコンテンツに踏み込んだ改善につなげることができます。

またユーザに響く価値は何なのかを理解できているため、ウェブだけでなく様々な施策に展開が可能になります。

お手軽感という訴求が最もパフォーマンスが良かったのであれば

・お手軽感を強くイメージさせるイラストをアプリのダウンロードページに展開
・クックパッドを利用している方へのインタビューを掲載する際にお手軽だと感じているエピソードをヒアリングしコンテンツに展開
・店舗アフィリエイトの営業の際にクックパッドをすすめるときにお手軽感を伝えるスクリプトを用意
・ポスティングやチラシの訴求にお手軽感を展開
・テレビCMのコンセプトにお手軽感を展開

などなどの様々な施策時にお手軽感を伝えるトーン＆マナーを展開させることで、全体の効果を底上げできるようになります。これがシナリオ改善の最大の価値です。

実際公開しているスライドを見るとメルマガのテキスト訴求で得た知見をもとに、アプリ登録ページの改善に役立ててるのがわかります。

このあたりの詳細は加藤さんが書いている書籍グロースハックの後半部分にも書かれています。

また売れるネット広告社はウェブのABテスト訴求案をTVCMに展開させることで、CMの成果を最大化させるサービスを先日リリースしましたがこれと考え方は同じです。

TVCMや新聞広告などマスメディアでは【ABテスト】ができない！？広告主の皆様、もう広告クリエイターに"カモ"られるな！
http://www.ureru.co.jp/blog/archives/600

ウェブ以外の施策に転用という話になると、ボタンの色や大きさのみを変えて得られた知見では難しいものがあります。

ただし有効なケースもありますので解説します。

■インターフェースの改善が有効なシーン

例えば人材サイトの検索結果の表示件数を何件にするのが最もCVRが高いのか？といった検証は

・20件
・30件
・40件
・50件

と出し分けてテストするのは有効でしょう。

件数を増やせば表示スピードは遅くなるケースが多いですが、検索結果を減らしすぎるとページ送りの回数が多くなります。

フォームの入力項目の多寡も同様です。減らせばCVRは高くなりますが、冷やかしのお客さんも多くなりますし、増やせば熱量の高いお客さんは増えますがCVRは減ります。

このようなインターフェースと成果のバランスを最大化できるポイントを特定するためにはテストが有効です。

Yahooが検索窓の大きさを調整して、売上を最大化したという話がありましたがまさにこれに該当しますね。

こうした徹底的なライブテストの例として、村田氏はYahoo! JAPANの検索窓を縦22ピクセルから縦28ピクセルに拡大した試みを紹介した。枠のサイズをたった6ピクセル大きくしたところで何も変わるはずはないと考えるのが一般的な感覚だろう。ところが、実際にこのテストを実施してみたところ、検索回数が増え、年間5億円以上の売上向上に結びつくことが明らかになったのである。
http://news.mynavi.jp/articles/2014/05/28/talend_bigdata005/

ABテストではこのように検証対象を分けて考えるのが成果を出す肝です。

■ABテストで大事なことのまとめ

私自身以前までは、ボタンの色や形、デザインやレイアウトを対象としたテストに取り組んでましたが大きな成果はもたらせんでした。

その後インターフェースとシナリオに分けて改善に取り組んだところ、2倍以上のコンバージョン率アップやCVR10％達成（業界平均3％）などといった大きな成果を出せるようになりました。

今ABテストに取り組んでいるものの、大きな改善ができていないと悩んでいる方は

・切り口を大きく変えた仮説を用意する
・小さく試す
・別の施策に展開させる

このような観点でテストに取り組んでみてもらうことをオススメします。特に初めに用意する仮説は極端なぐらいバラバラで構いません。結果が良かった訴求案を深堀りすることで低コストに成果を伸ばせます。

最後にABテストで成果を出すためのオススメの記事を紹介しましょう。このあたりは勉強になると思います。

ABテストはCを見つけるためにある
今回書いたことはこの記事で書かれていることとほぼ同じです

ABテストでおかしがちな7つのミス
海外のvisualweboptimizelyというABテストツールの翻訳記事です。ミスのひとつに小さなテストにとらわれるなとありますがインターフェースレベルのテストは結果にあまり差が出ないぞという話ですね。

これは恐ろしい！全く同じ画面でABテストを実施したら・・・
テスト結果には誤差があるという話ですが、今木氏のコメントにある「経験に基づいてある程度の見切りで繰り返す方が良いケースも多く」が興味深いです。

それではこまたの場所でお会いしましょう！

Copyright© 2014 ITmedia, Inc. All Rights Reserved.