最近A/Bテストの事例が紹介されることが増えてきましたが、そのほとんどはテストをした結果が向上した成功事例です。

毎回成功すればいいのですが、現実には当然ながら失敗することもあります。というより、むしろ実際は失敗することの方が多いです。

なかなか表にはでてきませんが、失敗事例は成功事例の数倍、数十倍あるもの。

だからこそ、そういった失敗も含めて結果を分析し、仮説の構築やテストの方向性を再設計していくことで最終的に成功に繋がることが大切です。

今回は株式会社ルクサ様にご協力頂き、数回のA/Bテストで成果がでず苦労をしながらも、失敗を糧にテストを再設計し成果に結びつけた事例を紹介します。

仮説を立て、繰り返しテストを実施するもなかなか成果が出ない

A/Bテストを実施したのは、高所得者向けクーポンサイト 「LUXA」のランディングページ。

ゴールを「新規会員登録件数」の増加に置き、外部のグロースハッカーからアイデアを募りテストをしました。

最初は”メインビジュアルの改善”に焦点を当て3回のA/Bテスト

最初は「メインビジュアルをより魅力的なものにすれば登録数が増えるのではないか」という仮説を立て、変更のポイントを主に背景の画像に置き、テストをしました。

気になる結果は、元案が最も高い登録率に。
1回のテストのみでは振り返りの材料が少ないため、同じ方向性のまま更にテストを2回実施しました。

合計3回のテストを実施し、複数案を試したものの、図の通り元案が最も登録率が高いという結果。

なかなか成果に繋がらず、ルクサの担当者様とKAIZENのコンサルタントで原因の分析や今後の方向性の議論を重ねます。

テストの方向性を見直したことで結果が一変

そうして迎えた4回目のA/Bテストで、遂に改善案が元案を上回るという結果に。

それまでの案がメインビジュアルの変更にフォーカスしたものだったことに比べ、今回の案は「食べログ3.5のお店も50%OFF!!」というキャッチコピーをより強調したものでした。

3度の失敗と今回の結果から新たな仮説を構築

これまでの失敗と今回の結果を振り返る中で、「実は画像がキャッチコピーの魅力を阻害していたのでは？」と新たな仮説が浮かび上がります。

そこで改善の方向性を再度議論し、「キャッチコピーを強調すること、及びキャッチコピーも別のものを作ること」とグロースハッカー向けのテスト依頼を再設計。

この要件で新たな案を集め、5回目のテストを実行してみます。

方向性の見直しが20%の改善に繋がる

テストの結果は以下のようになりました。

B案、C案ともに、文言の追加やフォントの拡大により、ユーザーが登録するメリットを強調する事で、20%以上の改善に成功。

失敗に終わった1-3回のテストの結果をしっかりと分析し、方向性を再設計したことが改善に繋がったと言えます。

継続的に結果を基にテストの方向性を見直し、最適化することがポイント

相性の良いグロースハッカーにより他のページも改善

今回のテストで効果の高かった案を投稿したグロースハッカーが他ページのテストにも参加し、改善案を投稿したところ、13%の改善に成功しました。

この事例を始め、それぞれのグロースハッカーに得意な分野やカテゴリがあり、得意な分野では高確率で効果的な案を出せることがわかりました。

KAIZEN platformでは今後「クライアントとグロースハッカーのマッチングの仕組み」を最適化することで、よりサイトの改善に繋がりやすい仕組みを作っていくので、楽しみにお待ちください。

ナレッジを溜め、さらなるスキルアップに繋げたいグロースハッカーの方は、是非こちらからご登録（無料）ください。