頻繁にA/Bテストを行い、継続して成果をあげているリクルートジョブズ社が運営する求人・転職情報サイト「はたらいく」。

今回は、はたらいくでA/Bテストを担当されている、鹿島拓也氏、飯野洋樹氏、佐瀬綾奈氏、佐藤陽一氏にA/Bテストのポイントや仕組みを伺ってきました。

特に案件出しから振り返りまでの一連のフローや実施ルールなど、A/Bテストを支える仕組みは是非参考して頂きたいポイントです。

case study-はらいくのA/Bテスト事例-

今回は、『毎日、毎週、毎月変わる商材』×『求人への申込（応募）が最終的なCV』という事例です。

求人系のサービスだけでなく、ECサイトやメディアなど、頻繁に情報が変わっていくようなサイトを運営する方には、特に参考にして頂けるかと思います。
(*A/Bテストのケースに関して関心がある方はこちらのスライドを参照ください)

【概要】

[サービス概要]

• 会社:株式会社リクルートジョブズ
• サービス概要:地元・地域密着型の求人・転職サイト「はたらいく」

[A/Bテスト概要]

今回は以下の2つの事例を紹介します。

1. メール登録文言のテスト
2. 募集要項のレイアウトのテスト

■1.メール登録文言のテスト

求人検索結果ページに設置されている、求人情報を受け取るためのメール登録の導線となるリンクのテストです。

実践A/Bテスト

変更ポイント

上記の4つのパターンでは以下を変えてテストをしました。
1.リンクのカラー
2.リンクテキストの文言
3.メールのアイコン

【結果】

改善案C『この検索条件の新着求人をメールで受けとる（無料）』が79%の改善

【解説・考察】

●リンクであることをきちんと強調する
ボタンやリンクについては、それがリンクであることを強調することが非常に大切です。

本事例では、一見改善案Aが枠などを使用していて目立つように感じますが、リンクであること（＝クリックできること）が一目ではわかりづらいです。

一方で他の3パターンは青色の下線をつけるなど、リンクだとわかりやすかったことが結果に繋がったと考えられます。

■2.募集要項のレイアウトのテスト

次に紹介するのは、一覧ページでの各募集要項のレイアウトのテストです。

【実践A/Bテスト】

【変更ポイント】

1. 表示項目のデザイン（文字数削減/項目ごとに区切り）
2. ボタンの文言（「応募する」➡「詳細を見る」）

【結果】

改善案A、Bともに詳細ページへの遷移率が10%向上

【解説・考察】

●ユーザーにとって見やすい、わかりやすいことが不可欠

文量や行数、境界線などを微調整するだけで、情報が整理されて見やすくなり、詳細ページへの遷移率が向上しました。

また、このテストの前段階で項目量を調整したり（給与の欄をなくす）、写真をなくしたりしたところ、

• 項目の量を減らした場合、わずかにページ遷移率向上
• 写真をなくした場合、遷移率が減少したため中止

という結果がでました。

やみくもに情報量を減らせばいいわけではなく、ユーザーにとって必要な情報をわかりやすく伝える工夫が必要だとわかります。

はたらいく流A/Bテスト成功マニュアル

ここからは、はたらいくがなぜこのようにA/Bテストを上手く仕組み化して継続できているのか、その秘訣を紹介します。

A/Bテストの全体図

はたらいくのA/Bテストの仕組みを理解する上で、まず最初に押さえておきたいのがA/Bテスト一連の流れです。

A/Bテストを実施する頻度は1,2週間に１回程で、1つのテストに関しては、①〜⑧の全行程でだいたい2-3週間くらいをかけて行っています。

以下ではその中でも特に参考にして頂きたい「案件だし」「テスト&モニタリング」「振り返り」のポイントについてみていきます。

案件出し

案件出しの段階で重要となるのは、アイデアベースで様々な視点から少しでも多くの案を出すこと。

とくに職種やポジションなどに関わらず、思いついたアイデアを貯めていくことがポイントとなります。

はたらいくでは、Excelで案件だし専用のフォルダを作っていて、そこにどんどんA/Bテストのアイデアを貯めていくようにしているそうです。

とにかく思いついものからどんどん書き込みます。実際にどの施策をやるかは、その時々によって重要な指標が変わっていくので、それに合わせて決めていきます。

この段階で大切にしていることは、変更するポイントやデバイスなどの制約は特に設けず、まずは案をどんどん貯めていくことに重きを置いています。

また実際のアイデアの出し方については、

• 他社の事例を参考にする
• 自分たちで頻繁にサービスを使ってみる
• ユーザーインタビューの内容を参考にする
• ユーザーテストの結果を参考にする

などが中心になるとのこと。

ページ全体のレイアウト変更といった大きめの改善から、事例として紹介したボタンの色やアイコンなど細かい改善まで、規模を問わず様々なテスト案をためていきます。

テスト実行&モニタリング

アイデアの絞り込みや準備が終え、実際にテストを行う際にポイントとなるのが、とにかくスピーディーにサイクルを回すこと。

テスト実施の翌日にまず初速の確認をし、テストを継続しても大丈夫かの判断をします。

全体でもだいたい1-2週間くらいで終わるようにしたいので、その期間で信憑性のある結果がでるようにCVの数などを調整することを意識しています。

大幅な改善をすることもあるからこそ、モニタリングやテストを中止するための用件を予め明確に定めておくことは必須です。

はたらいくでは、細かいA/Bテストのルールを明文化し、これに従い案件出しから振り返りまでのサイクルを回していきます。

振り返り

テスト終了後の振り返りは、結果が良くても悪くてもきちんと残しておくこと。

はたらいくで実施した施策が全て成功するかというとそんなことは決してなく、失敗することも少なくないといいます。

ただ、結果に関わらず必ずやっているのが、テスト結果をきちんと知見として貯めていくという点です。

結果が良い時はメールなどで速報で共有しますが、微妙な時は特に表立って共有はしません(笑)。

ただシートに記入していつでも見れるようにはしていますし、ある程度たまった段階で資料にして振り返り・共有をします。

はたらいくのA/Bテストを支える風土

はたらいくの改善を担当する方々。写真左より、

• 鹿島拓也氏(はたらいくWeb開発ディレクター)
• 飯野洋樹氏(はたらいくエンジニア・スペシャリスト)
• 佐瀬綾奈氏(はたらいくUI/UXスペシャリスト)
• 佐藤陽一氏(メディア統括Web開発ディレクター)

コミットと権限委譲

このようにしっかりとした仕組みがあり、事業部全体でグロースハックなマインドが浸透しているはたらいくチーム。

ただ、もともと以前からこのような考え方であったかというと、決してそうではなかったといいます。

サービスを継続的に成長させることを考えた上で、2月くらいから少しずつ始めていきました。

その上で、やみくもにやっても枯渇するからきちんとルールを決めた上で、現場に権限移譲をした上でしっかりとコミットしようという流れになり、そこからは“スピード感をもってやりながら考える”という体制になりました。

はたらいくのA/Bテストのルールで是非とも参考にしたいのが”ルールの粒感”。

フローやテストを中止する際の用件など最低限の部分をきちんと明確にした上で、現場に権限を移譲することがスピーディーなサイクルを支えています。

成功事例がでたことから、より市民権を得た部分もあります。今では“頼みの綱のA/Bテスト”と思われる程、集客担当など、周囲からの見方も変わってきました。

社内の理解を得ることや、特定の個人ではなく、社内にグロースハックマインドを浸透させることが、継続的な改善活動を行っていく上で大きな鍵となります。

その際に「最低限の仕組みを作ってまずはチャレンジし、その結果を社内にナレッジとして蓄積・共有し続ける」という点は、是非参考にして頂きたいポイントです。

常に何かを動かしておく

最後に、実際にA/Bテストを継続する上で特に意識していることを伺うと、「とにかく止めないこと」だといいます。

気持ちの上では常に何かを動かし続ける、どんどん新しいことを試し続けるということを大切にしています。

一方で、テストをする回数が多ければ多い程いいというわけでもないので、現状ではテストの回数などをKPIに置いたりはせずに、しっかりと質を担保した上でテストを重ねています。

終わりに

今回は、『毎日、毎週、毎月変わる商材』×『CVが求人への申込（=応募）』の事例でした。

毎日、毎週、毎月変わる商材

はたらいくのような求人サービスでは、頻繁に商材（情報）が更新されていきます。

ECサイトなどもそうですが、こういった場合には、「全てに共通するようなフォーマットとなる部分をいかに最適化できるか」がポイントです。

各ページに共通するアクションボタンの変更や、募集要項のレイアウト変更など、フォーマット自体を改善するようなA/Bテストを行っていきましょう。

申込がゴール

今回の事例では、最終的なCVを申込としながらも申込ページへの遷移率や、メール登録数などその手前にある数値を目標としたテストも実施されていました。

最終的なCVRはきちんと追いつつも、その手前となる指標を見ながらテストをすることも大切です。

特に絶対的なCVが少なすぎる場合にはA/Bテストをしても結果の信頼度が落ちてしまうため、CV数が3桁以上になるようなCVを設定しA/Bテストをすることをオススメします。

はたらいくからのお知らせ

リクルートジョブズでは、はたらいくチームをはじめ、一緒にグロースハックしていく仲間を募集中とのこと。ご興味のある方は、まずは詳細をご確認ください。