のつづきです。
ここでは参考事例を書いていきます。数字が多いですが、あまりそこは気にせずに、やるべきことの流れをおおまかに捉えてもらえればOKかと。
SNSを運営しているA社の例
■ 言葉の定義の確認
A社では次のように言葉を定義しています。
KPI
「ある特定の仮説検証における、重点観察すべき傾向の変化」
データ
「KPIを取得するために必要な情報や、その他の雑多な情報」
目標値
「設定したKPIをいつまでに、どの数値まで改善するか」
■ 直近の目標
AARRRのうちActivationにフォーカスし、3ヶ月以内に2日目継続率を40%から70%に向上させる。
（補足1）
AARRRについてはこの記事が詳しいです。
「AARRR」 今更だけど絶対抑えておくべきグロースハッカーのコンバージョンの見方
（補足2）
グロースハックという言葉に踊らされるな。まず当たり前のことをやろう。【リーンアナリティクスとグロースハック】
によると「何個もKPIを設置するな」「自分のプロダクトの現状に合わせた、非常に重要な１つだけの指標にフォーカスすべき」とあります。
今回の参考事例では「2日目継続率を40%から70%に向上させる」が重要指標に該当します。ただし、この数値はA社にとっては目標値であり、KPIとは呼んでいません。直前の記事で書いた通り、社内で言葉の定義が共通化できていれば十分です。
■ 仮説
会員登録した日に5人以上をフォローさせると、2日目の継続率が上がるのでは無いか？
■ 検証結果
5人以上フォローした場合の2日目継続率：70%
それ以外の場合の2日目の継続率：20%
50%の違いがあることが発見できた。
初日に5人以上フォローしている人の割合が、その日に登録した人のうち20%であることも発見できた。
■ 施策の候補
- 2日目継続率を70%から90%に上げる
- 初日に5人以上フォローしている人の割合を、20%から80%に増やす
- これ以上の改善は難しそうなので、この仮説検証は捨て別の仮説検証を行う
■ 決定した施策
まずは候補2に着手するのが効果的だと判断した。会員登録フローの中で、質の高いおすすめユーザーをフォローさせる機能を実装する。
■ KPIを設定
設定したKPIは3つ。
- 初日に5人以上フォローした人の数が、施策によってどのくらい変わったか
- 「5人以上フォローした場合の2日目継続率70%」という前提が、施策の影響によってどのくらい変わったか（若干下がることを想定）
- 改善サイクルの中で施策の内容をチューニングした結果、1と2の数字がどのくらい変わったか
■ セグメント
- iOSとAndroidで傾向に違いがあるので、それぞれ分けて数字を取ることにする
- 国によっても傾向に違いがあるのと、流入数にも差があるので、流入数が多くて分析データのサンプルを作りやすい日本と米国のみでひとまず仮説検証を行う。
■ KPIの目標値
初日に5人以上フォローした人の割合について、1ヶ月で現状の20%から80%に増やす
■ 仮説検証サイクルで用いるその他のデータ
- 国やOSでセグメントされたサンプル数
- 施策をすべての国やOSに広げた場合の母集団
- 国ごとの数字の違い
- 検証施策前の数字
- 検証施策後の数字
- 検証施策のコンバージョンレート
などなど
ここまでやりきってから実装を始めよう
そういえば、まだコードは書いていませんでした。これより前に実装を始めてもゴミデータに振り回されるだけで徒労に終わります。
ここまで来れば、あとは素早く改善サイクルを回していくだけ。頑張りましょう！