DAUを評価指標から捨てた会社の話 #tokyowebmining

DAUを評価指標から捨てた会社の話 #tokyowebmining

1. 1. Copyright Drecom Co., Ltd All Rights Reserved.DAUを捨てた会社の話
2. 2. Copyright Drecom Co., Ltd All Rights Reserved.お前誰よ@tokoroten株式会社ドリコム勤務ソーシャルゲーム事業部データ分析グループ高機能雑用R&D&火消し&企画＆PM補佐＆PO補佐最近、インフラ業務が外れた社畜グッズとか作ってますhttp://please.shachiku.me/
3. 3. Copyright Drecom Co., Ltd All Rights Reserved.休日の風景：アウトドア
4. 4. Copyright Drecom Co., Ltd All Rights Reserved.休日の風景：インドアタッチパネルのミドルウェア書きhttp://www.youtube.com/watch?v=9ItrDVsfvsM
5. 5. Copyright Drecom Co., Ltd All Rights Reserved.DAUとは何か？Daily Active User一日に何人の人がサービスにアクセスしたかサービスの規模を表す指標のひとつよくARPUと合わせて利用されるARPUAverage Revenue Per User会社によってDailyだったりMonthlyだったりこのスライドではARPUはDaily ARPUユーザ平均課金額
6. 6. Copyright Drecom Co., Ltd All Rights Reserved.DAUとARPUはなぜ利用されるのか？サービスの性質に依存しない指標アプリを跨いで比較可能ゲームでもSNSでもアプリでも使えるえらい人が大好き売り上げ＝DAU*ARPUARPU＝売り上げ/DAU経営管理に利用しやすい複数のアプリを比較できる他社との比較ができる
7. 7. Copyright Drecom Co., Ltd All Rights Reserved.DAUやARPUは他社と比較するための言語http://internet.watch.impress.co.jp/docs/news/20120629_543732.html
8. 8. Copyright Drecom Co., Ltd All Rights Reserved.DAUやARPUを使って、アプリの改善ができるか？だめぽよDAUはノイズが大きい定常的なホワイトノイズユーザの気まぐれ、休眠復活スパイクノイズ広告出稿、インストールの増大DAUのノイズがARPUを引きずるDAUは収益に結びつかないユーザを多く含むえらい人が使うための指標を無理やり現場で使う必要は無いアプリの改善のためにはノイズを除去したサービス規模を表す指標が必要
9. 9. Copyright Drecom Co., Ltd All Rights Reserved.改善のための母国語が必要https://twitter.com/tama_mie/status/42550604505161728https://twitter.com/nemuinemu/status/229480836469248000
10. 10. Copyright Drecom Co., Ltd All Rights Reserved.DAUのホワイトノイズ
11. 11. Copyright Drecom Co., Ltd All Rights Reserved.DAUのホワイトノイズはなぜ起こる？ユーザの気まぐれ気が向いたので起動ログインボーナス目当て曜日変動休日だから遊ぶサーバメンテでサービスダウン計画メンテサーバの突然の死
12. 12. Copyright Drecom Co., Ltd All Rights Reserved.ホワイトノイズの問題昨日より高かった低かったで一喜一憂経験の少ないディレクターほど顕著経験の多いディレクターはDAUを見なくなるそれはそれでマズい偉い人もこれをみて一喜一憂方針が朝令暮改でブレまくる長期スパンで傾向を見る必要があるノイズ除去が必要
13. 13. Copyright Drecom Co., Ltd All Rights Reserved.DAUのスパイクノイズ
14. 14. Copyright Drecom Co., Ltd All Rights Reserved.DAUのスパイクノイズはなぜ起こる？基本的にはインストールの増加広告出稿クロスプロモーション例）ケリ姫スイーツ×にゃんこ大戦争http://www.gungho.jp/kps/event/130426nyanko_zjyq60fe8u.html
15. 15. Copyright Drecom Co., Ltd All Rights Reserved.インストール増がスパイクになるのは？インストール直後に急激に離脱翌日：50%、一週間：15%（一例）
16. 16. Copyright Drecom Co., Ltd All Rights Reserved.DAUのスパイクノイズの問題DAUの急増にえらい人が反応する指示の朝令暮改で現場が混乱ARPUが著しく下がる新規インストールでDAU（分母）が急増ARPU＝売り上げ/DAU新規ユーザはサービスにお金を払わない傾向えらい人が反応する「DAUが上がってるのにARPUが下がったら意味無いじゃないか！」ARPUの本質を理解せず、ただの指標として利用DAUのスパイクノイズを除去して考える必要
17. 17. Copyright Drecom Co., Ltd All Rights Reserved.DAUのノイズ除去のゴール2つのノイズホワイトノイズユーザの気まぐれが起因スパイクノイズインストールの急増、広告出稿に起因両者を除去できるアルゴリズムが必要移動平均などは定常的なノイズには対応できるがスパイクノイズには対応できない
18. 18. Copyright Drecom Co., Ltd All Rights Reserved.７日移動平均 （やってはいけない）
19. 19. Copyright Drecom Co., Ltd All Rights Reserved.他社事例：gloopshttp://www.inside-games.jp/article/2012/08/21/59091.html【CEDEC 2012】ソーシャルゲームを牽引するgloopsが取り組むデータマイニングによる改善とは
20. 20. Copyright Drecom Co., Ltd All Rights Reserved.他社事例：gloopsDAUをBUとFUに分解DAU=BU+FUBU：Base Userインストール後30日以上のユーザFU：Follow Userインストール後30日未満のユーザBUを予測することで、広告の効果測定広告によって、30日後継続率はバラバラ1日後継続率/30日後継続率は広告によらず一定（らしい）1日後継続率から30日後継続率を予測
21. 21. Copyright Drecom Co., Ltd All Rights Reserved.他社事例：コロプラ2013年9月期第2四半期決算説明会資料http://colopl.co.jp/ir/library/presentation.html要約：インストール後7日以上経ったユーザをDAUとしてカウント
22. 22. Copyright Drecom Co., Ltd All Rights Reserved.gloopsとコロプラの違いgloopsはインストール後30日経過ユーザをカウント広告の効果測定の傾向が強いコロプラはインストール後7日経過ユーザをカウント広告によるスパイクノイズ除去本質的にはどちらも同じ今回はインストール後7日経過ユーザのカウントを検証
23. 23. Copyright Drecom Co., Ltd All Rights Reserved.コロプラ式DAUの検証広告出稿
24. 24. Copyright Drecom Co., Ltd All Rights Reserved.コロプラ式DAUの検証広告出稿
25. 25. Copyright Drecom Co., Ltd All Rights Reserved.コロプラ式DAUの結果インストールによるスパイクノイズの除去は出来た広告で休眠ユーザが戻ってきた場合対応できず同じ広告チャネルに、クリエイティブの異なる広告を出したところ、別のアプリだと勘違いして、過去にインストールした人が広告経由でプレイ定常的なノイズは除去できず
26. 26. Copyright Drecom Co., Ltd All Rights Reserved.ドリコムで利用している指標ゲーム定着ユーザ5日連続でプレイしたユーザをカウントgloopsさんのDAU=BU+FUから着想DAU=定着ユーザ＋非定着ユーザインストールによるスパイクノイズを排除Install後5日たたないとカウントされないコロプラの7日後カウントとほぼ同等ホワイトノイズを排除ホワイトノイズの原因はユーザの気まぐれ気まぐれでログインしたり、ログインしなかったりするユーザを排除毎日ログインしてくれるユーザは固定的
27. 27. Copyright Drecom Co., Ltd All Rights Reserved.定着ユーザDAUの検証
28. 28. Copyright Drecom Co., Ltd All Rights Reserved.定着ユーザDAUの検証
29. 29. Copyright Drecom Co., Ltd All Rights Reserved.定着ユーザDAUの特性スパイクノイズを排除広告による休眠復活にも対応定常的なノイズを排除気まぐれなユーザを排除ただし、DAUの8割程度の値になる注）アプリによってこの値は異なるゲームに定着した優良顧客のみを抽出ゲームが面白くないと急激に下がるイベント運用の指標に出来る売り上げの過半数を占めるこの人数が売り上げにほぼ直結
30. 30. Copyright Drecom Co., Ltd All Rights Reserved.定着ユーザDAUは売り上げの大半を説明青：定着ユーザ/DAU緑：定着ユーザ売り上げ/全売り上げこのアプリの場合、80%の定着ユーザで、95%の売り上げを説明注）アプリにより性質は若干異なる
31. 31. Copyright Drecom Co., Ltd All Rights Reserved.コロプラ式DAUの場合赤：コロプラ式DAU/DAU紫：コロプラ式DAU売り上げ/全売り上げこのアプリの場合、98%のユーザで、95%の売り上げを説明
32. 32. Copyright Drecom Co., Ltd All Rights Reserved.定着ユーザの利用状況全アプリで定着ユーザを利用DAUは参考値定着ユーザをいかに増やすかに注力定着ユーザに至るまでのユーザも出力過去5日間に当該日を含んで何回プレイしたかでユーザを分類DAU=5day+4day+3day+2day+1day1dayは休眠復活とinstallに分解チュートリアル改善や広告効果も読める
33. 33. Copyright Drecom Co., Ltd All Rights Reserved.5day継続当該日時5日連続アクセス
34. 34. Copyright Drecom Co., Ltd All Rights Reserved.4day当該日時5日中4日アクセス
35. 35. Copyright Drecom Co., Ltd All Rights Reserved.3day当該日時5日中3日アクセス
36. 36. Copyright Drecom Co., Ltd All Rights Reserved.2day当該日時5日中2日アクセス
37. 37. Copyright Drecom Co., Ltd All Rights Reserved.1day当該日時当該日時のみアクセス
38. 38. Copyright Drecom Co., Ltd All Rights Reserved.とあるリリース直後のゲームDAU減、定着ユーザ増加↓広告出稿量を減らす
39. 39. Copyright Drecom Co., Ltd All Rights Reserved.広告出稿の効果を見る↓広告出稿＋チュートリアル改善↑広告流入が定着↓広告出稿新規インストールよりも休眠復活が多い↓↑定着しない
40. 40. Copyright Drecom Co., Ltd All Rights Reserved.定着ユーザの特性(good)下がるときは翌日失敗したときにすぐ分かる上げるときは5日後成功はなかなか分からない失った信頼を取り戻せたと確信できるのは5日後
41. 41. Copyright Drecom Co., Ltd All Rights Reserved.定着ユーザの特性(bad)定期メンテナンスで波打つ↓定期メンテ ↓定期メンテ定期メンテで数時間サービス停止すると、その時間にログインできなかった人の分の定着ユーザが減少
42. 42. Copyright Drecom Co., Ltd All Rights Reserved.定着ユーザの改善（試行錯誤中）定着ユーザ＝4日プレイ+5日連続プレイ4day+5dayにすると、メンテナンスによる5日分の凹みが、1日分だけになり、グラフが滑らかになる↓定期メンテ ↓定期メンテ
43. 43. Copyright Drecom Co., Ltd All Rights Reserved.まとめDAUは他社と比較するための指標自分たちの改善のための指標が必要DAUには二種類のノイズ人間の気まぐれから来る定常的なホワイトノイズ広告に伴うスパイクノイズ他社事例（gloops、コロプラ）インストール後N日経過ユーザのみをDAUとしてカウント、スパイクノイズを除去定常的なホワイトノイズは残るドリコムで利用している指標5日連続プレイユーザ定常ノイズと、スパイクノイズを除去
44. 44. Copyright Drecom Co., Ltd All Rights Reserved.その他見ている指標5分以上プレイユーザ(紫の曲線)ゲームの熱中度を計測
45. 45. Copyright Drecom Co., Ltd All Rights Reserved.#TokyoWebmining会場でのQ&Aなぜ5日なのか？ほかの日数では？社内の統計屋の出したモデルをベースにしてエイヤモデル例過去n日間ログインがあると翌日プレイする確率はXX%プレイ、ログイン無し、のパターンではXX%モデルに基づいて、5日でエイヤほかのパラメータも試したが、ノイズカットと応答速度の面から5日を採用特定のアプリのアクセスパターンをベースにモデル化しているので、アプリが異なると5日が最適解では無くなる可能性がある
46. 46. Copyright Drecom Co., Ltd All Rights Reserved.#TokyoWebmining会場でのQ&Aこれはブラウザアプリでのみ成り立つのか？ネイティブアプリでも成り立つのか？ドリコムの持っているネイティブのアプリでも利用している問題なく使えているアプリの性質によって定着＝5日というのは見直さないといけない
47. 47. Copyright Drecom Co., Ltd All Rights Reserved.#TokyoWebmining会場でのQ&Aこの指標を使って広告効果を調査しているのか？広告効果の計測にこの指標を使ってはいないグラフを人間が見て、異常値を見つけるのに使っている広告効果が分かる情報もこのグラフに載ることもある、というレベル
48. 48. Copyright Drecom Co., Ltd All Rights Reserved.#TokyoWebmining会場でのQ&A5日連続プレイを指標にした施策を入れることはあるのか？熱中した結果が定着ユーザの増加であるべき「5日連続でプレイしたら、レアアイテムプレゼント」という企画を打つと一時的に定着ユーザは増えるが、その後著しく減るKPIというのは、一定の範囲の入力に対する予測器、範囲を超える入力をしても意味が無い社内でKPIハックをするような奴がいたら殴り倒す
49. 49. Copyright Drecom Co., Ltd All Rights Reserved.補講：KPIとは何か人間の舌はKPI甘いや、酸っぱいという数種類のKPI数種類のKPIで栄養がある、腐っている、每がある、などをかなり高い精度で判断するKPIを満たすことは愚かかつて甘いというKPIによって、栄養があると判断していた現代、砂糖をとって肥満で苦しみ、合成甘味料はKPIを詐称するKPIが分かっているから、無味無臭の每が造れるKPIは満たされるものである、満たすものではないKPIは判断指標であり、ゴールではない。砂糖だけを食べる人間は死ぬ自分の頭で考えないのであればKPIは無意味