ニコニコデータビューアー・改

1. ニコニコデータビューア・改 @shibacow

2. 芝尾幸一郎 • 株式会社Aiming所属 • データ分析を担当 • ニコニコ動画のランキングサイトを作っている • follow me: @shibacow

3. ニコニコデータビューア

4. ニコニコデータセット

5. • ニコニコ動画の情報を配布 • 2007-2012の • 動画情報800万件 • タグ情報40000万件 • コメント情報24億件 • 無料で公開中

6. ニコニコデータビューア

7. • web上で • 手軽に無料で • ニコニコデータセットの • 分析 • ができる。

8. 不満 • 集計が遅い(21分) • 土日しか開けられない(お金が高い)-土日だけで 8000円

9. 作り直し中

10. データセットビューア・改 • 特徴 • 集計が早い • だいぶ安い

11. DEMO

12. 早い • 23億件の集計 • 21分 -> 10秒以内 126倍

13. MySQLとの比較 • 数億件だと、MySQLの集計は、厳しい。 • ３億円でオラクル買う世界

14. 早いので • トライアンドエラーがやりやすい • 集中が長続きする

15. 安い • 土日だけではなく • 連日開放 • 今までで6ドル • (従量制だが、だいぶ安い)

16. なぜ早くて安い？

17. グーグル製データ分析ツール

18. 何故早いカラム指向ツリーアーキテクチャ

19. 本当の所

20. 力技の勝利 • 3台で集計(21分) • 5000台で集計(10秒)

21. 力技なので • 中間一致に強い • 5000台使ってgrepしている。

22. データセットビューア・改

23. 改善点 • 集計が早い • いつでも使える • 無料

24. 新機能

25. • お手軽グラフツール • 集計結果の保存と拡散 • smidの自動展開

26. お願い

27. 協力者募集:主にUI 詳しくは芝尾 (@shibacow)まで

28. お願い2 ドワンゴさん、そろそろデータセット更新して

29. ThankYou • @shibacow • http://nicodata.info/

by kouichiro shibao , Software Developer, at home