トレジャーデータ流，データ分析の始め方

Copyright ©2014 Treasure Data. All Rights Reserved. 2011年12月、米Mountain Viewにて創業 •  従業員約50名（著名データベース技術者が多数所属）うち15名が東京丸の内の日本支社勤務 •  米有力VCのSierra Ventures、Yahoo! Inc.創業者Jerry Yang氏等多数の有力投資家より支援 •  2012年後半に商用サービス提供開始

Copyright ©2014 Treasure Data. All Rights Reserved. “データ解析の世界をシンプルにしたい” すぐに簡単にビッグデータの解析を始められるクラウド型のデータマネージメントサービス Acquire Store Analyze 大規模初期投資不要インフラはTDが管理面倒な拡張・保守・運用から解放日米トップクラスのデータベースエンジニア、サイエンティストが支える技術基盤

Copyright ©2014 Treasure Data. All Rights Reserved. KPI データ可視化・共有分析ツール連携他製品連携 RDBMS, Google Docs, AWS S3, FTP Server, etc. MoOon Board, Metric Insights, etc. Tableau, Dr.Sum, Power BI, Excel, etc. Treasure Data Service 8 Result Output クエリ結果自動書込データ収集データ分析データ保管収集・保存・分析をワンストップに、柔軟なインターフェイスで提供。データ集計 SQL, Pig ストレージ Flexible, Scalable, Columnar Storage バッチ型分析アドホック型分析分析エンジン Hadoop, Treasure Query Accelerator データ抽出 REST API ODBC/JDBC （SQL, Pig） Webログ Appログセンサー CRM ERP RDBMS TD Toolbelt 並列バルク　　インポーター Treasure Agent ストリーミング　　ログコレクター POS

Copyright ©2014 Treasure Data. All Rights Reserved. 一般的なデータ分析プロセス 13 1. 目的明確化 2. 目標設定 3. データ収集 1.  目的明確化 •  そもそも何を目的とすえるのかもわからない（だから分析に助けを求めるので…） 2.  目標設定 •  「売上を上げる」といった緩い目標しか立たないのでデータ収集へ進めない… 3.  データ収集 •  どのようなデータが活用できそうかわからない •  （自分のサービスであっても）データの内容を知らない目的・目標が未設定，さらにデータの内容がわからない。故に次の 4〜9. のデータ分析サイクルを回せない。

Copyright ©2014 Treasure Data. All Rights Reserved. トレジャーデータが可能にする分析アプローチ •  データ分析を始める前に，明確な「目標」など無くて当たり前 •  データ分析を始める前に，高尚な「仮説」など無くて当たり前 •  データ分析を始める前に，とにかくデータを集めよう（例え中身など知らなくても） •  データ分析を始める前に，データを「見る」ことで大概のことが見えてくる •  データを収集を頑張ったリターンとして，データを「見る」ところまでは誰でも必ず到達できる（成果物の担保）。そして「見る」ことは多くの知見・考察を生み出してくれる。 14 2. Data Watch

Copyright ©2014 Treasure Data. All Rights Reserved. トレジャーデータ流，データ分析プロセス 15 1. データ収集 2. Data Watch 3. 目標設定 4. データ分析 5. 考察・仮説 6. Plan 7. Do 8. Data Check 9. Action トレジャーデータ流：まずはとにかくデータ収集，そしてデータを「見る」ことに専念しましょう

Copyright ©2014 Treasure Data. All Rights Reserved. 1. データ収集 16 1. データ収集 1.  「とにかく集められるログを探してくる」 •  サーバーに垂れ流しにされているアクセスログ，システムログ •  MySQLに格納されている購買ログ •  アプリケーションに仕込まれたデバッグログ •  etc… 2.  「ログがどこにも無ければ簡単なログ収集から始める」 •  Webアプリケーションなら「Login（Access）」ログを収集する •  参考リンク：Login ログからわかる12の指標 h=p://treasure-‐data.hateblo.jp/entry/2014/05/09/112107

Copyright ©2014 Treasure Data. All Rights Reserved. 2. Data Watch：定型化された3つの「見る」プロセス 17 a.  データの「項目」を見る •  データにどのような項目があるか？ •  各項目にはどのような値が入っているか？ •  各項目を「ディメンジョン」「メジャー」に分類 b.  データの「内訳」を見る •  どの値がどれくらいの割合で登場しているか？ •  テンプレートに従ったデータ集計 c.  データの「分布」を見る •  どのような値にデータが密集しているか？ •  テンプレートに従った分布計算 2. Data Watch1. データ収集

Copyright ©2014 Treasure Data. All Rights Reserved. a.  データの「項目」を見る •  データにどのような項目があるか？ •  各項目にはどのような値が入っているか？ •  各項目を「ディメンジョン」「メジャー」に分類 ↓ 2-‐a. 「項目を見る」：ディメンジョン・メジャー分類 18 メジャー：値が数値（定量）で COUNT,SUM, AVGなどを求める対象となる項目ディメンジョン：この値各々に対してメジャーが集計される。非数値や年などの非順序数値データサイエンティストのためのHiveQL分析クエリテンプレートその１ h=p://treasure-‐data.hateblo.jp/entry/2014/05/07/000000

Copyright ©2014 Treasure Data. All Rights Reserved. 2-‐b. 「内訳を見る」：集計テンプレートクエリの適用 b.  データの「内訳」を見る •  どの値がどれくらいの割合で登場しているか？ •  提供するテンプレートクエリに従ったデータ集計 ↓ -‐-‐ #mをメジャー，%dim1をディメンジョンとする -‐-‐ SELECT SUM(#m) [, COUNT(1), AVG(#m) , etc...] FROM table WHERE condiOon GROUP BY %dim1 -‐-‐ #mをメジャー，%dim1, %dim2をディメンジョンとする -‐-‐ SELECT SUM(#m) [,COUNT( 1 ) AS cnt, etc...] FROM table WHERE condiOon GROUP BY %dim1, %dim2 SELECT %year, %month, %day, SUM(#m) [, COUNT(1), etc...] FROM table WHERE condiOon GROUP BY %year, %month, %day ORDER BY %year, %month, %day 分類したメジャー，ディメンジョンの任意の組み合わせで集計するテンプレートクエリデータサイエンティストのためのHiveQL分析クエリテンプレートその１ h=p://treasure-‐data.hateblo.jp/entry/2014/05/07/000000

Copyright ©2014 Treasure Data. All Rights Reserved. 2-‐c. 「分布を見る」：分布テンプレートクエリの適用 21 c.  データの「分布」を見る •  どのような値にデータが密集しているか？ •  分布テンプレートクエリの適用 •  ↓ 2次元分布 / 3次元分布 → SELECT ceil( #m/width )*width AS x, COUNT(1) AS cnt FROM ( SELECT #m, 1 AS one FROM table WHERE condiOon ) t1 JOIN ( SELECT POW(10,floor(LOG10(MAX( #m )))-‐1) / n AS width, 1 AS one FROM table WHERE condiOon ) t2 ON t1.one = t2.one GROUP BY ceil( #m/width )*width ORDER BY x SELECT ceil( #m1/t2.width)*t2.width AS x, ceil( #m2/t3.width)*t3.width AS y, COUNT(1) AS cnt FROM ( SELECT #m1, #m2, 1 AS one FROM table WHERE condiOon ) t1 JOIN ( SELECT POW(10,floor(LOG10(MAX( #1 )))-‐1) AS width, 1 AS one FROM table WHERE condiOon ) t2 ON t1.one = t2.one JOIN ( SELECT POW(10,floor(LOG10(MAX( #m2 )))-‐1) AS width, 1 AS one FROM table WHERE condiOon ) t3 ON t1.one = t3.one GROUP BY ceil( #m1/t2.width)*t2.width, ceil(#m2/t3.width)*t3.width ORDER BY x, y データサイエンティストのためのHiveQL分析クエリテンプレートその２ h=p://treasure-‐data.hateblo.jp/entry/2014/05/29/000000

Copyright ©2014 Treasure Data. All Rights Reserved. 2-‐c. 「分布を見る」：分布可視化テンプレートの適用 22 c.  データの「分布」を見る •  どのような値にデータが密集しているか？ •  分布可視化テンプレートの適用 •  ↓ 2次元分布 / 3次元分布 → データサイエンティストのためのHiveQL分析クエリテンプレートその２ h=p://treasure-‐data.hateblo.jp/entry/2014/05/29/000000

Copyright ©2014 Treasure Data. All Rights Reserved. まとめ：データ収集から目標設定まではノンストップ行える 3. 目標設定 1. データ収集 2. Data Watch 多少のコストをかけてデータ収集することには意義がある：データを「見る」というステップに進めて示唆に富んだ情報が得られる。「項目」を見る「内訳」を見る「分布」を見る •  データの「見る」に特化したダッシュボード •  SQL-‐Lessで直感的に操作できるツールデータを見る事で興味，問題意識が，目標が生まれる。

Copyright ©2014 Treasure Data. All Rights Reserved. Data Watch のための VisualizaOon Tools 24 データを「見る」ことへの投資 → 可視化ツールの採用 •  （誰でも）：SQL などの低レイヤーのラーニングコストを無くしたい •  （すぐに）：より効率良く簡潔にデータを見たい •  （直感的に）：データと直感を結びつけたい 2. Data Watch 最短ルートでデータを「見る」プロセスを回す

Copyright ©2014 Treasure Data. All Rights Reserved. Data Watch のための Visualization Tools 25 a.  データの「項目」を見るデータソースを指定すれば自動的にディメンジョン / メジャーに分類 b.  データの「内訳」を見るディメンジョン / メジャーを x-‐軸，y-‐軸へドラッグするだけで可視化が可能 c.  データの「分布」を見る分布を見るための機能も用意

Copyright ©2014 Treasure Data. All Rights Reserved. 1. テンプレートに従ったデータ収集 30 1. データ収集 2. Data Watch 3. 目標設定 # Applica5on Ruby Code TD.event.post( ’login', { :uid => 123, :device => ’smart phone’, :5me => 138959673 }) TD.event.post( ’pay', { :uid => 123, :name => ’ItemA’, :sub_category => ’a’, :category => A, :count => 2, :price => 300, :5me => 138959673 }) Login テーブル Pay テーブル Inviteテーブルユーザー属性情報テーブル指定したログテンプレートに沿って収集することでトレジャークラウドに随時データがアップロードされていく

http://treasure-data.hateblo.jp	1608
https://twitter.com	58
https://www.facebook.com	29
http://feedly.com	15
http://s.deeeki.com	6
http://blog.hatena.ne.jp	4
http://reader.aol.com	2
https://m.facebook.com	2
https://m.facebook.com&_=1403870191590 HTTP	1
https://m.facebook.com&_=1403866274166 HTTP	1
https://m.facebook.com&_=1403866039241 HTTP	1
https://m.facebook.com&_=1403865319711 HTTP	1
https://m.facebook.com&_=1403865279654 HTTP	1
https://m.facebook.com&_=1403864878719 HTTP	1
https://m.facebook.com&_=1403864883586 HTTP	1
https://m.facebook.com&_=1403870319020 HTTP	1
https://m.facebook.com&_=1403871468403 HTTP	1
https://m.facebook.com&_=1404223771599 HTTP	1
https://m.facebook.com&_=1403942525082 HTTP	1
https://m.facebook.com&_=1403929637828 HTTP	1
https://m.facebook.com&_=1403911626957 HTTP	1
https://m.facebook.com&_=1403912321926 HTTP	1
https://m.facebook.com&_=1403906543508 HTTP	1
https://m.facebook.com&_=1403887751297 HTTP	1
https://m.facebook.com&_=1403875935603 HTTP	1
https://m.facebook.com&_=1403864874078 HTTP	1
https://m.facebook.com&_=1403864848433 HTTP	1
https://m.facebook.com&_=1403856097077 HTTP	1
https://m.facebook.com&_=1403854967809 HTTP	1
https://m.facebook.com&_=1403853645303 HTTP	1
https://m.facebook.com&_=1403845616656 HTTP	1
https://m.facebook.com&_=1403849111613 HTTP	1
https://m.facebook.com&_=1403847536167 HTTP	1
https://m.facebook.com&_=1403846168008 HTTP	1
https://m.facebook.com&_=1403845922808 HTTP	1
https://m.facebook.com&_=1403858119052 HTTP	1
https://m.facebook.com&_=1403859141426 HTTP	1
https://m.facebook.com&_=1403864881788 HTTP	1
https://m.facebook.com&_=1403864811119 HTTP	1
https://m.facebook.com&_=1403864885301 HTTP	1
https://m.facebook.com&_=1403864875281 HTTP	1
https://m.facebook.com&_=1403862362548 HTTP	1
https://m.facebook.com&_=1403861627474 HTTP	1
https://m.facebook.com&_=1403860822352 HTTP	1
https://m.facebook.com&_=1403862273333 HTTP	1
https://m.facebook.com&_=1403845172593 HTTP	1

トレジャーデータ流，データ分析の始め方

by Takahiro Inoue, Analytics at Japan

on Jun 27, 2014

Statistics

Views

Actions

46 Embeds 1,762

Accessibility

Categories

Upload Details

Usage Rights

Report content

トレジャーデータ流，データ分析の始め方 Presentation Transcript