【14-B-2】グリーを支えるデータ分析基盤の過去と現在（橋本泰一〔グリー〕）

自己紹介：橋本泰一（はしもとたいいち） Self-introduction • 1997年東京工業大学情報工学科卒業 • 2002年東京工業大学大学院情報理工学系研究科修了博士（工学） • 2002年東工大助手 & 特任准教授 • 2012年グリー株式会社 • 自然言語処理、情報検索、〇〇マイニング、機械学習… • GREE PlatformおよびWebベースのソーシャルゲームのデータ分析基盤を担当 Copyright © GREE, Inc. All Rights Reserved.

ゲームのデータ分析基盤 Treasure Data ● Hadoopクラスタの構築が不要ですぐに利用可能 ● ログのコレクトからストアまでワンストップで提供 ● fluentd のプラグインで実現 ● スキーマレスで自由度の高いログフォーマット ● time int, v map<string, string> ● データ・ウェアハウスの運用コストの低減 ● BIツールとの容易なインテグレーション Copyright © GREE, Inc. All Rights Reserved.

ゲームのデータ分析基盤ジョブの送信元を特定 • クエリ実行の際に送信者を自動付与 -- analysis bi SELECT TO_DATE( FROM_UNIXTIME(time) ) AS day, COUNT(DISTINCT uid) AS dau FROM access GROUP BY TO_DATE( FROM_UNIXTIME(time) ) Copyright © GREE, Inc. All Rights Reserved.

GREE Platformのデータ分析基盤概要サービス速報用 Storage Analysis Data Hub Webサーバ zookeeper Azkaban Hive db-express Web HDFS HDFS MR Macaron Presto MySQL Storage Solaris ディレクタエンジニア HBase (log archives) Copyright © GREE, Inc. All Rights Reserved.

GREE Platformのデータ分析基盤主な構成 • JDK7 + CDH4 + Apache Hive (v0.12+α) • HiveServer2 • 追加パッチ • Kryo serialization (Hive 1511, etc.) • … • 独自拡張 • 社内認証システムとの連携 • auto-load extra UDFs Copyright © GREE, Inc. All Rights Reserved.

GREE Platformのデータ分析基盤 Ruby Scripting in Hive Query Language • HQL の中に Ruby のコードを埋め込む • HQL（SQL）で書きにくいクエリを処理できる • https://github.com/gree/hive-ruby-scripting HQLの中でRubyの関数を定義定義した関数を実行 Any questions? Copyright © GREE, Inc. All Rights Reserved.

GREE Platformのデータ分析基盤データのインポート • ログデータのインポート • ハイブリッド: bulk copy + streaming log events • Fluentd & WebHDFS（まだ不安定） • MySQLからのインポート: db-express • Sqoopのラッパー • Cooperation w/ in-house DSN catalog • Parallel import Sharded DataBases / Tables • 手動インポート • ブラウザからアップロード Any questions? Copyright © GREE, Inc. All Rights Reserved.

近い未来の話必要な機能機能ダッシュボード・ BI データカタログジョブ管理・ワークフロークエリ言語（エンジン）分散処理選択肢 Macaron, Metric Insights, Tableau, … Hive (HCatalog), … Azkaban, Oozie, … Hive, Pig, Cascading, MR, MPP ( Vertica, RedShift, … ) Impala, 分散ファイルシステム Spark, FlumeJava, … Presto, … HDFS, S3, MapR FS, Tachyon, CFS … • Presto と Spark（YARN）に注目 Any questions? Copyright © GREE, Inc. All Rights Reserved.

【14-B-2】グリーを支えるデータ分析基盤の過去と現在（橋本泰一〔グリー〕）

by Developers Summit on Feb 18, 2014

Statistics

Views

Actions

3 Embeds 11

Accessibility

Categories

Upload Details

Usage Rights

Report content

【14-B-2】グリーを支えるデータ分析基盤の過去と現在（橋本泰一〔グリー〕） Presentation Transcript

https://twitter.com	5
https://kcw.kddi.ne.jp	5
https://www.chatwork.com	1