Google Cloud Platform Japan Blog
最新情報や使い方、チュートリアル、国内外の事例やイベントについてお伝えします。
株式会社 gloops の導入事例: ログ解析を Google BigQuery に移行してコストを 1/100 に。
2016年8月8日月曜日
新作RPG「
LAPLACE LINK
」や、三国志をモチーフにしたカードバトルゲーム「
大戦乱!!三国志バトル
」など、ブラウザゲームを中心に絶大な支持を集めるソーシャルゲーム開発・運営会社「
gloops(グループス)
」。累計 4000 万ユーザーという実績は、掛け値なしの業界トップクラスです。そんな同社が、この春から、ユーザー行動の解析に
Google BigQuery
を開始。その理由を聞いてきました。
■ 写真左から
株式会社gloops
ソーシャルゲーム事業本部 システム統括部 インフラグループ インフラエンジニア 河村喬樹さん
ソーシャルゲーム事業本部 データマイニング部 アナリシスグループ マネジャー 清水朋紀さん
ソーシャルゲーム事業本部 システム統括部 インフラグループ インフラエンジニア 津野哲平さん
ソーシャルゲーム事業本部 技術基盤部 エンジニア 三森孝嘉さん
■ 利用中の Google Cloud Platformサービス
Google BigQuery
、
Google Cloud Storage
「ゲームにはそれぞれ開発者が想定した遊び方があるのですが、実際にお客様がそのようにプレイしてくださるとは限りません。実際には我々が感じてほしい楽しさに至る前にやめてしまうお客様がかなり多くいらっしゃいます。それは双方にとってとても残念なことですよね。ソーシャルゲーム運営では、ログを解析することでお客様の行動を分析、より多くのお客様が楽しんでいただけるよう、細かく軌道修正していく必要があります」
そう語ってくれたのは、gloops ソーシャルゲーム事業本部 データマイニング部でデータ分析チームを統括するマネジャー・清水朋紀さん。ソーシャルゲームは作って終わりなのではなく、リリース後のチューニングこそが大切なのだそうです。
実はこれまで同社はこれら行動データの蓄積と解析を既存大手サービスの DMP を利用して行なっていました。しかし、ユーザー規模が大きくなるにつれ、この費用が無視できないほど莫大な金額に。契約の更新時期が近付くと、このまま契約を続けるべきか、他のプラットフォームに乗り換えるべきか悩まれていたそうです。このあたりについて、同社ソーシャルゲーム事業本部 システム統括部 インフラグループのリーダー的存在である河村喬樹さんは次のようにふり返ります。
「なにせデータ量が膨大なものでしたから、そこにかかる費用も膨大なものになっていました。最近は、少しでもコストダウンするために、いらないデータ、あまり使わないデータを削除してから DMP に送るというような運用を行なっていたくらい。でも、それも焼け石に水みたいな状況で……。そんな中、ここ数年、Google BigQuery の評判を耳にすることが多く、ちょうど契約切り替えのタイミングが迫っていたということもあって、Google さんへの移行を決心しました」
結論を先に言うと、この移行によって、それまでかかっていたコストが何と100 分の 1 程度に激減したそうです。コストが削減できることはわかっていたものの、ここまで安くなるとは考えていなかったと驚く河村さん。「この先、クエリーをどんどん回していくともう少し費用アップしていくことになるとは思うのですが、それでも圧倒的に安いですよね」
「利用する側としては、今までと仕組みが変わってしまうことがめちゃくちゃ不安だったのですが(笑)、社内エンジニアたちの努力によって、ほぼこれまで通りの利用環境を再現することができました。価格以外の恩恵としては、動作速度が劇的に向上したおかげで、結果の戻りが異常に速く、これまで 20 分くらいかかっていた処理が数秒で終わってしまうのには感激しました。特に夜間バッチが失敗したときの心理的負担は大幅に減りましたね。これまでは『これで午前中が何もできずに潰れてしまうなぁ』とガックリしていたのですが、BigQuery なら比較的すぐにリトライできますから。今後は、こういった強力なマシンパワーなどを前提とした新しいことにも取り組んでいきたいと考えています」(清水さん)
「エンジニアチームとしても、コスト減やマシンパワー増を受けて、新しいことをやってみようという動きが出てきています。例えば、今、ユーザーのアクセスログについてはリアルタイム可視化システムをオンプレミスのサーバーを使って構築しているのですが、ストレージの管理が手間なので、これをクラウドに全面移行しよう、といった具合ですね。、安価なクラウドストレージを使えれば、もっと長く残せるようになりますし、それによってより、サービス品質を向上させることができます」(河村さん)
なお、従来 DMP から Google BigQuery への移行も、想定以上にスムーズだったそう。このあたりについては、実際の移行業務を担当した2人のエンジニアが次のようにふり返っています。
●ソーシャルゲーム事業本部 技術基盤部 エンジニア 三森孝嘉さん
「私はデータマイニングで使っているログの送り先を従来 DMP から BigQuery に変えるための仕組みを担当しています。双方でデータの持ち方が異なるため、その調整に若干手間取りましたが、それ以外は順調でした。清水が言ったように CPU パワーがあるので、そこを乗り越えてしまえば後はむしろ楽に。特に大きなトラブルもなく、私 1 人での作業でしたが、およそ半月程度で無事完了しています」
●ソーシャルゲーム事業本部 システム統括部 インフラグループ インフラエンジニア 津野哲平さん
「私は移行元の DMP に保存されているデータを BigQuery に移植するという作業を行ないました。圧縮で約 180 GBという膨大なデータだったので、移行元から一番大きなテーブルを4GB以内ずつに圧縮して切り出すのに、1回につき 2 時間もかかってしまうほどだったのですが、それを BigQuery に入れる作業は約 10 分程度で完了。さて、休憩しようかなと思ったらもう終わっていて拍子抜けしてしまったほどです(笑)」
まさにこの春からスタートしたということで、現在はその可能性を手探りしている段階だという gloops エンジニア陣。
「個人的に今、ホットトピックなのがリアルタイム同期型データベース『
Google Firebase
』。まだ試し始めたばかりなのでどこまで使えるものなのかわからないのですがかなり期待しています。良い結果が出たら積極的に採用していきたいですね。今回、BigQueryの導入によって、BigQueryをより深堀りしていくのはもちろん、その他のGoogleさんのプラットフォームを使ってみようかという気運が高まっています。まだ具体的なことは言えないのですが、今後、グループスとしての利用頻度は間違いなく高まっていくはずです」(三森さん)
「私はちょうど今、監視システムをリプレイスしている最中と言うこともあり、『
Google Stackdriver
』が気になっています。Google Cloud Platform と Amazon Web Service を併用している場合でも使えるのが素晴らしいですね。これにオンプレミスのものも加えられるようになれば文句なしです。サポートからはできなくもないという回答をいただけているので、これから少し検証してみようと思っています」(津野さん)
「Google さんのサービスでは
Google App Engine
に注目しています。弊社は基本的に Windows のソリューションを使っているので、このあたりのハードルが下がっていくといいな、と。開発言語を変えるのはさすがに難しいので、C# や .NET など、我々が現在使っている開発環境が動かせるようになるのが理想ですね」(河村さん)
0 件のコメント :
コメントを投稿
12 か月間のトライアル
300 ドル相当が無料になるトライアルで、あらゆる GCP プロダクトをお試しいただけます。
Labels
.NET
.NET Core
.NET Core ランタイム
.NET Foundation
Access Management
AlphaGo
Anvato
Apache Beam
Apache Maven
API
Apigee
APIs Explore
App Engine
App Engine Flex
App Engine flexible
AppArmor
AppScale
AprilFool
AR
Artifactory
ASP.NET
ASP.NET Core
Attunity
AWS
Big Data
BigQuery
Billing Alerts
Bime by Zendesk
Bitbucket
Borg
BOSH Google CPI
Bower
BreezoMeter
BYOSL
Capacitor
Chromium OS
Client Libraries
Cloud API
Cloud Audit Logging
Cloud Bigtable
Cloud CDN
Cloud Client Libraries
Cloud Console
Cloud Consoleアプリ
Cloud Dataflow
Cloud Dataflow SDK
Cloud Datalab
Cloud Dataprep
Cloud Dataproc
Cloud Datastore
Cloud Debugger
Cloud Deployment Manager
Cloud Endpoints
Cloud Foundry
Cloud Foundry Foundation
Cloud Functions
Cloud Identity
Cloud Jobs API
Cloud KMS
Cloud Load Balancing
Cloud Machine Learning
Cloud monitoring
Cloud Natural Language API
Cloud Networking
cloud Pub/Sub
Cloud Resource Manager
Cloud Resource Manager API
Cloud SDK
Cloud SDK for Windows
Cloud Source Repositories
Cloud Spanner
Cloud Speech API
Cloud SQL
Cloud Storage
Cloud Storage FUSE
Cloud Tools for PowerShell
Cloud Tools PowerShell
Cloud Translation
Cloud Translation API
Cloud Virtual Network
Cloud Vision
CloudBerry Backup
CloudBerry Lab
CloudEndure
Cloudian
CloudML
Cluster Federation
Codelabs
Cohesity
Coldline
Colossus
Compute Engine
Compute user Accounts
Container Engine
Container Registry
Container-Optimized OS
Container-VM Image
CRE
CSEK
Customer Reliability Engineering
Dbvisit
DDoS
Debugger
deep learning
Deployment Manager
Developer Console
Developers
DevOps
Disney
Docker
Dockerfile
Drain
Dreamel
Eclipse
Eclipse Orion
Education Grants
Elasticsearch
Energy Sciences Network
Error Reporting
ESNet
Evernote
FASTER
Fastly
Firebase
Firebase Analytics
Firebase Authentication
Flexible Environment
G Suite
gcloud
GCP 移行ガイド
gcsfuse
GitHub
Go
Go 言語
Google App Engine
Google Apps
Google Certified Professional - Data Engineer
Google Cloud Certification Program
Google Cloud Console
Google Cloud Dataflow
Google Cloud Datalab
Google Cloud Datastore
Google Cloud Endpoints
Google Cloud Explorer
Google Cloud Identity and Access Management
Google Cloud Launcher
Google Cloud Logging
Google Cloud Platform
Google Cloud Resource Manager
Google Cloud Security Scanner
Google Cloud Shell
Google Cloud SQL
Google Cloud Storage
Google Cloud Storage Nearline
Google Cloud Tools for IntelliJ
Google Code
Google Compute Engine
Google Container Engine
Google Data Analytics
Google Data Studio
Google Date Studio
Google Deployment Manager
Google Drive
Google Earth Engine
Google Genomics
Google SafeSearch
Google Service Control
Google Sheets
Google Slides
Google Translate
Google 公認プロフェッショナル
GPU
Gradle
GroupBy
gRPC
HA / DR
Haskell
HEPCloud
HIPAA
Horizon
HTCondor
IaaS
IAM
IBM
IBM POWER9
icon
IERS
Improbable
InShorts
Intel
IntelliJ
Internal Load Balancing
Internet2
IoT
Issue Tracker
Java
JFrog
JFrog Artifactory SaaS
Jupiter
Jupyter
Khan Academy
Komprise
kubefed
Kubernetes
KVM
Landsat
load shedding
Logging
Looker
Magenta
Managed Instance Group
Maps API
Maven
Maxon Cinema 4D
MightyTV
Mission Control
MongoDB
MQTT
MySQL
Nearline
Network Time Protocol
neural networks
Next
Node
NoSQL
NTP
NuGet パッケージ
OCP
OLDISM
Open Compute Project
OpenCAPI
OpenCAPI Consortium
OpenShift Dedicated
Orbitera
Organization
Orion
Panda
Particle
Percona
Pete's Dragon
Pivotal
Pivotal Cloud Foundry
PLCN
Pokemon GO
Pokémon GO
Poseidon
Postgre
PowerPoint
PowerShell
Protocol Buffers
Puppet
Pythian
Python
Raspberry Pi
Red Hat
Regional Managed Instance Groups
Rust
SC16
ScaleArc
Security & Identity
Sentinel-2
Serving Websites
SideFX Houdini
SIGOPS Hall of Fame Award
Site Reliability Engineering
SLA
Slack
SLI
SLO
Snap
Spaceknow
SpatialOS
Spinnaker
Spring
SQL Server
SRE
Stack Overflow
Stackdriver
Stackdriver Debugger
Stackdriver Diagnostics
Stackdriver Error Reporting
Stackdriver Logging
Stackdriver Monitoring
Stackdriver Trace
Stanford
Startups
StatefulSets
Storage & Databases
StorReduce
Streak
Sureline
Sysbench
Tableau
Talend
Tensor Flow
Tensor Processing Unit
TensorFlow
The Carousel
TPU
Trace
Transfer Service
Translate API
Uber
Veritas
Video Intelligence API
Vision API
Visual Studio
Visualization
Vitess
VM
VM Image
VSS
Waze
Webyog
Wide and Deep
Windows Server
Windows ワークロード
Wix
Worlds Adrift
Xplenty
Yellowfin
YouTube
Zaius
Zaius P9 Server
Zipkin
ZYNC Render
アーキテクチャ図
イベント
エンティティ
オンライン教育
クラウド アーキテクト
コードラボ
コンピューティング
サポート
ジッター
ショート動画シリーズ
スタートガイド
ストレージ
セミナー
ソリューション: メディア
データ エンジニア
データセンター
ビッグデータ
ファジング
プリエンプティブル VM
フルマネージド
マイクロサービス
マルチクラウド
ロード シェディング
運用管理
可用性
海底ケーブル
機械学習
月刊ニュース
資格、認定
新機能、アップデート
人気記事ランキング
導入事例
内部負荷分散
認定試験
料金
Archive
2017
4
3
2
1
2016
12
11
10
9
8
7
6
5
4
3
2
1
2015
12
11
10
9
8
7
6
5
4
3
2
1
2014
12
11
10
9
8
6
5
4
3
2
Feed
月刊ニュースレターに
登録
新着ポストをメールで受け取る
Google
on
Follow @GoogleCloud_jp
0 件のコメント :
コメントを投稿