Hivemall LT @ Machine Learning Casual Talks #3

2. Copyright ©201６ Treasure Data. All Rights Reserved. Ø2015/04 トレジャーデータ入社 Ø第1号のリサーチエンジニア ØML as a Service (MLaaS)に従事(?) Ø2015/03 産業技術総合研究所情報技術研究部門主任研究員 Ø大規模機械学習および並列データベースの研究に従事 Ø2009/03 NAIST 博士課程修了博士（工学） ØXMLネイティブデータベースおよび超並列データベースの研究に従事 ØH14未踏ユース第1期スーパクリエイタ 2 自己紹介

3. Copyright ©201６ Treasure Data. All Rights Reserved. 3 0 2000 4000 6000 8000 10000 12000 Aug-‐12 Sep-‐12 Oct-‐12 Nov-‐12 Dec-‐12 Jan-‐13 Feb-‐13 M ar-‐13 Apr-‐13M ay-‐13 Jun-‐13 Jul-‐13 Aug-‐13 Sep-‐13 Oct-‐13 Nov-‐13 Dec-‐13 Jan-‐14 Feb-‐14 M ar-‐14 Apr-‐14M ay-‐14 Jun-‐14 Jul-‐14 Aug-‐14 Sep-‐14 Oct-‐14 (単位)10億レコードサービス開始 Series A Funding 100社導入 Gartner社「Cool Vendor in Big Data」に選定される 10兆件５兆レコード数字でみるトレジャーデータ (2014年10月): 40万レコード毎秒インポートされるデータの数 10兆レコード以上インポートされたデータの数 120億アドテク業界のお客様1社によって毎日送られてくるデータ数字で見るトレジャーデータ

5. Copyright ©201６ Treasure Data. All Rights Reserved. Hivemallとは Apache Hadoopのエコシステム上に構築したオープンソースの機械学習ライブラリ Hadoop HDFS MapReduce (MRv1) Hive/PIG クエリ処理系 Hivemall Apache YARN Apache Tez DAG処理系 MR v2 分散ファイルシステムリソース管理システム並列処理フレームワーク問合せ処理系機械学習ライブラリ github.com/myui/hivemall 5

6. Copyright ©201６ Treasure Data. All Rights Reserved. SQLベースの宣言的かつ容易な記述 Hivemallの特徴何十行ものプログラム Mahoutによるプログラミング CREATE TABLE lr_model AS SELECT feature, -‐-‐ reducers perform model averaging in parallel avg(weight) as weight FROM ( SELECT logress(features,label,..) as (feature,weight) FROM train ) t -‐-‐ map-‐only task GROUP BY feature; -‐-‐ shuffled to reducers ü 一般的なエンジニアでも機械学習を扱える ü API抽象度がHiveQLと高いのでAPIがかなりstable （Sparkはまだ結構unstable) このような問合せを書くと学習処理が Hadoop上で並列実行される 6

7. Copyright ©201６ Treasure Data. All Rights Reserved. Hivemall v0.3で提供している機能 7 • クラス分類(二値分類/多値分類) ü Perceptron ü Passive Aggressive (PA) ü Confidence Weighted (CW) ü Adaptive Regularization of Weight Vectors (AROW) ü Soft Confidence Weighted (SCW) ü AdaGrad+RDA • 回帰分析 ü 確率的勾配降下法に基づくロジスティック回帰 ü PA Regression ü AROW Regression ü AdaGrad ü AdaDELTA • K近傍法 & レコメンデーション ü Minhashとb-‐Bit Minhash (LSH variant) ü 類似度に基づくK近傍探索 ü Matrix Factorization • Feature engineering ü Feature hashing ü Feature scaling (normalization, z-‐score) ü TF-‐IDF vectorizer トレジャーデータでもv0.3を5月中にサポート予定

13. Copyright ©201６ Treasure Data. All Rights Reserved. create table kdd10a_pa1_model1 as select feature, cast(voted_avg(weight) as float) as weight from (select train_pa1(addBias(features),label,"-‐mix host01,host02,host03") as (feature,weight) from kdd10a_train_x3 ) t group by feature; MIX Serverの利用このように学習器の呼び出しで Mix serverをオプション指定する 13

14. Copyright ©201６ Treasure Data. All Rights Reserved. ・・・・・・ Model updates Async add AVG/Argmin KLD accumulator hash(feature) % N Non-‐blocking Channel (single shared TCP connection w/ TCP keepalive) classifiers Mix serv.Mix serv. Computation/training is not being blocked MIX Serverの概要 14

Hivemall LT @ Machine Learning Casual Talks #3

Makoto Yui

Transcript