大規模データに対するデータサイエンスの進め方 #CWT2016

2. 2© Cloudera, Inc. All rights reserved. ⾃⼰紹介 • 有賀康顕(ありがみちあき) • フィールドデータサイエンティスト • お客様がデータを活⽤できるように⼀緒に議論するのが主な仕事 • メーカーの研究所で⾃然⾔語処理/機械学習の研究開発の後、クックパッドで機械学習を活⽤したプロダクト開発を⾏ってきた • Ruby / Julia / Machine Learning Casual Talks 等コミュニティも運営 • 🎤 podcaster of rubyist.club email: ariga@cloudera.com chezou

4. 4© Cloudera, Inc. All rights reserved. 「データの⺠主化」が進んでいる • データを⼀箇所に集めることで、データの活⽤が進む • http://chezou.hatenablog.com/entry/2016/05/05/222046 • エンジニアだけでなく、Webディレクターの⼈たちもSQLを使って、プロダクト改善のための指標を考え、計測をしはじめた • 安価な⼤規模分析DBやRe:dashなど可視化ツールも⼀役買っている • SQLやBIツールを⽤いて、誰もが⾃ら指標を考え、計測する世界へ • プロダクトに対して、打てる施策のアプローチの幅が広がる

5. 5© Cloudera, Inc. All rights reserved. データの⺠主化に⼤事なこと • 数秒〜数⼗秒で対話的に分析ができる • 誰でもクエリを⾃由に試せる • どこにどんなデータがあるかがわかる • 出来たこと、得られた知⾒をシェアできる • データの権限を気にしない • 気軽に相談できる仲間がいる → Apache Impala (incubating) → Hue → Cloudera Navigator → Hue → Apache Sentry / RecordService (beta) → あなたがインフルエンサーに！

13. 13© Cloudera, Inc. All rights reserved. データサイエンスのワークフローの例 Metadata Management Ingest Processing Developer Tools: IDEs, Notebooks, SCM Operations Tools: Scheduling, Workflow, Publishing Data Management Exploration / Model Development (Feature Engineering, Training, Testing) Production / Model Deployment (Scoring and Serving) Feature Engineering Model Training & Testing Visualization Production Feature Generation Production Modeling Batch Scoring Online Scoring Model Quality & Performance Experiments Serving Storage User: Data Engineer User: Data Scientist User: Data Engineer / Application Developer

14. 14© Cloudera, Inc. All rights reserved. Hadoop上でのデータサイエンスプログラミング⾔語データエンジニアリング予測モデル開発スコアリング・サービング SAS SAS/ACCESS SAS HPA/VA N/A R Desktop Only (dplyr) Desktop Only (various) H2O N/A Python Desktop (pandas) or PySpark Desktop (scikit-learn) or PySpark N/A Scala/Java Spark Spark MLlib Impala/Hive, Solr, HBase, Spark Streaming, …

15. 15© Cloudera, Inc. All rights reserved. データサイエンスのワークフローの例 Metadata Management Ingest Processing Developer Tools: IDEs, Notebooks, SCM Operations Tools: Scheduling, Workflow, Publishing Data Management Exploration / Model Development (Feature Engineering, Training, Testing) Production / Model Deployment (Scoring and Serving) Feature Engineering Model Training & Testing Visualization Production Feature Generation Production Modeling Batch Scoring Online Scoring Model Quality & Performance Experiments Serving Storage User: Data Engineer User: Data Scientist User: Data Engineer / Application Developer HBase Spark Streaming Impala/ Spark MLlibFlume/ Kafka Hive/ Spark Spark MLlib HDFS / Kudu / HBase

22. 22© Cloudera, Inc. All rights reserved. 1. 問題を定式化する • 解きたい課題について仮説を⽴て、⽬的と何をすればよいかを明確にする • 仮説の⽴て⽅は「仮説検証とサンプルサイズの基礎」が参考になる • http://techlife.cookpad.com/entry/2016/09/26/111601 良い例） • 売上を上げるために、ユーザー毎におすすめ商品を提⽰する • ⼯場の電⼒消費量を最適化するために、消費電⼒を予測する悪い例） • とにかく有料会員の数を増やす • Deep Learning で凄いことをする

23. 23© Cloudera, Inc. All rights reserved. 2. 機械学習をしなくて良い⽅法を考える • 機械学習は「⾼利⼦の技術的負債がたまるクレジットカード」 • D. Sculleyら “Machine Learning: The High Interest Credit Card of Technical Debt”, 2014 やりたいことは • 機械学習が向いている課題か？ • ⼤量のデータに対して、⾼速に安定して判定したい？ • 100%正解は求められていないか？ • 別の⽅法で解けないか？ MVP (Minimum Viable Product) は作れるか？ • 例）クロス集計でユーザーをセグメント分けではダメ？ • 例）既存ツールの機能（SolrのMoreLikeThisなど）では？ MVPからはじめる

24. 24© Cloudera, Inc. All rights reserved. 3. システム設計をする • 問題の定式化とMVPも作れたら、機械学習を含めたシステム設計をする • 予測はバッチかニアリアルタイムか？ • 予測結果はどうサーブし、誰が使うのか？ • 100%正解する予測はないので、誤りを許容できるシステム設計にする • 例）すべて⾃動化するのではなく、⼈⼿のチェックを設ける • 例）誤判定をユーザーからフィードバックしてもらえるようにする • 始める前に撤退ラインを決めておく（サンクコストによるバイアスを避ける） • 例）1ヶ⽉半で90%以上の予測性能が出なければ諦める

25. 25© Cloudera, Inc. All rights reserved. 4. アルゴリズムを選定する • ざっくりと機械学習のアプローチとアルゴリズムの候補を挙げる • 教師あり学習（回帰、分類） • クラスタリング • 次元削減 • 強化学習 • 異常検知 etc... • ポイント • アルゴリズムありきにならない (❌ Deep Learningをやってみたい！) • 同⼀⽬的の複数のアルゴリズムを念頭に置く

26. 26© Cloudera, Inc. All rights reserved. 5. 学習データ（特徴量）の設計をする • ⼿がかりとなるデータ（特徴量）として何が使えるのか？ • 例）Web サービスであれば、ユーザの⾏動ログや購買履歴 • 例）⼯場であれば、センサーデータ • データの収集は後戻りが困難 • ビジネスの知識を持った⼈と、何が効果ありそうかを議論する • データエンジニアと協⼒をして、データ収集の仕組み化を進める • （教師あり学習の場合は）教師データはどう作るのか？

27. 27© Cloudera, Inc. All rights reserved. 6. 実データの収集と前処理をする Metadata Management Ingest Processing Developer Tools: IDEs, Notebooks, SCM Operations Tools: Scheduling, Workflow, Publishing Data Management Exploration / Model Development (Feature Engineering, Training, Testing) Production / Model Deployment (Scoring and Serving) Feature Engineering Model Training & Testing Visualization Production Feature Generation Production Modeling Batch Scoring Online Scoring Model Quality & Performance Experiments Serving Storage User: Data Engineer User: Data Scientist User: Data Engineer / Application Developer HBase Spark Streaming Impala/ Spark MLlibFlume/ Kafka Hive/ Spark Spark MLlib HDFS / Kudu / HBase • 最も時間がかかる部分 • データサイエンティストは正しいデータが取得出来ているかを逐次確認する • ミスがあったときのために元データは出来る限り残しておく • 前処理は再現が容易なようにドキュメント化する

28. 28© Cloudera, Inc. All rights reserved. 7. 学習・パラメータチューニング • ⼀番楽しい時間です • ⼈⼒・ルールベースといったベースラインを決めて、まずそれを超える • 実装はまずは既存のライブラリ/フレームワークのものを使う • ⼤抵は途中でデータバグが⾒つかる • 問題の切り分けをしやすいように、⼀巡回せたら難しい⼿法に挑戦 • 突然、⾮常に良い結果(99.9%!)が出たら、必ず疑う • テストデータに訓練データが混ざり過学習していないか？ • 特徴量に正解の情報が含まれるleakageが起こっていないか？⽬標性能未満なら「4. アルゴリズムを選定する」に戻る → サイクルを素早く回す

29. 29© Cloudera, Inc. All rights reserved. 8. システムに組み込む • おめでとうございます！最初の⼀歩クリアです • 実環境で予測性能がどう推移するか、ビジネスインパクトはどの程度あるのか？ • 計測と改善を続けます。より良いものを作り続けましょう • 注意：ここでデータサイエンティストが担当を外されるプロジェクトはやがて来る外部環境の変化により予測性能が悪くなり間違いなく失敗します

31. 31© Cloudera, Inc. All rights reserved. 実システムの機械学習特有の問題 • 確率的な処理があるため⾃動テストがしづらい • ⻑期運⽤していると⼊⼒の傾向が変化する • 処理のパイプラインが複雑になる • データの依存関係が複雑になる • 実験コードやパラメータが残りやすい • 開発と本番の⾔語/フレームワークが異なりやすいモデルの更新容易度⤵ システムの複雑度⤴ 予測性能のみを追い求めてメンテナンス性が下がりやすい

32. 32© Cloudera, Inc. All rights reserved. 継続的な改善をしやすくするために • 変化を前提とした設計をする • 予測性能とビジネス上のKPIをモニタリング • ゴールド・スタンダードを⽤意して予測性能のしきい値を設ける • アルゴリズムのA/Bテストができるようモジュール化 • モデルのバージョン管理をしていつでも切り戻し可能に • 開発のスピードを殺さない設計をする • 開発と本番の⾔語/フレームワークは揃える • ⼀般的なライブラリの⽅が、属⼈性が上がらなくて良い • ⼀連の処理をデータパイプラインとして保持する

33. 33© Cloudera, Inc. All rights reserved. データパイプラインを保持するとは訓練データ単語分割単語カウントロジスティック回帰テストデータ予測データ学習フェーズ予測フェーズ教師データ特徴抽出予測モデル単語分割単語カウントロジスティック回帰特徴抽出予測モデル予測データ最適なパラメータと共に保持・再利⽤が可能 scikit-learnで広く普及し、Sparkにも展開

34. 34© Cloudera, Inc. All rights reserved. データパイプラインを保持するとは訓練データ単語分割単語カウントロジスティック回帰テストデータ予測データ学習フェーズ予測フェーズ教師データ特徴抽出予測モデル単語分割単語カウントロジスティック回帰特徴抽出予測モデル予測データ最適なパラメータと共に保持・再利⽤が可能 scikit-learnで広く普及し、Sparkにも展開単語分割単語カウントロジスティック回帰特徴抽出予測モデル単語分割単語カウントロジスティック回帰

35. 35© Cloudera, Inc. All rights reserved. Spark 2.0 でのコード例 def predict(words): spark = SparkSession.builder.master('local').appName('mlserver').getOrCreate() model = PipelineModel.load("lr.model") input_data = spark.creteDataFrame([(1L, words),], ['id', 'text']) new_rows = model.transform(input_data).select('id', 'text', 'prediction') prediction = new_rows.collect() return prediction def train (input_data): tokenizer = Tokenizer(inputCol='text', outputCol='words') hashingTF = HashingTF(inputCol=tokenizer.getOutputCol(),outputCol='features') lr = LogisticRegression(maxIter=100000, regParam=0.3, tol=0.1) pipeline = Pipeline(stages=[tokenizer, hashingTF, lr]) model = pipeline.fit(input_data) model.write().save('lr.model') 1. パイプラインを作り 2. パイプラインを保存すると 3. パイプラインごと再利⽤できる

37. 37© Cloudera, Inc. All rights reserved. オブジェクトストレージ Cloud Native なデータサイエンス • データサイエンスは試⾏錯誤が重要 • Cloudera Director + オブジェクトストレージが強い味⽅ • Cloudera Director は • AWS, GCP, Azure へのクラスタのデプロイを⾃動化 • ⻑時間稼働クラスタと⼀時的クラスタ両⽅を管理 • オブジェクトストレージで • HDFS へコピーなしで⼀時クラスタでの処理をすぐに開始できる

38. 38© Cloudera, Inc. All rights reserved. 典型的なワークロードの例 • Hive/Spark/ Hive on Spark with S3 • S3 のデータを直接 ETL 処理 • 予測モデルの構築・バージョニングも容易 • Impala with S3 • S3 に保存したテーブルに直接 SQL でクエリが投げられる • Python と Ibis と scikit-learn を組み合わせることでプロトタイピングもしやすいオブジェクトストレージ対話的な分析を柔軟に⾏いフローが確定したら容易にバッチに移⾏可能

39. 39© Cloudera, Inc. All rights reserved. 参考⽂献 • 有賀, 「データを⼀箇所に集めることでデータ活⽤の⺠主化が進んだ話」 • http://chezou.hatenablog.com/entry/2016/05/05/222046 • D. Conway, “The Data Science Venn Diagram” • http://drewconway.com/zia/2013/3/26/the-data-science-venn-diagram • K. Schmidt, ”Data Engineer vs Data Scientist vs Business Analyst” • https://medium.com/@KevinSchmidtBiz/b68d201364bc • 森⽥, 「仮説検証とサンプルサイズの基礎」 • http://techlife.cookpad.com/entry/2016/09/26/111601 • 數⾒,「メンテナブルな機械学習システムの考察」 • https://www.cyberagent.co.jp/techinfo/techreport/report/id=10586 • D. Sculley, et al. ”Machine Learning: The High Interest Credit Card of Technical Debt” • ⽐⼾, 「あなたの業務に機械学習を活⽤する5つのポイント」 • http://www.slideshare.net/shoheihido/5-38372284

大規模データに対するデータサイエンスの進め方 #CWT2016

Cloudera Japan

大規模データに対するデータサイエンスの進め方 #CWT2016