先行事例から学ぶ IoT / ビッグデータの始め方

6. 6© Cloudera, Inc. All rights reserved. 散⾒される上⼿くいかない例 nそもそも動向調査に終始していつまでも始まらない Ø他社と抱える課題や状況は同じですか？ Ø「ROI」が、やらない理由になっていませんか？ n何となく始めたのは良いけれど、上⼿くいかないのですぐ⽌めた Ø簡単に⽬覚ましい成果を得られるケースは多くありません Ø⽌めた結果失われるもの（⼈的資源・知識・技術）もあります n社内に分析の知識・経験がある⼈材が少ないので、外部に依頼してみた Ø⼤企業で多いケースですが、上⼿く⾏かないケースも多いそうです Øデータの持つ意味合いを理解できる業務知識が重要

8. 8© Cloudera, Inc. All rights reserved. 我々が⽇々お伝えしているメッセージ n まず、データを使って解決したい問題を⼀緒に考えてみませんか？ Ø「実現したいこと、解決したい課題」を洗い出す n その問題解決に、活⽤できるデータは持っていませんか？ Ø 解決したい問題と、持っている＆使えるデータの照らし合わせ n ひとまず⼿を動かしてみませんか？ Ø やってみないと腑に落ちないことが沢⼭あります n ⼩さな成功体験を積み重ねることの重要性 Ø 世の中で宣伝される華々しい事例の裏側

11. 11© Cloudera, Inc. All rights reserved. 機械学習って具体的には？＜機械学習の出来ること＞⾮常にざっくりとした分類では • 分類/認識（⽂字・⾳声・画像など） • 数値の予測 ※勿論組み合わせたものも多い既存のテクノロジーとの⼤きな違いは、上記のような取り組みを休むこと無く、精度を上げながら回し続けられること。 ※アルゴリズムの変更が不要という意味ではない

12. 12© Cloudera, Inc. All rights reserved. データサイエンティストという存在 http://drewconway.com/zia/2013/3/26/the-data-science-venn-diagram ＜2010年に発表された有名な図＞ •ITスキル •深い（業務）知識 •統計数学的な知識この3つを兼ね備えたのが【データサイエンティスト】と呼ばれる⼈材である、と定義されています。

17. 17© Cloudera, Inc. All rights reserved. データ活⽤にチームプレーが必要な理由 n ビジネス部⾨の⼈が居ない場合… Ø そもそもの問題設定を間違えてしまう Ø 解決の⽷⼝に繋がりやすい普段の取り組み・経験・問題意識を活⽤できない Ø 取り組みに⾃体に理解を得られず、反発を受ける・反感を買う n ITスキルのある⼈が居ない場合… Ø システム化・実装のハードル Ø 最適な道具の選択を誤る可能性 n 統計数学的な知識がある⼈が居ない場合… Ø 意味や背景を理解しないまま、適当に道具を組み合わせると、それらしい結果が出て、信憑性を判断できない・誤った分析で判断・実⾏する ※全てを⾃前（インハウス）で賄うことは難しいケースがありますが、最も⽋かしてはならないのは、ビジネス部⾨のコミットです。

19. 19© Cloudera, Inc. All rights reserved. ストレージ？マート？レイク？そのデータは、誰が何のために保存するのでしょう？ u ストレージ：データ（ファイル・データベース）の保管場所 u データマート：予め分析⽬的・要件に則して設計されている u データレイク：データをそのまま蓄積し、分析するときに必要な形式に変換データマートデータレイク主なデータ形式構造化データ構造化データ・⾮構造化データデータ保存の⼿法 RDBMS NoSQL データの構造先に定義する後から必要な形式を定める

20. 20© Cloudera, Inc. All rights reserved. データ活⽤スタイルの変化これまで = データを処理へ送る最近のトレンド = 処理をデータに送るデータデータのある場所で試⾏錯誤しながら、最適な分析、モデルの作成を⾏う利⽤するデータは、分析によってマチマチ処理データ処理処理処理処理処理データデータデータ予め定められた処理フローにデータを流し込む主に構造化データ⼀部の主要のみ定型レポーティング

26. 26© Cloudera, Inc. All rights reserved. Clouderaで作るデータプラットフォーム IoT データ分析⼤規模バッチ処理データサイエンスカスタマー360 DWHオフロード機械学習プラットフォームCloudera Enterprise クラスタ管理 Cloudera Manager クラウド管理 Cloudera Director セキュリティとデータ管理 Cloudera Navigator Data Science Workbench Spark MLlib Spark Hive Impala Navigator Optimizer Kudu HBase Kafka Spark Streaming サイバーセキュリティメインフレームオフロード

28. 28© Cloudera, Inc. All rights reserved. 様々な業界でのデータ活⽤事例及びテーマ Finance Government Telecom Manufacturing Energy Healthcare 不正検知科学研究ブロードキャストモニタリングサプライチェーンの最適化天然資源の最適化製薬の開発アンチ- マネーロンダリングタックスコンプライアンス解約防⽌故障予測地震データの処理ゲノム解析リスクマネジメントトラフィックの最適化宣伝広告の最適化 RFIDデータの収集スマートメーターの分析臨床品質コスト分析共通するテーマ感情分析 Webアプリケーションの最適化ソーシャルCRM / ネットワーク分析ロイヤリティ / プロモーション分析 ERP 価格の最適化マーケティング施策の最適化内部リスクのアセスメント収益保証ブランド管理物流の最適化 ITインフラの分析法的ディスカバリー企業内での検索機器の監視

30. 30© Cloudera, Inc. All rights reserved. 3種類の機器設備保守アプローチ修理型メンテナンス • 損傷⼜は故障が発⽣してから保守作業を実⾏する • 対処型対応予防型メンテナンス • 状態に関係なく⼀連の保守作業を実⾏する • ルール型対応予測型メンテナンス • 継続的な監視による、異常を検知した場合の保守作業の実施 • 予測型対応 Business Value REACTIVE PROACTIVE 多くの組織で現状⾏われているのは、この組み合わせ

31. 31© Cloudera, Inc. All rights reserved. 予測型メンテナンスの基礎 Predictive Preventative • センサーは絶え間なく、温度・圧⼒・振動などの主要な項⽬を監視し続ける • 機械学習を活⽤することで、異常や、故障につながる⼀連のデータを検出する • 初期障害の兆候が検出されたら、即時対応する • そうすることで、修理に伴う時間やコストを抑える

32. 32© Cloudera, Inc. All rights reserved. 世界中の顧客から定期的な診断データを受領し、分析を⾏うことで、約15％の障害発⽣を未然に防⽌ PaaSサービス（Altus）では、同様の仕組みから更に前進し、失敗したJobの致命的な原因や、パフォーマンスのボトルネックを明⽰する機能を実装し、顧客の早期問題解決を実現する仕組みを実装顧客から⾃動的に送信される診断データを⾃社分析基盤へ蓄積し、過去の重⼤障害と同じログを⾒つけた場合には、⾃動的に対応策を記載した通知を顧客へ送付する（Proactive Support）ことで、障害発⽣を未然に防⽌

33. 33© Cloudera, Inc. All rights reserved. ⼤型機器（タービン）の予兆保全 : • ノイズレベル情報を収集、保存、分析してタービンの異常を検知ソリューション: • タービンからの⾳響データ/オーディオをリアルタイムに収集しCloudera プラットフォーム上で分析を実施 • タービンの健全性診断ソリューションと組み合わせて、健全性の監視と障害の予知を実施産業IoT – 予兆保全

34. 34© Cloudera, Inc. All rights reserved. リアルタイムでの産業機械を予知保全チャレンジ: • 数千台にも及ぶ様々な製造機器やシステムからのデータを収集し分析する必要があるソリューション: • Azure上のClouderaを利⽤したiTrakアプリケーションで、個々の製造システムのパフォーマンスをリアルタイムに監視 • 予知保全 - 問題が発⽣する前に、問題の兆候を特定し修正産業IoT – 予兆保全

35. 35© Cloudera, Inc. All rights reserved. データ量の増加に伴うシステム再構築チャレンジ: 顧客／データ量の増加（⽉間30TB）に伴うシステム再構築ソリューション: • 世界中のデータを収集・蓄積・処理を統合した、IoT分析プラットフォームをクラウド上（Azure)に作成 • データ管理の統合、機械学習モデルの作成 • 既存技術と⽐較して、⼤幅なコストの削減を実現産業IoT – IoT分析のコスト最適化

36. 36© Cloudera, Inc. All rights reserved. データ量の増加に伴うシステム再構築チャレンジ: 研究や製品開発に直結した、ユーザーのインタラクション情報の分析ソリューション: • コンテンツの共有が新規購買を促進するサイクルになっていることから、コンテンツのアップロードを促進する機能及び使⽤パターンを分析して、新製品の開発に活⽤ • 製品ログ、SNS/Webログなど、データを分析することで、顧客が⾃社製品をどのように使⽤しているかを理解する産業IoT – 研究・製品開発への活⽤

37. 37© Cloudera, Inc. All rights reserved. ⾼度なトラッキングシステムの実現チャレンジ: プロセス横断型システムによる、早期の不良品特定を実現ソリューション: • サプライヤー、製造現場、コールセンター、修理窓⼝からのデータを集約 • ほぼリアルタイムで問題点を特定することが可能となり、顧客体験を改善 • シーメンスの顧客は年15-25百万ドルのサポートコストを節約統合データ分析 – 不良品特定の⾼速化

39. 39© Cloudera, Inc. All rights reserved. まとめ u まず、データを使って解決したい課題を明確にしましょう u 関係者を巻き込んで、活⽤サイクルを回せる体制を作りましょう u 蓄積されている＆活⽤できるデータと、課題を整理しましょう u 実験と⼩さな成功体験を積み重ねましょう Clouderaはそんなお客様（パートナー様）の取り組みを全⼒でバックアップします

42. 42© Cloudera, Inc. All rights reserved. 5 keys to success 1) Build a data-driven culture 2) Develop the right team and skills 3) Be agile/lean in development 4) Leverage DevOps for production 5) Right-size data governance 42© Cloudera, Inc. All rights reserved.

先行事例から学ぶ IoT / ビッグデータの始め方

Cloudera Japan

先行事例から学ぶ IoT / ビッグデータの始め方