G-Tech2015 Hadoop/Sparkを中核としたビッグデータ基盤_20151006

8. 8© Cloudera, Inc. All rights reserved. 後がない従来のアーキテクチャーデータをコモディティとして扱えない専用システムに莫大な投資データソースデータシステムデータアクセス業務分析カスタムアプリケーション既存データデータベース定型業務アプリケーション新規データ得られる知見は限定的データに奮闘するパワーユーザー。多くのユーザーには何のデータも与えられない。コンプライアンスとプライバシー大量なデータと多数のユーザー、乱立したツールが複雑さを増長。セキュリティやガバナンスとビジネスアジリティのバランスを取る必要。限定的なデータ新しいデータソースには対処するも、既存テータの保守は非効率的。既存システムのデータを分析用に変換するために膨大な時間を要する。

13. 13© Cloudera, Inc. All rights reserved. HDFS：分散ファイルシステム • データファイルはロード時に128MBのブロックに分割されて分散される • 各ブロックは複数のデータノードに複製される（デフォルトは3カ所） Name Node Block 1 Block 2 Block 3 Block 1 Block 3 Block 2 Block 3 Block 1 Block 3 Block 1Block 2 Block 2 メタデータ: ファイルとブロックについての情報非常に大きなデータファイル Block 4 Block 4 Block 4 Block 4

14. 14© Cloudera, Inc. All rights reserved. MapReduceの主な利点: • データの局所性: 自動的に計算処理を分けてMapperを適切に開始 • フォールトトレランス: 中間結果を書き出してMapperが再実行できることが、コモディティハードウェアで実行できる機能を意味している • 線形なスケーラビリティ:問題に対して一般的に拡張できる解決を記述するために、開発者に局所性とプログラミングモデルの組み合わせ強要する MapReduce：分散処理 Ma p Ma p Ma p Ma p Ma p Ma p Ma p Ma p Ma p Ma p Ma p Ma p Reduce Reduc e Reduce Reduc e

15. 15© Cloudera, Inc. All rights reserved. 現在: Hadoopを中心とした巨大なエコシステム Director Provision Automate Elastic API Navigator Secure Policy Lineage API Manager Deploy Configure Report Recover Manage Monitor Diagnose Integrate CDH (Cloudera Distribution for Apache Hadoop) Spark Hue Flume Sentry MLlib Hive Kafka Map Reduce Impala Sqoop Oozie Zookeeper Solr Pig Llama YARN Kudu Crunch Avro Record Service HBase Kite Parquet HDFS Training Partners Services Enterprise Availability GABetaFlex

23. 23© Cloudera, Inc. All rights reserved. Apache Spark Hadoopのための柔軟性のあるインメモリデータ処理容易なデプロイメント柔軟、拡張性のあるAPI 高速なバッチとストリーミング処理 • Scala、Java、Python によるリッチなAPI • 対話的なシェル • 異なる種類のワークロードのためのAPI: • バッチ • ストリーミング • 機械学習 • グラフ • インメモリ処理とキャッシュ

24. 24© Cloudera, Inc. All rights reserved. 容易な開発高い生産性を持つ言語をサポート • 同一のAPIで複数の言語をネイティブにサポート • Scala, Java, Python • コードを最小化するために、クロージャ、繰り返し、その他の言語の概念を使用 • MapReduceと比較して2- 5倍コードを削減 Python lines = sc.textFile(...) lines.filter(lambda s: “ERROR” in s).count() Scala val lines = sc.textFile(...) lines.filter(s => s.contains(“ERROR”)).count() Java JavaRDD<String> lines = sc.textFile(...); lines.filter(new Function<String, Boolean>() { Boolean call(String s) { return s.contains(“error”); } }).count();

25. 25© Cloudera, Inc. All rights reserved. 容易な開発対話的に使用できる • データサイエンティストのためのインタラクティブなデータ探索 • 「アプリケーション」を開発する必要がない • 開発者は実際のシステムでアプリケーションのプロトタイピングができる percolateur:spark srowen$ ./bin/spark-shell --master local[*] ... Welcome to ____ __ / __/__ ___ _____/ /__ _ / _ / _ `/ __/ '_/ /___/ .__/_,_/_/ /_/_ version 1.5.0-SNAPSHOT /_/ Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_51) Type in expressions to have them evaluated. Type :help for more information. ... scala> val words = sc.textFile("file:/usr/share/dict/words") ... words: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[1] at textFile at <console>:21 scala> words.count ... res0: Long = 235886 scala>

27. 27© Cloudera, Inc. All rights reserved. Sparkはメモリの利点を活かす耐障害性分散データセット： Resilient Distributed Datasets (RDD) • 分散されたフォールトトレランスなキャッシュにデータを保存するメモリキャッシング層 • データセットがメモリ領域より大きい場合はディスクに戻すことができる • 安定したストレージにあるデータに対する並列変換処理によって生成 • 「リネージ」のコンセプトを通してフォールトトレランスを提供

28. 28© Cloudera, Inc. All rights reserved. 高速な処理メモリ、グラフ演算を使用するインメモリキャッシュ • データのパーティションはディスクの代わりにメモリから読み込むグラフ演算 • スケジューリングの最適化 • フォールトトレランス join filter groupBy B: B: C: D: E: F: Ç √ Ω map A: map take = cached partition= RDD

30. 30© Cloudera, Inc. All rights reserved. Hadoopでの将来のデータ処理特別な目的のエンジンによりSparkを補完する Sparkによる汎用データ処理高速バッチ処理機械学習ストリーム処理 Impalaによる分析データベース低レイテンシ・超平行クエリ Solrによるテキスト検索テキストデータに対するクエリ MapReduceによるディスクでのデータ処理ディスクIOに強く依存したジョブの大規模スケールでの実行共有: • データストレージ • メタデータ • リソース管理 • 運用監視 • セキュリティ • ガバナンス

31. 31© Cloudera, Inc. All rights reserved. Spark Streaming Spark Streamingとは? • SparkのコアAPIを用いてデータの「連続した」処理を実行 • Sparkのコンセプトをフォールトトレラントで変換可能なストリームに拡張 • 「ローリングウィンドウ」操作を追加 • 例: 直近5分間のデータをローリングしながら平均やカウントを計算利点 • 両方のコンテキストの知見とコードを再利用 • ストリーミングとバッチに対し同じプログラミングのパラダイムを適用 • 容易な開発 • 自動的なDAGの生成と高レベルなAPI • 優れたスループット • 簡単にスケールするので大量のデータ取込みに対応可能 • MLlibとOryxのような要素をストリーミングアプリケーションに組み合わせることができる一般的なユースケース • データがHadoop/HDFSに取り込まれたときの「オンザフライ」のETL • 異常な振る舞いの検知と警告をトリガ • 入ってくるデータのメトリクスの概要を連続してレポート

33. 33© Cloudera, Inc. All rights reserved. SparkSQL 機械学習アプリケーション • 目標 • Spark/Javaの開発者とデータサイエンティストがSparkアプリにインラインでSQLを記述できる • 設計目的 • Spark開発者のための開発支援 • Sparkジョブはそれほど平行実行されない • 強み • SQLをJavaやScalaアプリケーションに容易に組み込み可能になる • 開発フローの一般的な機能のための SQL (例. 集約、フィルタ、サンプリング)

34. 34© Cloudera, Inc. All rights reserved. Impalaは未だにインタラクティブなSQLのためのツールの選択肢 0 50 100 150 200 250 300 350 Impala Spark SQL Presto Hive-on-Tez Time(inseconds) Single User vs 10 User Response Time/Impala Times Faster (Lower bars = better)SingleUser,5 10Users,11 SingleUser,25 10Users,120 10Users,302 10Users,202 SingleUser,37 SingleUser,77 5.0 x 10.6x 7.4x 27.4x 15.4x 18.3x

36. 36© Cloudera, Inc. All rights reserved. ClouderaはSparkの変化を導く 2013 2014 2015 2016 Sparkの初期の可能性を認識 CDH4.4に Sparkを同梱してサポート Spark on YARN 連携を追加 Sparkを標準実行エンジンにすることへの方向性を発表最初のSpark トレーニングを開始セキュリティ連携を追加 ClouderaのエンジニアがオライリーのSpark 書籍を執筆より良いパフォーマンス、ユーザビリティ、エンタープライズレディのための努力を継続していく

44. 49© Cloudera, Inc. All rights reserved. 認証システム、データ、関連システムに対するアクセス管理 LDAP Kerberos RPC 監査すべての処理に対する改ざん不能な記録を取得 Cloudera Navigator SIEM Tools 認可誰がどのリソースやサービスにアクセスできるかを制御 POSIX Permissions Apache Sentry 保護保存データや実行データに対する、暗号化とキー管理 Cloudera Navigator: Encrypt & Key Trustee エンタープライズ・グレードのセキュリティあらゆる保存データと実行データに対するアクセスと管理を統制ビッグデータの根幹を支える Cloudera Enterprise ネイティブな機能 • Cloudera Manager および Navigator が Hadoop や関連する製品のプロテクションを自動化 • 境界ベースのセキュリティ • ロールベースのアクセスコントロール • センシティブなデータに対してポリシーベースの管理が唯一可能 • データ系統とディスカバリー

45. 50© Cloudera, Inc. All rights reserved. 市場リスク Basel III: 市場ストレス、ボラリティティ、金利変化に対応できる自己資本規制 Apache Spark Impala 電子記録 WORM: 削除や変更することなくすべてのレコードを保全 Apache HBase Cloudera Search 取引報告 OATS: すべての注文、見積、取引に関する取引記録報告 MapReduce, Spark, HBase, Impala データセキュリティ PCI DSS: クレジットカード所有者の個人情報や取引情報を保護 Cloudera Navigator: Encrypt & Key Trustee 完全な規制対応データに忠実な集中管理とレポーティングエンタープライズハブが、リスク管理、不正検知、データの保全、取引に対するセキュリティコンプライアンスを可能に • ETL、リンケージ、分析機能、レポーティング機能、ストレージの統合 • セキュリティのための特定システムに必要なコストを相殺 • 必要なデータを集中させ、利用度を向上 • スピードを向上しコンプライアンス報告の手間を軽減

46. 51© Cloudera, Inc. All rights reserved. ビッグデータがデータガバナンスを満たす Cloudera Navigator Apache Hadoop用のネイティブなエンドツーエンドのデータガバナンスソリューションにより、リスクを最小化しコンプライアンスを維持ユニークな機能: • 監査 • 系統（リネージ） • メタデータのタグ付けと探索 • ライフサイクル管理

47. 52© Cloudera, Inc. All rights reserved. エンタープライズ・グレードのセキュリティと規制に対応 Cloudera Enterprise で PCI DSS 要件に対応 PCI 要件詳細 Apache Sentry Kerberos Cloudera Navigator Cloudera Manager Cloudera CSE カスタマー脆弱性を管理するプログラムの整備カード会員データを保護するためにファイアウォールを導入し、最適な設定を維持すること ✔ システムパスワードと他のセキュリティ・パラメータにベンダー提供のデフォルトを使用しないこと ✔ カード会員データの保護保存されたカード会員データを安全に保護すること ✔ 公衆ネットワーク上でカード会員データを送信する場合、暗号化すること ✔ 脆弱性を管理するプログラムの整備アンチウィルス・ソフトウェアを利用し、定期的に更新すること ✔ 安全性の高いシステムとアプリケーションを開発し、保守すること ✔ 強固なアクセス制御手法の導入カード会員データへのアクセスを業務上の必要範囲内に制限すること ✔ コンピュータにアクセスする利用者毎に個別のID を割り当てること ✔ カード会員データへの物理的アクセスを制限すること ✔ 定期的なネットワークの監視およびテストネットワーク資源およびカード会員データに対するすべてのアクセスを追跡し、監視すること ✔ セキュリティ・システムおよび管理手順を定期的にテストすること ✔ 情報セキュリティ・ポリシーの整備情報セキュリティに関するポリシーを整備すること ✔

49. 54© Cloudera, Inc. All rights reserved. Kudu: Hadoopの新しいストレージオプション Structured Fixed Column Data SQL + Scan Use Cases Unstructured Data Deep Storage Scan Use Cases Structured Fixed Column Data SQL + Scan Use Cases Any Type of Column Schemas Gets / Puts / Micro Scans

52. 57© Cloudera, Inc. All rights reserved. 業界をリードするClouderaのトレーニング #1 カリキュラム開発者向け、管理者向け、アナリスト向け、Spark、データサイエンティスト向けコースなどを含む広範囲なトレーニング #1 経験 2009年から数えて45,000人の生徒が受講し、5,000人のCloudera認定プロフェッショナルが誕生 #1 柔軟性オンサイトあるいはパブリック、世界主要各都市で実施

55. 67© Cloudera, Inc. All rights reserved. ビッグデータに関わるエンジニアが知っておくべきこと活用の前に正しい知識を習得する・Hadoop/Sparkはデータに関わるエンジニアにとって必要なスキル・トレーニングは短期間で正しい知識を得るために有効新しいエコシステムへの対応、運用の効率化、セキュリティを考慮する・Cloudera Managerなどの管理ツールが効果的継続的な変化への対応と事業継続性を忘れずに・システムは継続的に変化する・非汎用的なツールは将来の変化に耐えられず、負担になる・人に依存しすぎない体制

G-Tech2015 Hadoop/Sparkを中核としたビッグデータ基盤_20151006

Cloudera Japan

G-Tech2015 Hadoop/Sparkを中核としたビッグデータ基盤_20151006

A particular slide catching your eye?