クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakalt

クラウド上でHadoopを構築できる Cloudera Director 2.0 の紹介 #dogenzakalt

1. 1. 1©  Cloudera,  Inc.  All  rights  reserved. クラウド上でのHadoop基盤 とCloudera  Director  2.0 嶋内  翔、Cloudera
2. 2. 2©  Cloudera,  Inc.  All  rights  reserved. ⾃自⼰己紹介 •  嶋内 　翔(しまうち 　しょう) •  テクニカルエバンジェリスト •  2011年年4⽉月にClouderaの最初の⽇日本⼈人社員として⼊入社 •  お客様がCloudera製品を活⽤用できるように⼀一緒に議論論するのがメインの 仕事 •  email:  sho@cloudera.com •  twitter:  @shiumachi
3. 3. 6©  Cloudera,  Inc.  All  rights  reserved. クラウド上でのHadoopはオンプレとは違う 最適なパフォーマンスのため の区分化 コスト削減のための⼀一時的ク ラスタの採⽤用 効率率率性のための、ストレージ と計算リソースの別個の拡張 Object  Store   STORE   COMPUTE  
4. 4. 49©  Cloudera,  Inc.  All  rights  reserved. Cloudera  Director クラウド環境にエンタープライズデータハブをもたらす Cloudera  Director  とは？ •  Cloudera  ユーザのためのインスタンスプロビジョ ニング・管理理ツール •  バッチ処理理のための⼀一時起動、BIのための⻑⾧長期稼 働、業務システムのためのHAクラスタなどを簡単 に構築、管理理可能 柔軟なデプロイ •  AWS  と  GCPをビルトインでサポート •  Open  Plugin  Frameworkで任意のクラウド環境に デプロイ可能 •  テンプレートを使ってクラスタを構築可能 簡単な管理理 •  ジョブ実⾏行行時の⼀一時的なクラスタ構築 •  複数のクラスタ・環境を1つの画⾯面で管理理可能 •  REST  API  サポート
5. 5. 50©  Cloudera,  Inc.  All  rights  reserved. Director  クライアント •  サーバなし •  コマンドラインで操作 Director  サーバ •  環境、クラスタなどを⼀一元管理理 •  Web  UI  or  コマンドライン Cloudera  Director  アーキテクチャ
6. 6. 51©  Cloudera,  Inc.  All  rights  reserved. AWS  /  GCPの選択やリージョンの 選択など、クラウド環境を設定する 複数の環境を同時利利⽤用可能 環境設定
7. 7. 52©  Cloudera,  Inc.  All  rights  reserved. •  インスタンスタイプなどを設定可 能 •  AWSスポットインスタンス・GCP プリエンプティブルインスタンス なども設定可 •  カスタムAMIも利利⽤用可能 インスタンステンプレート
8. 8. 53©  Cloudera,  Inc.  All  rights  reserved. •  どのCDHコンポーネントを利利⽤用す るか選択 •  インスタンス数も設定可能 •  HAクラスタ、Kerberos  環境など も設定可能 •  約15-‐‑‒30分ぐらいで構築可能 • カスタムAMIを使うともっと速 い クラスタ構築
9. 9. 54©  Cloudera,  Inc.  All  rights  reserved. 複数のクラスタを1つの画⾯面で管理理 可能 ダッシュボード
10. 10. 55©  Cloudera,  Inc.  All  rights  reserved. クラスタ稼働中にインスタンス数を 拡張・縮退可能 クラスタの動的拡張・縮退
11. 11. 56©  Cloudera,  Inc.  All  rights  reserved. 同⼀一のクラスタを作るなら、 「Clone  Cluster」で簡単に複製可 能 クラスタの複製
12. 12. 57©  Cloudera,  Inc.  All  rights  reserved. •  カスタムスクリプト • インスタンスプロビジョン後の カスタムパッケージのインス トール • CM  APIを使った事前設定変更更 • クラスタ停⽌止前のS3へのデータ コピー •  クラスタテンプレート • ノードタイプごとに異異なるセ キュリティグループの設定など も可能 その他の機能
13. 13. 58©  Cloudera,  Inc.  All  rights  reserved. Cloudera  Director  インストール⽅方法 •  qiitaに公開しました   http://qiita.com/shiumachi/items/90649830cb9b45726d99 •  元⽂文書はこちら   http://www.cloudera.com/documentation/director/latest/topics/ director_̲get_̲started_̲aws.html
14. 14. 59©  Cloudera,  Inc.  All  rights  reserved. Get  Started   AWS  Reference  Guide   GCP  Reference  Guide     Download  Cloudera  Director   www.cloudera.com/downloads     Try  It  Out     Cloudera  Live  (includes  step-­‐by-­‐step  tutorial)     AWS  Quickstart   Azure  Marketplace   Resources   API  IntegraLon  &  ScripLng   hOps://github.com/cloudera/director-­‐ sdk   hOps://github.com/cloudera/director-­‐ scripts     AddiLonal  Cloud  IntegraLon   hOps://github.com/cloudera/director-­‐spi   hOps://github.com/cloudera/director-­‐ google-­‐plugin    
15. 15. 60©  Cloudera,  Inc.  All  rights  reserved. Thank  you