Big Data on AWS 補足情報

トレーニングの準備

• トレーニングガイド：こちらをクリック
• アンケート入力方法：こちらをクリック
• Retwis: こちらをクリック
• Lab： ※ブラウザを開いて次のURLにアクセス

  https://aws.qwiklab.com/
  

自己紹介

• ご担当業務
• 今回の課題（受講目的）
• AWS経験
• その他コメント

Labガイド

• Lab1
• Lab2
• Lab3
• Lab4
• Lab5
• Lab6
• Lab7
• 追加Lab
• EC2へのSSH接続手順

認定試験関連&学習向け資料

• AWS 認定ビッグデータ – 専門知識
• AWS セルフペースラボ
• AWS クラウドサービス活用資料集
• 試験準備コース
• 再認定

その他参考資料/リソース

• 付録
• 推奨コースフロー
• AWS Summit Tokyo 2018 資料・動画一覧
• AWS Summit Tokyo 2017 セッション資料・動画一覧
• AWS ホワイトペーパ
• AWS Labs
• AWS Summit Tokyo 2019
• AWS Summit Osaka 2019

参考情報

モジュール1

• Big Data Analytics Architectural Patterns and Best Practices (ANT201-R1) - AWS re:Invent 2018
• クラウドにおけるアーキテクチャの設計原則 AWS Summit Tokyo 2017

モジュール2

• Kinesis エージェントを使用した Amazon Kinesis Data Streams への書き込み
• 大量のデータを Amazon S3 から Amazon EMR クラスターの HDFS にコピーする方法を教えてください
• EMR – Sqoop を使用して RDBMS またはオンプレミスデータを EMR Hive、S3、および Amazon Redshift に移行する

モジュール3

• Amazon Kinesis Data Generatorを使用してストリーミングデータソリューションをテストする
• Kinesis Data GenratorのCognito CFn

  https://s3-ap-northeast-1.amazonaws.com/resatotmp0001/course/bigdata/kdgcognito.template ※us-west-2で実行

• Kinesis 拡張ファンアウト
• High Performance Data Streaming with Amazon Kinesis: Best Practices (ANT322-R1) - AWS re:Invent 2018
• Amazon Kinesis Data Firehose での AWS PrivateLink のサポートを拡張
• Serverless Video Ingestion & Analytics with Amazon Kinesis Video Streams (ANT208) - AWS re:Invent 2018

モジュール4

• データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法
• AWSで構築するデータレイク基盤のアーキテクチャ
• AWS Lake Formation
• Introduction to AWS Lake Formation - Build a Secure Data Lake in Days - Online Tech Talks

モジュール5

• S3のデータをAmazon Athenaを使って分析する
• Amazon Athena が SELECT クエリの結果を使用して CREATE TABLE (CTAS) のサポートを追加
• Amazon Athena のパフォーマンスチューニング Tips トップ 10

モジュール6

• Amazon EMRのベストプラクティス
• AWS パブリックデータセット
• Amazon EMR announces Support for Multiple Master nodes to enable High Availability for EMR applications

モジュール7

• Amazon EMR のリソース
• AWS 開発者センター
• Amazon EMR で Auto Scaling を使用する方法
• Amazon EMR のサイズ変更とオートスケーリングのベストプラクティス

モジュール8

• Amazon EMR リリース
• Apache Hive メタストアを Amazon EMR に移行してデプロイする
• Amazon EMR 移行ガイド

モジュール9

• Amazon EMR クラスターでホストされているウェブサイトの表示

  インターフェイスの名前	URI
  YARN ResourceManager	http://master-public-dns-name:8088/
  YARN NodeManager	http://coretask-public-dns-name:8042/
  Hadoop HDFS NameNode	http://master-public-dns-name:50070/
  Hadoop HDFS DataNode	http://coretask-public-dns-name:50075/
  Spark HistoryServer	http://master-public-dns-name:18080/
  Zeppelin	http://master-public-dns-name:8890/
  Hue	http://master-public-dns-name:8888/
  Ganglia	http://master-public-dns-name/ganglia/
  HBase	http://master-public-dns-name:16010/
  JupyterHub	https://master-public-dns-name:9443/

モジュール10

• Amazon EMR の伸縮性と回復力を高めるための Spark の機能強化

モジュール11

• AWS Data Pipeline Black Belt 2015
• DynamicFrame クラス
• AWS Glue : ネストされた JSON を Relationalizeトランスフォーム
• AWS Glue を使用することによってオンプレミスデータストアにアクセスして分析する方法
• AWS Step FunctionsとAWS Lambdaを使って複数のETLジョブの統合を行う

モジュール12

• Amazon Redshift の同時実行スケーリング
• Elasitc Resize
• AWS 導入事例 株式会社NTTドコモ

モジュール13

• Amazon EMR を保護するベストプラクティス

モジュール14

• Amazon EMR のサイズ変更とオートスケーリングのベストプラクティス

モジュール15

• AWS 導入事例 株式会社大創産業
• Amazon QuickSightへの機械学習（ML）によるインサイト機能
• Amazon QuickSight が ML Insights の一般提供開始を発表

※記載している情報およびリンク先の情報は、現在の状況と異なる可能性があります。詳細はドキュメントなどをご確認ください。