Docomo cloud package

Transcript

• 1. © 2015 NTT DOCOMO, INC. All rights reserved. NTTドコモの AWS 開発ガイドラインと セキュリティデザインパターン事例 ∼「ドコモクラウドパッケージ」 が誕生するまで∼ 6/3/2015 栄藤 稔、@mickbean 1
• 2. © 2015 NTT DOCOMO, INC. All rights reserved. 2 AWS Summit Tokyo ‘15での発見 1. ポリシーと統制を伴っ たベンダー非依存の体制 2. アジリティな開発体制 →ニューノーマル（当たり前） クラウドネイティブを前提とした
• 3. © 2015 NTT DOCOMO, INC. All rights reserved. 3 Hardware v.s. Software 長崎社長：「我々はインフラをソフトウェア化するためにAWSを作った」
• 4. © 2015 NTT DOCOMO, INC. All rights reserved. 4 シェアリングできる データセンター プログラミングできる データセンター 従来の サーバープログラミング “Cloud Native”な プログラミング “Cloud 1.0” v.s. “Cloud 2.0” coined by M.E.
• 5. © 2015 NTT DOCOMO, INC. All rights reserved. 産業のソフトウェア化によっておこること 5 • 知の共有 例：マーケットプレイスの出現。 • 新しい事業構造への転換 新しい企業関バリューチェーンの 登場。→APIエコノミーの出現。 
• 6. © 2015 NTT DOCOMO, INC. All rights reserved. 6 Moved to AWS (2012) Moved to AWS (2014) ミッションクリティカルシステム Webサービスシステム 業務系システム
• 7. © 2015 NTT DOCOMO, INC. All rights reserved. 大組織において複数プロジェクトで AWSを利用していると • 内製ならまだしも外注文化では • 設計手法はバラバラ。 • セキュリティ対策もバラバラ。 • コスト最適化もバラバラ。 7
• 8. © 2015 NTT DOCOMO, INC. All rights reserved. コスト可視化ツール：多数部署の利用が見て取れます 8 RIの有効利用度表示   • 有効なRI数   • RI利用数   • RI利用率   • RI余剰数 時系列でのコスト表示   • 利用料表示   • 利用台数表示   • 利用アカウント別   • 利用サービス別   • 日付指定   • 円換算（為替反映）   • 1時間毎/1日毎   • リザーブド(RI)指定   • 利用サービス絞込   • 利用AZ絞込 表示形式   • 利用アカウント別   • 利用サービス別   • 日付指定   • 1時間/1日毎   • リザーブド(RI)指定   • AZ • インスタンスタイプ
• 9. © 2015 NTT DOCOMO, INC. All rights reserved. システム・インテグレータでは解決できない問題＝ クラウドを使うユーザ企業として解決すべき問題。 9 • クラウドを使う上での内部統制 • セキュリティポリシーの制定 • クラウド利用時のシステム構築の注意点 • クラウド利用におけるコスト管理方法や、 セキュリティ管理
• 10. © 2015 NTT DOCOMO, INC. All rights reserved. Cloud2.0 設計・構築のポイント 　 10 ● Design for failure あらゆるものはいつでも故障する 前提で設計する ● コンポーネントの疎結合化 コンポーネントを独⽴立立させ，ブ ラックボックス化する ● スケーラブルな構成 伸縮⾃自在性があり，再起動が可能な 構成にする ● 全レイヤでのセキュリティ AWSとの責任分担モデルを理理解 し，全てをAWSに任せない ● 並列列処理理の実装 アプリケーションやバッチ処理理の 並列列化を検討する ● ストレージの使い分け EBSやデータベース，S3などの ストレージを使い分ける
• 11. © 2015 NTT DOCOMO, INC. All rights reserved. 11 Design for failure：全てのシステムが故障し得ることを前提とした設計 例例えばAZ/DCが1つ潰れてもサービスが継続できるようにシステムを構成 AZ-a AZ-b × Service status : OK Service status : stop Service status : OK × ○ 2AZで同⼀一システムが稼働しており， ⽚片系が潰れてもサービス継続可能 Design for Failure
• 12. © 2015 NTT DOCOMO, INC. All rights reserved. 12 Multi-AZ DB（RDS）配置：完全同期DBを複数AZに配置し，障害時は⾃自動切切替 データを複数AZに同期保存し，障害発⽣生時に⾃自動フェイルオーバーすることによりRPOゼロを実 現（RTO：3-5分） DB Snapshot：S3にDBのバックアップを取得し，万が⼀一のリカバリ等で利利⽤用 AZ間でデータを同期コピーする障害対策と共に 万が⼀一に備えてスナップショットもS3に保存 Region Multi-AZ アベイラビリティ ゾーン アベイラビリ ティゾーン RDS対応エンジン • MySQL • Oracle • PostgreSQL • SQL Server（東京リージョンではMulti-AZ⾮非対応） Design for Failure
• 13. © 2015 NTT DOCOMO, INC. All rights reserved. 13 サーバ冗⻑⾧長化：複数サーバをAZ内，複数AZに冗⻑⾧長化して設置し，ELBに紐紐付け ELBの利利⽤用：ELBはAWSが冗⻑⾧長化しており，利利⽤用すれば⾃自動で冗⻑⾧長化・疎結合化 サーバが落落ちても他サーバで継続処理理し，可⽤用性担保と負荷分散を同時に実現 HTTP/HTTPS/TCPのみを 通すような設定も可能 （Firewall機能も兼用可） EC2 Server EC2 Server ELB EC2 Server EC2 Server Availability Zone #1 Availability Zone #2 フロント/バックエンドの接続にもELBを利利 ⽤用し，疎結合化してTier毎に冗⻑⾧長化 Web Server Web Server Web Server AP Server AP Server AP Server Web Server Web Server Web Server AP Server AP Server AP Server 疎結合化 Design for Failure＋コンポーネントの疎結合化
• 14. © 2015 NTT DOCOMO, INC. All rights reserved. 14 Auto-Scaling：設定した負荷条件に応じてサーバ数を増減，⾃自動復復旧 監視システムと連携し，サーバ負荷増加の場合は⾃自動でサーバを追加，減少の場合は⾃自 動で削除する（サーバ上限/下限数，増加/削除単位，等を設定可能） ※起動するサーバを前もってイメージ化して⽤用意しておく（AMI） フロントエンドとバックエンドのサーバそ れぞれに利利⽤用し，Tier毎に可⽤用性を担保 AMI AutoScaling Auto scaling Group CloudWatch EC2 Server EC2 Server EC2 Server ③新サーバ追加&障害サーバ削除 ①サーバ障害検知 ②AutoScalingトリガ Availability Zone #1 Availability Zone #2 ④データや設定をロード Design for Failure＋スケーラブルな構成
• 15. © 2015 NTT DOCOMO, INC. All rights reserved. 15 ネットワーク冗⻑⾧長化：AWS環境へのアクセス経路路も冗⻑⾧長化して保守・運⽤用 AWSのVPN GatewayはAWSが冗⻑⾧長化しており，企業側を冗⻑⾧長化して複数経路路 化 内部ルータ故障や1経路路遮断時でも 保守・運⽤用できる経路路を確保 Design for Failure
• 16. © 2015 NTT DOCOMO, INC. All rights reserved. 16 DynamoDBセッション管理理：セッション情報を別管理理しステートレスサーバ化 ⾼高性能なNoSQL DBであるDynamoDBに⼀一時的にセッション情報を保存し，⾼高負荷時 であってもボトルネックを作らない構成を実現 セッション情報をDynamoDBに保存し，サーバ 障害時は別サーバで情報取得して処理理を継続 ステートフル ステートレス EC2 Server ELB EC2 Server EC2 Serverセッション情報A セッション情報B EC2 Server ELB EC2 Server EC2 Server セッション情報A セッション情報B サーバ障害が発⽣生するとセッ ション情報が喪失 コンポーネントの疎結合化
• 17. © 2015 NTT DOCOMO, INC. All rights reserved. 17 リソース量量制限がない点を活⽤用し，処理理を並列列化して効率率率化 RDSリードレプリカ：DBからの読み出しを並列列化して性能向上，負荷低減 書き込みはマスターDB，読み出しはリード レプリカとすることで書き込み性能も向上 RDS DB （マスター） ⾮非同期レプリケーション ⾮非同期レプリケーション EC2 Server EC2 Server RDS DB （Readレプリカ） RDS DB （Readレプリカ） Read Write Read EC2 Server EC2 Server EC2 Server EC2 Server RDSリードレプリカ対応エンジン • MySQLのみ 並列列処理理の実装
• 18. © 2015 NTT DOCOMO, INC. All rights reserved. 18 要求される性能，条件等に応じてストレージを使い分けて運⽤用負荷を低減 S3静的ファイルホスティング：動的⽣生成が不不要なファイルをS3に置くことで ファイルの可⽤用性を向上させると共に，EC2の負荷を軽減する 世界中に配信が必要な場合にはS3をオリジン としてCDNであるCloudFrontも利利⽤用可能 AWS Cloud S3EC2 EC2 RDS Web App Web App DB AZ1 AZ2 static.example.com www.example.com ELB ストレージの使い分け
• 19. © 2015 NTT DOCOMO, INC. All rights reserved. パブリッククラウドに対する３大懸念 セキュリティ SLA スイッチングリスク 19
• 20. © 2015 NTT DOCOMO, INC. All rights reserved. ドコモの情報管理体制 （HPより） 2005年4月の個人情報保護法の全面施行に伴い、 個人情報保護法対策や情報漏えい等に対する全社 的なマネジメントの実施、及び社内管理情報に関 する方針策定、規程類の制改定等、一元的な情報 管理の体制の整備・構築を行う部門として、 情報セキュリティ部を設置し、個人情報取扱端末 の管理、業務従事者に対する教育、業務委託先会 社の監督、技術的セキュリティに関するチェック の強化等、セキュリティ管理の徹底に努めてまい りました。 20
• 21. © 2015 NTT DOCOMO, INC. All rights reserved. 21 情報セキュリティ部 法務部 R＆D ビジネス部（新規事業） 情報システム部
• 22. © 2015 NTT DOCOMO, INC. All rights reserved. 私の誇りだったオンプレミスソリューション(2009-) 22
• 23. © 2015 NTT DOCOMO, INC. All rights reserved. RedShiftを利用したデータ分析基盤 23 Data o業務系システム（分析）での利用開始(2014) ØWeb系システム → 業務系システム → ミッションクリティカルシステム ドコモ データセンター
• 24. © 2015 NTT DOCOMO, INC. All rights reserved. 当社情報セキュリティ部のセキュリティチェック項目 24 230
• 25. © 2015 NTT DOCOMO, INC. All rights reserved. 25 アカウント管理理：IAM，MFAを利利⽤用してユーザ・権限管理理を厳格化 MFAでマスターアカウント利利⽤用制限，各IAMユーザの権限を適切切に制限 アクセス元，および各ユーザがアクセスできるリ ソース，機能を制限し，重要操作はMFA利利⽤用限定 AWS account owner (master) Developer (IAM) Operator (IAM) Administrator (IAM) Developer EC2: R/W RDS: R S3: R/W Operator EC2: - RDS: - S3: R Administrator EC2: R/W RDS: R/W S3: R/W × ×△ △ EC2に対して権限を付与できる IAM Roleも活⽤用 全レイヤでのセキュリティ
• 26. © 2015 NTT DOCOMO, INC. All rights reserved. 26 セキュリティグループ：コンポーネントへのアクセスを制限するFirewall機能 サーバ内部を変更更することなく，アクセス元/先を制限し不不正アクセスを排除 アクセス元，および各ユーザがアクセスできるリ ソース，機能を制限し，重要操作はMFA利利⽤用限定 全レイヤでのセキュリティ
• 27. © 2015 NTT DOCOMO, INC. All rights reserved. VPCの発展(2009-） 27 セキュリティグループの拡張(in/outのフィルタリング） 実行中のインスタンスのセキュリティグループの変更 ダイレクトインターネット接続 サブネット間のトラフィックを制御できるNACL等々(2011-)
• 28. © 2015 NTT DOCOMO, INC. All rights reserved. AWSのセキュリティ機能 28 IAM ROLEは一時的なトークンで、予め設定された 権限を制御するサービス。 AWSリソースに対するアクション、アクセス権限を管理 できるサービス。Identity Access Managementの略。 IAM ROLE IAM CLOUDTRAIL CLOUDTRAILはAWS API の呼び出しを記録し、 ログを残すことができるサービス。
• 29. © 2015 NTT DOCOMO, INC. All rights reserved. AWS Summit Japan 2014 E-JAWSセッションにて・・・ 29 羨ましいわ．   そんなノウハウ，ドコモさん   だけに貯めとかんと外にも出しく れはったらええのに   （東急ハンズCIO  長谷川秀樹氏）
• 30. © 2015 NTT DOCOMO, INC. All rights reserved. そうか！ 30 ＝当社の偉大なアセット ユーザー企業によるユーザー企業のための クラウドソリューション誕生の瞬間
• 31. © 2015 NTT DOCOMO, INC. All rights reserved. 31 ログ管理理Firewall/ NACL アクセス制御 AWS自体   が対策 AWS機能を利用   して対策 ドコモ独自   で対策 パターン化＆テンプレ化 共有責任モデル
• 32. © 2015 NTT DOCOMO, INC. All rights reserved. 32 構成プログラミング（テンプレート化） IAM ROLE Cloud Trail IAM CLOUDWATCH
• 33. © 2015 NTT DOCOMO, INC. All rights reserved. クラウドはプログラムできるデータセンター 33 シンプルな Webサーバ しゃべってコンシェル（Cloud-native） データ分析基盤（On premise-hybrid）
• 34. © 2015 NTT DOCOMO, INC. All rights reserved. 34 AWS  Cloud  Formation   –環境構成をスクリプトに従ってデプロイする   –利用料無料
• 35. © 2015 NTT DOCOMO, INC. All rights reserved. 35 お問い合わせ先 dcm-cloudconsulting-ml@nttdocomo.com サービス紹介ページはこちら https://www.39works.net/assets/dcm-cloudconsulting ユーザー企業によるユザー企業のためのクラウドソリューション
• 36. © 2015 NTT DOCOMO, INC. All rights reserved. 効果 36 「ドコモ・クラウド パッケージ」
 を利用しなかっ た場合 「ドコモ・クラウド パッケージ」
 を利用した場合
• 37. © 2015 NTT DOCOMO, INC. All rights reserved. ベジタリア+ウォーターセル + 新潟市 +d 37 M2M   Server   データストレージ 水位・水温 気温・湿度 ピンポイント天候予測、農作 業記録、病害虫注意報など 地図情報・航空写真を利用し た営農管理 多圃場の管理
• 38. © 2015 NTT DOCOMO, INC. All rights reserved. ドコモのセキュリテイ（←詳しく言えませんが） をテンプレート一発で実現 38 情報管理規定 情報管理細則 故意による不正行為抑止 セキュリティ対策基準 サイバー攻撃対応 情報管理マニュアル 顧客情報管理マニュアル 内部・外部のログ 定期的なログ調査の実施 アラートシステム 権限付与ルール アカウント管理 入退室管理 データ暗号化 立ち入り監査 情報セキュリティ監査 サイバー攻撃対応
• 39. © 2015 NTT DOCOMO, INC. All rights reserved. 39 15世紀 21世紀初頭
• 40. © 2015 NTT DOCOMO, INC. All rights reserved. 販売取次パートナーのご紹介 40 アイレット株式会社 Cloudpack事業部様 NTTデータ様
• 41. © 2015 NTT DOCOMO, INC. All rights reserved. ドコモ・クラウドパッケージ Updates 2015年5月までの新サービス、および各種新機能をキャッチアップした、
 アップデート版DCPの提供開始【本日リリース】 コスト監視用ツール『Cost Visualizer』の提供開始【6月中旬】
 （有償オプション） ドコモのビッグデータ分析ノウハウを用いたコンサルティングの提供
 【今夏頃提供開始】 41
• 42. © 2015 NTT DOCOMO, INC. All rights reserved. 私の夢 42 APIエコノミー： 企業間連携による イノベーション の実現 Bild: Mimi Potter / fotolia.de https://en.fotolia.com/id/59201779
• 43. © 2015 NTT DOCOMO, INC. All rights reserved. ドコモのブランドビジョン いつか、あたりまえになることを。 43