Kubernetes on Alibaba Cloud

1. k8s on Alibaba Cloud AliEaters #2 @yoshidashingo 2018.3.20

2. 吉田真吾 n バックグラウンド証券システム基盤開発 p 基盤システム開発、Oracleチューニングなどエバンジェリスト p 講演113回(2013年実績) p AWS設計・構築・移行(2014-2015) n 現在のしごと (株) セクションナイン代表取締役社長 p APN コンサルティングパートナー p DevOps Dockerize Serverless 支援など (株) 実績等 p AWSウルトラクイズ初代チャンピオン (2012年) p AWS Samurai 2014 / 2016

3. Agenda • おさらい • Alibaba Cloudのはじめかた • 基本的なアーキテクチャと利用するコンポーネントサービス • Container Service - Kubernetes Mode -

4. アカウント / ユーザー管理 3種類 (International / 中国 / 日本) • 在住国の「電話番号」「クレジットカード」によりアカウント種別が決定 • 使えるサービスに差分はあるが誰でもすぐに中国内にインスタンスを起動できる (公開にはICP必要) Resource Access Management • RAMユーザーを作成してユーザーやグループでアクセス権限を付与することでリソースにアクセス

5. 第三者認証 https://www.alibabacloud.com/trust-center

6. SOCレポート https://www.alibabacloud.com/trust-center/soc • Scope: • ECS 仮想サーバー • RDS マネージドRDBMS • OSS オブジェクトストレージ • VPC 仮想ネットワーク • SLB ロードバランサー • CDN • 内部セキュリティシステム • SOC 3 レポートがDL可能、より詳細な SOC1,2は個別取得が必要 • 2016年5月〜10月 by Earnest and Young • @シンガポール (2DC)

7. リージョン • 中国内 • フフホト(内モンゴル自治区) • 張家口 • 北京 • 青島 • 上海 • 杭州 • 国際 • 東京 • 香港 • クアラルンプール (マレーシア) • シンガポール • シドニー(オーストラリア) • ドバイ • フランクフルト(ドイツ) • ヴァージニア (米国) • シリコンバレー (米国) https://jp.alibabacloud.com/help/doc-detail/40654.htm

8. ICP申請(Filling) / ICPライセンス(Liscence) • ICP申請(登録) • 中国内でWebサイトをホスティングする、またはCDN配置する場合に申請必須 • 2015年7月から外国籍企業でも登録可能(事務所の駐在員登録証必要) • モバイルアプリは対象外 • 完成前でもドメインがあれば登録可能 • 複数サイトをホストしている場合は1回でOK • ICP商用ライセンス • ECサイトなど営利目的のサイトを運営するための許可(代表者による申請が必要) • 非商用ICPライセンスの場合は担当レベルの申請 • 事業免許 • ICPライセンスの取得に必要な中国内での事業免許 • 中国内の本社所在地に近いリージョンから配信する必要あり • 香港リージョン • ICPライセンス不要なのでこちらで十分か検討する https://www.alibabacloud.com/forum/read-873 https://www.alibabacloud.com/help/zh/faq-detail/43904.htm https://jp.alibabacloud.com/help/product/35468.htm

9. 中国サイバーセキュリティ法(网安全法) • 2017.6.1施行(猶予期間〜2018.12.31) • 個人情報保護 • 中国内での個人情報の収集・仕様・保護要件の明確化 • 機密情報の保存 • 中国内で収集された個人情報やデータは中国国内で保存 • 国外へのデータ移転 • 原則禁止、ただしオプトインかつ届出を行い許可を受けて行うことができる • セキュリティ製品は当局の認証を受ける必要がある

10. 基本的なアーキテクチャ

11. 高可用なWebアプリケーションリージョン DNS Subnet VPC Zone A Zone B OSS SLB RDSECS ECS SLB ECS ECS Auto Scaling

12. Storage & Networking Virtual Private Cloud (VPC) • 閉域ネットワーク環境 • 1VPC:1VRouter(ルートテーブル) • VSwitch(サブネット) NAT Gateway VPN Gateway Customer Gateway Elastic IP Address Express Connect • VPC同士の接続 (ex.日本⇄ 中国リージョン) • オンプレからの専用線接続 VPN Alibaba Cloud CDN PCDN HTTPDNS Object Storage Service Table Store

13. Storage & Networking Virtual Private Cloud (VPC) • 閉域ネットワーク環境 • 1VPC:1VRouter(ルートテーブル) • VSwitch(サブネット) NAT Gateway VPN Gateway Customer Gateway Elastic IP Address Express Connect • VPC同士の接続 (ex.日本⇄ 中国リージョン) • オンプレからの専用線接続 VPN Alibaba Cloud CDN PCDN HTTPDNS Object Storage Service Table Store

14. 高可用なWebアプリケーションリージョン VRouter VSwitch Subnet VPC Zone A Zone B VSwitch Subnet

15. Computing Elastic Compute Services(ECS) • 仮想サーバーのサービス • ネットワークストレージ CloudDiskを接続して利用 • 99.95%の可用性 Server Load Balancer • ロードバランサー Auto Scaling Container Service • Swarm, Kubernetesクラスタに対応したコンテナサービス • テンプレートによる自動構築 BatchCompute • コンテナでジョブを実行 Function Compute • FaaS Simple Application Server • VPS 中国のみ中国/国際のみ

17. 高可用なWebアプリケーションリージョン VRouter VSwitchSubnet VPC Zone A Zone B SLB VSwitch

19. 高可用なWebアプリケーションリージョン VRouter VSwitchSubnet VPC Zone A Zone B SLB ECS VSwitch

20. 高可用なWebアプリケーションリージョン VRouter VSwitchSubnet VPC Zone A Zone B SLB ECS VSwitch SLB ECS

22. 高可用なWebアプリケーションリージョン VRouter VSwitchSubnet VPC Zone A Zone B SLB ECS ECS VSwitch SLB ECS ECS Auto Scaling

23. Database ApsaraDB for RDS (MySQL) ApsaraDB for RDS (SQL Server) ApsaraDB for RDS (PostgreSQL) ApsaraDB for MongoDB ApsaraDB for Redis ApsaraDB for Memcache ApsaraDB for Hbase AnalyticDB • MySQL互換のOLAPデータ分析サービス HiTSDB (High-Performance Time Series Database) • 時系列DB HybridDB for MySQL HybridDB for PostgreSQL • MPP用エンジン Distributed Relational Database Service Application Realtime Monitoring Service

24. Database ApsaraDB for RDS (MySQL) ApsaraDB for RDS (SQL Server) ApsaraDB for RDS (PostgreSQL) ApsaraDB for MongoDB ApsaraDB for Redis ApsaraDB for Memcache ApsaraDB for Hbase AnalyticDB • MySQL互換のOLAPデータ分析サービス HiTSDB (High-Performance Time Series Database) • 時系列DB HybridDB for MySQL HybridDB for PostgreSQL • MPP用エンジン Distributed Relational Database Service Application Realtime Monitoring Service

25. 高可用なWebアプリケーションリージョン DNS Subnet VPC Zone A Zone B OSS SLB RDSECS ECS SLB ECS ECS Auto Scaling

26. Alibaba Cloud Container Service - Kubernetes Mode -

27. Container Adoption Inside Alibaba Singles Day(2017) • 10K container instances provisioned in 10 minutes • 100Ks of running containers for transaction processing • Processing 325K orders per second at peak https://speakerdeck.com/ddbmh/container-service-at-alibaba-cloud T-mallのSingle DayをさばいたContainer Service • 2017.11.11 • 取引 1682億元/日 (2兆8594億円) • 10分で1万台のコンテナインスタンスを配備 • 10万以上のコンテナで決済処理 • 325,000Txn/秒(ピーク時)

28. Container Community Engagement Platinum Member since Dec 06 Kubernetes certified service provider Out-of-tree cloud providers OSS/NAS support by FlexVolume VPC Network support by Flannel Fluentd-pilot OSS backend for Docker Registry Docker Machine for ECS https://speakerdeck.com/ddbmh/container-service-at-alibaba-cloud Contribution

29. China International Japan 日本アカウントではまだ使えません

30. クラスタの作成 Resource Orchestration Service (ROS) によるプロビジョビング

31. クラスタの作成 Master: 3台 Worker: 3台

32. Out-of-tree Cloud Provider >HHEG = H>I8 DB A IC DCH7 C 7A ADI: DCH DAA B7C7= AE>7 & H7 & H78A https://speakerdeck.com/ddbmh/container-service-at-alibaba-cloud ネイティブサポート alicloud-controller-manager による抽象化

33. Kubernetesのオペレーション n コンソールからyamlで操作 or n Kubectl コマンド • Masterノードからconfigをコピーして操作 U R T 2) ) ) /$H $N EHTPH HU$N EH PI 8 6$ N EH$ PIL N EH O H R GU <3 6 635D @A3A @ 6@A3 A@ 376 R UX ETM $ PPLP R UX RSY $ PPLP N EH O H UHTXL HU <3 6 AD>6 4: @A6 9> 6CA6 <3: 9> > A @ 376 R UX < GH> T . 0P PH1 - /( ( $A4> N EHTPH HU 4O U HT9> . 0P PH1 ))($A4>

34. アプリのコンテナをデプロイ (kubectl続き) M DGE N IG R U :295 524 > 2 > 5> 2 > 265 T P GP - ). YXS $ PP PI ) T P GP - ). E. LO $ PP PI ) T P GP - ). DO T $ PP PI ) R UXE DTL $ PP PI R UXE RS $ PP PI TG U OCU GT D ) EE OUT $ PP PI TG U UNCXG -)-) D- - - SD $ PP PI ) TG U UNCXG -)-) D- - N E.O $ PP PI ) M DGE N IG UGTX EGU :295 <5 38 > 5 7< 5A 5 :28 7< < > 265 T P GP : G< T . 0P PG1 - /( $ 3< ) R UXE : G< T . 0P PG1 - /( ( $ 3< M DGTPG GU 3N U GT7< . 0P PG1 ))($ 3< TG U OCU GT 3N U GT7< . . - 0P PG1 ( .$ 3< ) TG U UNCXG 3N U GT7< . ( 0P PG1 ( .$ 3< )

35. ホストのスケールアウト

36. アプリケーションのスケールアウト TDN< =ME A MT > 5042TTTTTTTTTTTTTTTTTTTTTTTTTTTT6201 TTTTT780897TTTT62780687TTT032 GM G> > TTTTTTT$"$TTTTTTT6NGG GATTT TTTTTTTTTT GM G> > M< M TTTTTTT$"$TTTTTTT6NGG GATTT TTTTTTTTTT -RS/ TDN< =ME = E T> E GMT GM G>T E = > E GMT GM G> T = E > TDN< =ME A MT > 5042TTTTTTTTTTTTTTTTTTTTTTTTTTTT6201 TTTTT780897TTTT62780687TTT032 GM G> > TTTTTTT$"$TTTTTTT6NGG GATTT TTTTTTTTTT GM G> > TTTTTTT$"$TTTTTTT6NGG GATTT TTTTTTTTTT GM G> > M< M TTTTTTT$"$TTTTTTT6NGG GATTT TTTTTTTTTT -RS/

37. Helmも統合されてる

38. Application Catalog A tool that streamlines installing and managing Kubernetes applications repository :https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts https://speakerdeck.com/ddbmh/container-service-at-alibaba-cloud

39. まとめ • 簡単にはじめられる Alibaba Cloud • 基本的なアーキテクチャからコンテナベースのアプリケーション運用まで多岐にわたるコンポーネント群が準備されている • Container Service：ダブルイレブンでの大規模な実績 • セットアップが簡単、オペレーションは通常の Kubernetesの使い方で（独自の作り込みは少なめ）

Kubernetes on Alibaba Cloud

真吾 吉田

Kubernetes on Alibaba Cloud

真吾吉田