マイクロサービス化設計入門 - AWS Dev Day Tokyo 2017

マイクロサービス化設計入門 - AWS Dev Day Tokyo 2017

1. 1. 〜マイクロサービスを設計するすべての開発者に送る〜 クラウド時代のマイクロサービス設計徹底解説！ 2017/5/31 鈴木雄介 グロースエクスパートナーズ株式会社 執行役員 日本Javaユーザーグループ 会長 AWS Dev Day Tokyo 2017
2. 2. 〜マイクロサービスを設計するすべての開発者に送る〜 クラウド時代のマイクロサービス設計徹底解説！ 2017/5/31 鈴木雄介 グロースエクスパートナーズ株式会社 執行役員 日本Javaユーザーグループ 会長 AWS Dev Day Tokyo 2017 マイクロサービス化設計入門
3. 3. 自己紹介 鈴木雄介 • グロースエクスパートナーズ（株） » 執行役員/アーキテクチャ事業本部長 » http://www.gxp.co.jp/ • 日本Javaユーザーグループ » 会長 » http://www.java-users.jp/ • SNS » http://arclamp.hatenablog.com/ » @yusuke_arclamp 2
4. 4. 主な対象と前提 • 既存でモノリシックなシステムが存在 »SoR系（モード1）とSoE系（モード2）のシステムが混在し、そ れぞれに連携している • マイクロサービスにこれから取り組む/取り組み始めた • いきなりマイクロサービス化することは技術的にも組織的 にも容易ではない気がしている • 具体的な作り方は話しません »アイコンのみ付けてます 3
5. 5. アジェンダ • なぜマイクロサービスか • マイクロサービス化設計 »サービス分割 »メッセージング »無停止デプロイ »レジリエンス »テスト戦略 など • まとめ 4
6. 6. なぜマイクロサービスか 5
7. 7. なぜマイクロサービスか ウェブサービスの状況 • システム全体は巨大化していく »システム全体の中には様々な機能（SoR/SoE）がある »それぞれが独自のライフサイクルを持っている • でも、ビジネス環境の変化には素早く適応したい »機能やリソースの変更を素早く、無停止で行いたい 6
8. 8. 従来のアプローチ モノリシックにおける戦略 • アプリ内の適切な機能分割設計 »アプリ内を分割してコード変更の影響範囲を限定する ▸クラス設計パターン、マルチティア、UI/Logic/DAOなど »そのアプリを1つのノードとして配備し、それぞれ連携 7 インフラ アプリ システム インフラ アプリ インフラ アプリ システム システム
9. 9. 従来のアプローチ モノリシックの弊害 • 実行時の影響範囲が見えにくい »設計時の分割だけでは実行時の依存関係を把握す ることは困難 »部分への性能劣化が全体に波及しやすい »影響調査とリグレッションテストに工数を消費 • 巨大化すると難易度があがる »個別変更でも全体調整 »部分変更でもシステム全体をリリース 8
10. 10. サービス化による戦略 • アプリを機能ごとにサービスで分割していく »サービス＝稼働状態にあるアプリケーション ▸機能だけではなく非機能も切り分けられている »サービスは個別ノードに配備し、ゆるやかに連携している マイクロサービスのアプローチ 9 ｻｰﾋﾞｽ (ｱﾌﾟﾘ+ ｲﾝﾌﾗ) ｻｰﾋﾞｽ (ｱﾌﾟﾘ+ ｲﾝﾌﾗ) ｻｰﾋﾞｽ (ｱﾌﾟﾘ+ ｲﾝﾌﾗ) ｻｰﾋﾞｽ (ｱﾌﾟﾘ+ ｲﾝﾌﾗ) システム全体 ｻｰﾋﾞｽ (ｱﾌﾟﾘ+ ｲﾝﾌﾗ) ｻｰﾋﾞｽ (ｱﾌﾟﾘ+ ｲﾝﾌﾗ) ｻｰﾋﾞｽ (ｱﾌﾟﾘ+ ｲﾝﾌﾗ) ｻｰﾋﾞｽ (ｱﾌﾟﾘ+ ｲﾝﾌﾗ) ｻｰﾋﾞｽ (ｱﾌﾟﾘ+ ｲﾝﾌﾗ)
11. 11. マイクロサービスのアプローチ マイクロサービスアーキテクチャ • 実行時の影響範囲が限定しやすい »APIを通じたサービス同士の依存関係が明確 »サービスが独立しており、他とは疎結合 • 巨大化してもサービス単位で管理 »サービス単位に好きなタイミングで仕様変更、リ ソース変更ができる ▸「速さ」ではなく「独立性」が重要 10
12. 12. なぜマイクロサービスか マイクロサービス化の目的と手段 • システム全体が巨大になろうとも、機能別に好きなタイミ ングで機能やリソースの変更を行いたい • そこで、機能をサービス化してノード分割し、それらを管 理することにした »クラウドによる仮想化技術の普及が管理ノードの増加を後押し »自動化によりインフラ構築コストを0にすることができる 11
13. 13. マイクロサービス化設計 12
14. 14. マイクロサービス化設計 マイクロサービス化設計における考慮点 • サービス分割 • 横断的関心事の分離 • データの分離 • メッセージング 13 • 無停止デプロイ • レジリエンス • テスト戦略 • チーム体制
15. 15. マイクロサービス化設計 サービス分割 14
16. 16. サービス分割 サービスの分割はどうあるべきか？ • 増：細かく分割するほど機能単位での再利用性が高まる • 減：ノード間連携のオーバーヘッドは大きく、管理も難 »分散コンピューティングの限界 • よって、適切な大きさ/数に分割する必要がある »先進的な企業で数百サービス×マルチノード＝数千ノード 15
17. 17. サービス分割 サービスの粒度は「サービスによる」 • ナノ： 0-3人月程度の単機能なAPI • マイクロ：3-20人月程度で複数のAPIを提供 • 既存のシステム単位に近いサービス粒度 »ミニ：20-100人月程度。3-6人でメンテ »中規模：100-300人月程度。7-10人がかりでメンテ »大規模：中規模以上 16 Amazon API Gateway
18. 18. サービス分割 サービスはドメイン単位にする？ • ドメインとは？ »ドメイン≒業務（利用者視点での関心事のカタマリ） »商品登録ドメイン、発注ドメイン、物流ドメイン… • ドメインはボトムアップで発見すべき »実践してフィードバックによって学んでいくしかない ▸例：コードにして検証して改善する »ただ、それだけだと辛い 17
19. 19. サービス分割 サービス観点で分割する • 業務や利用の観点で変更が発生する要因をくくる »「変更要因」のタイミングや理由が同じモノをくくる »同時に変更が発生するものは一緒にしておけばいい • 作り手の観点ではないことに注意が必要 »従来のモノリシックにおける分割とは観点が異なる ▸例：UI/ロジック/DAOのような技術特性での分割 ▸もちろん、サービス内部は作り手の観点でよい »ただし、技術的な限界は存在する 18
20. 20. サービス分割 変更発生要因が分離しうる要素 »フロントエンド(SPA)とバックエンドの分離などはユーザー種が 原因と考えることができる 19 No 要因 例 1 ユーザー種 コンシューマーか、社内部門か 2 目的 探したいか、注文したいか 3 利用プロセス 個別処理か、一括処理か 4 利用状況 PC利用か、モバイル利用か 5 ユーザー思考 容易にか、細かくか 6 ビジネス要件 商品登録か、物流か
21. 21. サービス分割 いかに技術制約を超えていくか • サービス分割は「分けれるものを分ける」だけ »変更の発生要因の違いは常に分割点になりうる • 問題は分割時の技術制約をどうするか »ここから後の話の 20
22. 22. マイクロサービス化設計 横断的関心事の分離 21
23. 23. 横断的関心事の分離 「横断的機能」の分離 • わかりやすい例は認証認可、ログ、設定管理 »複数のサービスで共有する機能 »複数のサービスを俯瞰的に見る機能 • サービス分割のために横断的関心事の早期分離が必要 »いわゆる「プラットフォーム」の機能を拡充させる 22
24. 24. 認証認可 認証機能な段階的な移設 »共有データ：AとBの機能仕様が共有される必要がある »API化：サービスAにサービスBの都合が含まれる »専用サービス化：横断的関心事として切り出される 23 ｻｰﾋﾞｽA ｻｰﾋﾞｽB 共有データ RDB、インメモリ ｻｰﾋﾞｽA ｻｰﾋﾞｽB API化 ｻｰﾋﾞｽA ｻｰﾋﾞｽB 専用サービス化 認証 ｻｰﾋﾞｽ Amazon Cognito AWS Directory Service
25. 25. ログ基盤 リクエストの分散トレース • サービスをまたがったトレーサビリティの確保 »リクエストやサービス間通信にIDを発行する »各サービスからはログ基盤にログを送信する • 監視、分析 »さらにログをベースにした異常検知、アクセス/メトリクス分析 24 ログ基盤 ｻｰﾋﾞｽA ｻｰﾋﾞｽB ｻｰﾋﾞｽC ログ監視 ログ検索 ログ分析Amazon CloudWatch Amazon Kinesis
26. 26. 設定管理 設計情報の集中管理 • 環境に依存する設定情報を集中管理する »各サービス内に設定ファイルを配置するのではなく、ネットワー ク経由で取得する »Spring Cloud Config 25 設定管理サーバ ｻｰﾋﾞｽA ｻｰﾋﾞｽB ｻｰﾋﾞｽC ①起動時に設定を取得
27. 27. AWSのプラットフォーム機能 26
28. 28. マイクロサービス化設計 データの分離 27
29. 29. データの分離 データは各サービスが管理する • データをサービス間で共有することは避けるべき »テーブル構造の変更が強制的に同期されるから • とはいえ、データの特性や種類に応じて方式を選択 »RDBの機能は有効活用。ただし、2フェーズコミットを避ける »不整合の許容範囲を決めることが重要 ▸許容できないなら疎結合化は困難になる »メッセージングの仕組みとの組み合わせで検討 28
30. 30. データ分離 • 共有データ：テーブルを共有する。変更同期が必要 • ビュー：参照公開前提だが、変更同期が必要 • トリガー/ストアド：変更同期は不要。非機能同期が必要 • ETL：全て非同期になる 29 ｻｰﾋﾞｽA ｻｰﾋﾞｽB ｻｰﾋﾞｽA ｻｰﾋﾞｽB ｻｰﾋﾞｽA ｻｰﾋﾞｽB 共有データ ビュー トリガー/ストアド ｻｰﾋﾞｽA ｻｰﾋﾞｽB ETL Amazon RDS Amazon DynamoDB Amazon ElastiCache AWS Glue
31. 31. • イベントソーシング »データのステートではなくデータへのイベントを共有する ▸非同期ではあるが、時間的ズレを小さくできる »CQRS/コマンドクエリ責務分離 ▸コマンド：更新などのロジックを含む処理 ▸クエリ：検索などの単純な処理 ｲﾍﾞﾝﾄ ｽﾄｱ データ分離 30 ｻｰﾋﾞｽA ｻｰﾋﾞｽB ｽﾃｰﾄ イベントソーシング
32. 32. マイクロサービス化設計 メッセージング 31
33. 33. メッセージング サービス同士を連携させる • RESTful API over HTTP »もっともシンプルで分かりやすい実装 • メッセージキューによる非同期化 »機能同士の非機能を分離することができる 32 ｻｰﾋﾞｽA ｻｰﾋﾞｽB ｻｰﾋﾞｽA ｻｰﾋﾞｽBｷｭｰ 同期型 非同期型 ｻｰﾋﾞｽA ｻｰﾋﾞｽB ｷｭｰ Pub/Sub型 ｻｰﾋﾞｽC ｻｰﾋﾞｽD Amazon SQS
34. 34. 不整合の許容 Amazonのクーポン • 非同期による不整合の許容 »サービス間の疎結合を重視する »運用でリカバリするほうがメリッ トが大きければクーポンもあり 33
35. 35. APIバージョニング サービス間のバージョン管理 1/2 • URLベース »URLにサービスのバージョンを表現してしまう »単純で実装しやすいが、古いサービスの維持が必要になる 34 V1 V2 GET /v1/customer/1 GET /v2/customer/1
36. 36. サービス間のバージョン管理 2/2 • 互換性維持 »複数バージョンの機能を維持し、パラメタで判別 ▸例：HTTPヘッダの値（X-Protocol-Version） »バージョン切替は、 ▸返却データ形式であればMVCのビュー切替など ▸ロジックであればアダプタパターンなど APIバージョニング 35 GET X-Protocol-Version:1 /customer/1 GET X-Protocol-Version:2 /customer/1 V1 V2
37. 37. マイクロサービス化設計 無停止デプロイ 36
38. 38. 無停止デプロイ Continues Deploy • コードがサービスになるまでの一連を自動化 »コードチャックアウト、ビルド、テスト、パッケージング »サーバ構築、サーバ設定、デプロイ、起動、起動確認 37 Git サーバ V1.1 チケット 管理 V1.1 チケットA チケットB サーバ V1.1 V1.0 CI/CDツール ｺｰﾄﾞ V1.1 ｻｰﾊﾞ構成 ﾚﾎﾟｼﾞﾄﾘ ｻｰﾊﾞ設定 ﾁｬｯﾄ AWS CodeCommit AWS CodePipeline AWS CodeBuild
39. 39. 無停止デプロイ ブルーグリーンデプロイメント • 瞬断せずにリリースを行うための手法 »1.新verを重複して構築 »2.ルーティングを制御して新verを解放 »3.旧verを削除 38 1.0 1.1 1.0 1.1 1.0 1.1 1.0 1.1 AWS CodeDeploy Elastic Load Balancing AWS Elastic Beanstalk
40. 40. 無停止デプロイ 別名：カナリアリリース • カナリア＝炭鉱で天井に吊しておく鳥 »ガスは空気より軽いので一番最初に危険に気付く • カナリア＝最初に新バージョンにアクセスするユーザー »何らかの障害が発生したら切り戻しを行う »少しの犠牲によって大部分を救うことができる 39
41. 41. 無停止デプロイ 無停止スケールアップ • 瞬断せずにリソース増強する手法 »1.新しいインスタンスを重複して構築 »2.ルーティングを制御して新しいインスタンスを解放 »3.古いインスタンスを削除 40 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0
42. 42. インテリジェントルーター サービスディスカバリとルーティング • 現在有効なサービスを判断するための方式 »新しく起動したサービスは自分の居場所を自分で登録する »レジストリに問合せてサービスを発見し、ルーティングする »Netflix Eureka、Zool 41 ｻｰﾋﾞｽA レジストリ ルーター ｻｰﾋﾞｽA ｻｰﾋﾞｽA ①自分自身の登録 ②リクエスト ③サービスの発見
43. 43. マイクロサービス化設計 レジリエンス 42
44. 44. レジリエンス マイクロサービスにおける可用性 • 障害が発生しないようにする、ではない »レジリエンス＝復元力 »個別サービスの障害でシステム全体が停止しないようにする »従来の「停止しない部分を積み重ねる方式」は限界 • 階層型障害を避ける事が重要 43 ｻｰﾋﾞｽA ｻｰﾋﾞｽB ｻｰﾋﾞｽC
45. 45. サーキットブレーカー 自分のことは自分で守る • サービス呼び出し時の異常処理対応 »障害発生時のパターン化 »タイムアウト、自動リトライ、デフォルト値、値のキャッシュ、 例外処理記述など »Netflix hystrix、Spring Retry 44 機能B ｻｰｷｯﾄ ﾌﾞﾚｰｶｰ 機能A ｴﾗｰ処理
46. 46. マイクロサービス化設計 テスト戦略 45
47. 47. テスト戦略 マイクロサービスにおけるテスト戦略 • サービス間テスト »サービス内のテストは閉じている »他のサービスを呼び出し部分のテスト手法 • 本番環境のテスト »レジリエンスのテスト 46
48. 48. テスト戦略 • Test Doubles »本物を動かすのが大変なのでスタブやモックを使ってテストする »コンシューマー側でプロバイダの想定する挙動を実装し、それを 使ってテストする »プロバイダの変更が発生するとモックの変更が必要になる 47 ｻｰﾋﾞｽA ｻｰﾋﾞｽB のﾓｯｸ
49. 49. テスト戦略 • ダークカナリア（秘密のカナリア） »本番環境上に開発者しかアクセスできないテスト版をリリース »本物を使ってテストする（ただし、できないものもある） 48 ｻｰﾋﾞｽA ｻｰﾋﾞｽB ｻｰﾋﾞｽA ﾃｽﾄ版
50. 50. テスト戦略 • Consumer-Driven Contract testing »コンシューマーが要求するAPI挙動を契約として定義し、プロバ イダが契約を検証して破壊的変更を防ぐ »pact-jvm 49 ｻｰﾋﾞｽA ｻｰﾋﾞｽB 契約 ｻｰﾋﾞｽB 契約 ｻｰﾋﾞｽC ｻｰﾋﾞｽB
51. 51. テスト戦略 本番環境での”障害注入テスト” • Netflix’s “Failure Injection Testing”（FIT） »ランダムにサーバーやデータセンターに障害を発 生させ、障害復旧が自動的に行われることを検証 »Netflix Chaos Monkeyなど • レジリエンスの検証は本番環境でテストする »コードのテストではなく、サービスのテスト 50
52. 52. マイクロサービス化設計 チーム体制 51
53. 53. チーム体制 コンウェイの法則 • サービス構成とチーム構成を同一にする »「アーキテクチャは組織に、組織はアーキテクチャにしたがう」 »チーム構成＝サービス構成＝ドメイン構成 »チームにサービスの自治権を与える • プラットフォームを管理するチームは必要 »横断的関心事の管理チーム 52
54. 54. まとめ 53
55. 55. なぜマイクロサービスか マイクロサービス化の目的と手段 • システム全体が巨大になろうとも、機能別に好きなタイミ ングで機能やリソースの変更を行いたい • そのために機能別にサービス化を行い、機能の独立性を高 めていった »機能間の依存性を管理し、可能な限り疎結合にしていく 54
56. 56. マイクロサービス化設計 マイクロサービス化設計における考慮点 • サービス分割 • 横断的関心事の分離 • データの分離 • メッセージング 55 • 無停止デプロイ • レジリエンス • テスト戦略 • チーム体制
57. 57. マイクロサービス化設計 今日、話ができていないこと • コンテナ（Docker） »コンテナオーケストレーション • 非同期ストリーム処理 »HTTPの限界を超えていく • サーバレス • マイクロサービス向けフレームワーク • その他、もろもろ 56 Amazon ECR Amazon ECS Amazon API Gateway Amazon AppStream AWS Step Functions Amazon SWF
58. 58. マイクロサービス化設計 マイクロサービス向けフレームワーク • Spring Cloud »Spring Cloud Config »Spring Cloud Netflix »Spring Cloud Bus »Spring Cloud Cluster »Spring Cloud Consul »Spring Cloud Security »Spring Cloud Sleuth 57 »Spring Cloud Data Flow »Spring Cloud Stream »Spring Cloud Task »Spring Cloud Zookeeper »Spring Cloud for AWS »Spring Cloud Connectors »Spring Cloud Contract
59. 59. マイクロサービス化にむけて 明日からでも取り組むべき • サービスの分割は、いまからでもできる »今できないものが未来になってできることはない »技術の制約を超えるには「不整合の受入れ」が必要 • 現時点をマイクロサービス LV1だと捉える »大規模サービス＋共有データ＋ETLからのスタートでよい »どこを切り出していけばいいのかを考える 58
60. 60. マイクロサービス化にむけて マイクロサービス化成熟レベル 59 Level 名称 状況 1 ほぼモノリシック 数個の大規模サービスが共有データ/ETL連携 2 マイクロサービスの初期段階 複数のサービス群がAPI連携 部分的なプラットフォーム提供 3 マイクロサービス プラットフォームの整備 CI/CD＋インフラ自動化 インテリジェントなルーティング処理 4 高度なマイクロサービス 高度なサービスやインフラの管理 イベントソーシング ストリーム処理 5 先進的マイクロサービス マイクロサービスに関する技術開発やOSSの提供
61. 61. マイクロサービス化設計入門 2017/5/31 鈴木雄介 グロースエクスパートナーズ株式会社 執行役員 日本Javaユーザーグループ 会長 AWS Dev Day Tokyo 2017