Transcript

• 1. AWS Direct Connect AWS  Black  Belt  Tech  Webinar  2015  (旧マイスターシリーズ） アマゾンデータサービスジャパン株式会社 ソリューションアーキテクト 　吉⽥田英世 2015.01.28
• 2. Agenda •  Direct  Connect  概要 •  Direct  Connectの接続構成 •  Direct  Connectのオペレーション •  冗⻑⾧長構成 •  注意事項 •  ハイブリッド構成事例例 •  まとめ
• 3. AWS  Direct  Connect  概要
• 4. AWS  Direct  Connectとは？ お客様 AWS  Cloud EC2,  S3などの Public  サービス Amazon  VPC 相互接続ポイント 専⽤用線 サービス AWSとお客様設備（データセンター、オフィス、またはコロケーション） の間に専⽤用線を利利⽤用したプライベート接続を提供するサービス
• 5. 接続イメージ：東京リージョンの例例 AWS機器 東京リージョン お客様機器 もしくは キャリア様機器 お客様 お客様のダークファイバ もしくは キャリア様回線 エクイニクス様  TY2 ポート接続を提供 (1Gbps  or  10Gbps) 相互接続ポイントがある リージョンに接続
• 6. 相互接続ポイントのロケーション Region Location US East(Virginia) CoreSite NY1 & NY2 Equinix DC1 – DC6 & DC10 US West (Northen Calfornia) CoreSite One Wilshire & 900 North Alameda, CA Equinix SV1 & SV5 US West (Oregon) Equinix SE2 & SE3 Switch SUPERNAP 8 EU (Frankfurt) Equinix FR5 EU (Ireland) Eircom Clonshaugh TelecityGroup, London Docklands’ Asia Pacific (Singapore) Equinix SG2 Asia Pasific (Sydney) Equinix SY3 Global Switch Asia Pasific (Tokyo) Equinix TY2 South America (San Paulo) Terremark NAP do Brasil 東京都品川区
• 7. 東京リージョンにおける Direct  ConnectをサポートするAPNパートナー様 http://aws.amazon.com/jp/directconnect/partners/ ・CFN  Services ・Equinix,  Inc. ・Hibernia  Networks ・KVH株式会社 ・Level3  Communications,  Inc. ・野村総合研究所(NRI) ・NTTコミュニケーションズ株式会社 ・Pacnet ・ソフトバンクテレコム株式会社 ・Tata  Communications ・Verizon リストに掲載されていないパートナー様も いらっしゃるため、詳細は営業・SAに お問い合わせください。
• 8. ConnectionとVirtual  Interface VLAN200 VLAN100 VLAN300 Connection Virtual  Interface Virtual  Interface Virtual  Interface Connectionは物理理インタフェース、 Virtual  InterfaceはConnection中の論論理理インタフェースを表す。 Virtual  InterfaceはそれぞれユニークなVLAN  IDをもつ。
• 9. クロスアカウント利利⽤用 Connection Virtual  Interface Connectionを保持しているAWSアカウントから、他のAWSアカウントに対し Virtual  Interfaceを提供することが可能。 情報システム部 AWSID:123456789012 関連会社Z AWSID:999999999999 情報システム部 AWSID:123456789012 開発部 AWSID:000000000000 関連会社ネットワーク 開発ネットワーク 社内基幹ネットワーク
• 10. AWS  Direct  Connect導⼊入のメリット •  帯域スループット向上 •  インターネットベースの接続よりも⼀一貫性がある •  ネットワークコスト削減 $0.042 " $0.042 " $0.042 " $0.042 " $0.140 " $0.135 " $0.130 " $0.120 " $0.020 " $0.040 " $0.060 " $0.080 " $0.100 " $0.120 " $0.140 " $0.160 " First 10TB" Next 40TB" Next 100TB" Next 350TB" Direct Connect" Internet" 東京リージョン、 2015年年1⽉月28⽇日現在 データ転送料料⾦金金(Out)
• 11. インターネットVPN  vs  専⽤用線 インターネットVPN 専⽤用線 コスト 安価なベストエフォート 回線も利利⽤用可能 キャリアの専⽤用線サービス の契約が必要 リードタイム 即時~∼ 数週間~∼ 帯域 暗号化のオーバーヘッドに より制限あり ~∼10Gbps 品質 インターネットベースの ため経路路上のネットワーク 状態の影響を受ける キャリアにより⾼高い品質が 保証されている 障害時の切切り分け インターネットベースの ため⾃自社で保持している 範囲以外での切切り分けが 難しい エンドツーエンドでどの 経路路を利利⽤用しているか把握 できているため⽐比較的容易易
• 12. 課⾦金金体系 AWS  Direct  Connectの⽉月額利利⽤用料料 　 ①  ポート使⽤用料料 ＋ ②  データ転送料料 データ転送料料⾦金金は ・Virtual  Interfaceを利利⽤用しているVPCのオーナーアカウントに課⾦金金 ・パブリック接続の場合、パブリック上のリソースを所有している      オーナーアカウントに課⾦金金
• 13. Direct  Connectの接続構成
• 14. ２種類の接続メニュー(Virtual  Interfaceの種別) お客様 AWS  Cloud EC2,  S3などの Public  サービス Amazon  VPC 相互接続ポイント 専⽤用線 サービス パブリック接続 プライベート接続
• 15. プライベート接続 オフィス/データセンター VPC subnet VPC subnet 192.168.0.0/24 10.0.0.0/16 BGPによる ルーティング 192.168.0.0/24宛の 通信をVGWに設定 192.168.0.0/24を広告 10.0.0.0/16の VPC  CIDRを広告 Virtual Gateway
• 16. パブリック接続（⾃自前のパブリックIPを利利⽤用） オフィス/データセンター 203.0.113.0/28 BGPによる ルーティング パブリックIPである 203.0.113.240/28を広告 接続先リージョンの AWSクラウドの ネットワークアドレスを広告 192.168.0.0/24 AWSとの通信は パブリックIPでとなるため NAT(NAPT)が必要
• 17. パブリック接続（AWSからパブリックIPをアサイン） オフィス/データセンター BGPによる ルーティング パブリックIPである 203.0.113.100/31を広告 接続先リージョンの AWS  Cloudの ネットワークアドレスを広告 192.168.0.0/24 AWSとの通信は パブリックIPでとなるため NAT(NAPT)が必要
• 18. 論論理理接続 VPC 1 Private Virtual Interface 1 VLAN Tag 101 BGP ASN 10124 BGP Announce 10.1.0.0/16 Interface IP 169.254.251.1/30 10.1.0.0/16 VGW 1 Customer Switch + Router Customer Interface 0/1.101 VLAN Tag 101 BGP ASN 65001 BGP Announce Customer Internal Interface IP 169.254.251.2/30 VLAN 101 VLAN 102 VLAN 103 VGW 2 VGW 3 Route Table Destination Target 10.1.0.0/16 PVI 1 10.2.0.0/16 PVI 2 10.3.0.0/16 PVI 3 AWS Cloud PVI 5 Customer Internal Network VPC 2 10.2.0.0/16 VPC 3 10.3.0.0/16 VLAN 501 Public AWS Region NAT / PAT Security Layer Connection Virtual  Interface
• 19. 物理理接続 ルータ Patch  Panel Patch  Panel Patch  Panel ルータ Patch  Panel クロスコネクト 相互接続ポイント拠点 AWSラックパートナー様/ お客様ラック Meet-‐‑‒Me  Room お客様拠点 AWS  お客様/ パートナー様 それぞれのリージョン
• 20. APNパートナーにより拡張されたDirect  Connect •  相互接続ポイントにおける接続装置等の設置場所 –  専⽤用線とのパッケージ提供する場合も •  10Mbps,  100Mbps等1Gbps  よりも狭帯域のサービス •  お客様指定の場所から相互接続ポイントまでのアクセス •  広域WANで複数拠点からAWSへの接続
• 21. パートナー様の提供サービス(占有型・共有型） •  Direct  Connect(占有型) –  Connectionをお客様へ提供 –  Virtual  Interfaceはお客様側で⾃自由に設定可能 •  Direct  Connect(共有型) –  Connectionはパートナー様のアカウントで持つ –  Virtual  Interfaceはお客様のリクエストベースでパートナー様が設定
• 22. パートナー様のサービス提供形態例例 キャリア様閉域網 パートナー様閉域網サイト間ポイントツーポイント
• 23. Sub-‐‑‒1G •  AWSがAPNパートナーに対して無償で物理理ポートを提供 •  シェーピングをしたVLANで分離離された論論理理ポート •  エンドユーザが利利⽤用料料をAWSに⽀支払い –  500M,  400M,  300M,  200M,  100M,  50M •  http://aws.amazon.com/directconnect/pricing/
• 24. パートナー様とのサービスとの組み合わせ データセンター 本社 モバイル網 ⽀支社/店舗 モバイル端末 VPC キャリア様閉域網
• 25. Direct  Connectのオペレーション
• 26. Direct  Connect利利⽤用開始⼿手順フロー (Conncectionの作成） 利利⽤用ユーザ AWS APNパートナー 相互接続ポイントの事業者 ①利利⽤用申請 ②利利⽤用申請確認 ③利利⽤用申請確認応答 ④LOA-‐‑‒CFA送付 ⑤LOA-‐‑‒CFA転送・物理理配線依頼 ⑥配線完了了連絡 AWS側配線 事業者側配線 Virtual  Interface の作成
• 27. ①Direct  Connect利利⽤用申請 AWSマネージメントコンソールにログインし、”Tokyo”リージョンを選択。 [Services]-‐‑‒[Networking]-‐‑‒[Direct  Connect]をクリック。 “Connections”の”Create  Connection”をクリック。
• 28. ①Direct  Connect利利⽤用申請  (cont) 必要な項⽬目を⼊入⼒力力し、”Create”をクリック。 Connection  Name:  コネクション名（任意の⽂文字列列） Location:                    Equinix  TY2,  Tokyo  (選択できるのは⼀一つだけ） Port  Speed:                    1Gbps  or  10Gbps
• 29. ①Direct  Connect利利⽤用申請  (cont) Connectionsのリストに作成したConnectionが表⽰示される。 Statusは”requested”
• 30. ②利利⽤用申請確認、③利利⽤用申請確認応答 Subject: [aws-xxxx-0001] Welcome to AWS Direct Connect Body: Dear AWS Customer, You recently ordered a connection (dxcon-abcdefgh) using the AWS Direct Connect Console. We need additional information to help process your request. Please email us the data center where you have equipment or, if apporopriate, network provider you are using to connect. 利利⽤用の意思を確認するために、AWSマネージメントコンソールのメールアドレス宛に 以下のようなメールが送信されます。 ・ご⾃自⾝身でDirect  Connectの相互接続ポイントに機器を設置する場合は、データセンター （Equinix  TY2など）の名前 ・APNパートナー様の回線を利利⽤用している場合はAPNパートナー様の名前 を記載して返信してください。
• 31. ④物理理配線情報(LOA-‐‑‒CFA)送付、 ⑤LOA-‐‑‒CFA転送・物理理配線依頼 AWSより、相互接続ポイントの物理理配線情報:LOA-‐‑‒CFA(Letter  of  Authorization and  Connecting  Facility  Assignment)が送付されます。 LOA-‐‑‒CFAの情報をパートナー様もしくは相互接続ポイントのデータセンター事業者 へ送付し、構内の物理理配線を依頼してください。
• 32. ⑥配線完了了連絡 配線が完了了すると、AWSマネージメントコンソールの[Direct  Connect]-‐‑‒ [Connections]から回線を確認することができます。
• 33. Virtual  Interfaceの作成(プライベート接続)
• 34. Virtual  Interfaceの作成(パブリック接続)
• 35. クロスアカウントでのVirtual  Interface利利⽤用 Virtual  Interfaceを作成 Virtual  InterfaceのリクエストをAccept “Connections”を保持しているアカウント “Virtual  Interface”を利利⽤用するアカウント
• 36. VPCのRouteTable設定 オンプレミスのネットワークを宛先、 vgwをターゲットとしてルーティングの エントリを追加。 “Propagate”を設定することでvgwで 受信したルートを⾃自動的に反映。
• 37. オンプレミス拠点側ルータの要件 •  BGP対応であること –  MD5認証対応 •  IEEE  802.1q  VLANが利利⽤用できること –  スイッチングハブでタグVLANを終端するなら必要なし •  RFC  3021  (/31サブネット)対応であること –  パブリック接続でAWSからパブリックIPアドレスを利利⽤用する場合のみ
• 38. BGPとは？ BGP(Border  Gateway  Protocol)とは、インターネット上でプロバイダ同⼠士の 相互接続において、お互いの経路路情報をやり取りするために使われるルーティング プロトコルの⼀一つです。 ISP-‐‑‒A ISP-‐‑‒B ネットワークP ネットワークQ ネットワークPのアドレスを広告 ネットワークQのアドレスを広告 AS65000 AS65001
• 39. ルータ設定 interface GigabitEthernet0/1! no ip address! speed 1000! full-duplex! ! interface GigabitEthernet0/1.VLAN_NUMBER! description direct connect to aws! encapsulation dot1Q VLAN_NUMBER! ip address IP_ADDRESS! ! router bgp CUSTOMER_BGP_ASN! neighbor NEIGHBOR_IP_ADDRESS remote-as 7224! neighbor NEIGHBOR_IP_ADDRESS password "MD5_key"! network 0.0.0.0 ! exit"! edit interfaces ge-0/0/1! set description " AWS Direct Connect "! set flexible-vlan-tagging! set mtu 1522! edit unit 0! set vlan-id VLAN_ID! set family inet mtu 1500! set family inet address IP_ADDRESS! exit! exit! ! edit protocols bgp group ebgp! set type external! set authentication-key "MD5_KEY"! set peer-as 7224! set neighbor NEIGHBOR IP ADDRESS! Cisco Juniper
• 40. サンプルコンフィグのダウンロード 作成したVirtual  Interfaceの設定値を元にしたサンプルコンフィグが ダウンロード可能。 ただし、Connectionsを保持しているアカウントからのみ。 [Direct  Connect]-‐‑‒[Virtual  Interfaces]を選択し、リストから該当のVirtual Interfaceを選択。
• 41. サンプルコンフィグ
• 42. 冗⻑⾧長構成
• 43. 冗⻑⾧長構成の考え⽅方 eBGPeBGP iBGP iBGPにより同AS内の隣隣接ルータ にBGPのパス属性値を伝達し、 どちらの経路路を選択するかAS内 で総合的に判断 論論理理的には⼀一つのオブジェクトに⾒見見えるが、 実際には物理理的に冗⻑⾧長化されている VPC上のVGW(Virtual  Private  Gateway)に複数のDirect  Connect またはVPN接続を終端可能。 AWS上の設定ではなく、お客様ルータの設定により経路路制御を⾏行行う。 経路路制御はBGPの⼀一般的な考え⽅方を適⽤用。 オンプレミス
• 44. BGPパス属性 BGPで経路路交換している複数の経路路から、ベストな経路路を選択するために 評価する属性値。今回はLP(Local  Preference)とMED(Multi  Exit  Discriminator) を使った構成を利利⽤用。 LP:100 MED:30 LP:200 MED:10 LP:300 MED:20 ベストパス オンプレミス ルータ 送信ルートにMEDを付与し、 受信トラフィックを制御 （隣隣接ルータに情報を与え ている） VGW 受信ルートにLPを付与し、 送信トラフィックを制御
• 45. 冗⻑⾧長構成(Direct  Connect  x2,  Active/Active) ActiveActive トラフィックを ロードバランス Direct  Connect２本の間で トラフィックをロードバランス し、Active/Activeとして利利⽤用。 障害時は⽚片⽅方の回線に迂回する ため、回線の輻輻輳がおきない ように帯域に注意が必要。 このとき、２つの経路路のBGP属 性値(LP,MEDなど)は等価である 必要がある。
• 46. 冗⻑⾧長構成(Direct  Connect  x2,  Active/Standby) StandbyActive 障害時にStandby へ切切り替え Direct  Connect２本のどちらか を通常利利⽤用とし、障害時は⽚片⽅方 の回線へ⾃自動切切り替えを⾏行行う。 それぞれのルータのBGP属性値 により、Active/Standbyを判断 するように設定。 LP=200 MED=10 LP=100 MED=20
• 47. 冗⻑⾧長構成(Direct  Connect/VPN) StandbyActive Standby⽤用に インターネットVPN を利利⽤用 Direct  Connect障害時のバック アップ回線としてインターネット VPNを利利⽤用。 異異なる回線種別のため、フェール オーバー時にはパフォーマンスに 影響が出る場合があるため注意。 LP=200 MED=10 LP=100 MED=20
• 48. 障害時のフェールオーバーに関する注意点 AS1 AS2 スイッチ スイッチ リンク断のタイミングで 障害検知！ スイッチの向こうの リンク断は検知できない すぐに切切り替わる Hold  timerの間 切切り替わらない 切切断発⽣生〜～フェールオーバー までの時間に発⽣生した トラフィックは到達できない。
• 49. 障害時のフェールオーバーは、 BGPピア上の障害を いかに早く検知するかがカギ！
• 50. KeepaliveとHold  Timer 隣隣接するルータはお互いにKeepaliveを予め決められたインターバルで 定期的に送信。 HoldDown  Timer(待機時間)はKeepaliveの3倍が設定されており、 Keepaliveを受信すると0にリセットされる。 設定されたHold  Timerを超過すると障害と認定。 隣隣接ルータ間ではそれぞれの時間が短い⽅方を利利⽤用する。 反映にはBGPピアのsoftリセットが必要。 Keepalive Hold  Timer   Keepalive 60秒 0,1,2,3・・・ 0,1,2,3・・・ 0,1,2,3・・・ ・・・180 Keepaliveが到達すると Hold  Timerをリセット Hold  Timerのカウンタが超 過するとBGPピアを切切断 Keepaliveが到達しないので Hold  Timerはカウントアップ Keepalive=60 Hold  Timer=180 の場合 Keepalive 60秒
• 51. 対策1:  keepalive/Hold  Timerのチューニング router bgp CUSTOMER_BGP_ASN! neighbor NEIGHBOR_IP_ADDRESS timers 10 30! お客様ルータのKeepaliveとHold  Timerを短く設定することで、 フェールオーバーを検知する時間を短縮。 以下の例例はKeepaliveを10秒、Hold  Timerを30秒に設定。 edit protocols bgp group ebgp! set hold-time 30! Cisco Juniper デフォルト値 Keepalive  60秒 Hold  Timer  180秒 デフォルト値 Keepalive  30秒 Hold  Timer  90秒
• 52. 対策２:  BFD(Bidirectional  Forwarding  Direction) 経路路上の障害を⾼高速に検知し、ルーティングプロトコル(今回はBGP) に通知する機能。 隣隣接ルータ同⼠士でパケットをミリ秒単位で送受信する。 例例は50ミリ秒でBFDパケットを送信、3度度受け取れない場合は障害と みなす。 bfd interval 50 min_rx 50 multiplier 3! ! router bgp CUSTOMER_BGP_ASN! neighbor NEIGHBOR_IP_ADDRESS fall-over bfd! edit interfaces ge-0/0/1! edit bfd-liveness-detection! set minimum-inverval 50! set multiplier 3! Cisco Juniper
• 53. オンプレミス内部のルーティング Direct  ConnectのBGP接続から受 信したルートをOSPFに再配布 VRRP/HSRPなどでLAN上の ゲートウェイを冗⻑⾧長 コアスイッチ コアスイッチ OSPF VRRP コアスイッチはOSPFにより AWSへの経路路を選択
• 54. 注意事項
• 55. VPC  Peering利利⽤用時の注意  オンプレミス オンプレミスのネットワーク を広告できない VPC  Peeringはオンプレミスのルートを広告できないため、VPC をまたいだ通信はできない。
• 56. 経路路集約の必要性 192.168.0.0/24 192.168.1.0/24 192.168.2.0/24 192.168.0.0/24 + 192.168.1.0/24 + 192.168.2.0/24 =192.168.0.0/16 お客様ルータから広告できるネットワーク数は100まで。 普段から経路路集約を意識識する設計を！ デフォルトルートの広告も有効な場合もあり。
• 57. ⾮非対称ルーティング時の注意 ⾮非対称ルーティング⾃自体は問題 なく通信可能。 Active/Standbyの場合、 StandbyがVPNを利利⽤用している と通信に影響が出る可能性あり。 ファイアウォール利利⽤用時には ⾮非対称ルーティングに対応して いないクラスタを利利⽤用すると パケットが破棄されるので注意。
• 58. Direct  Connectを利利⽤用した ハイブリッド構成の事例例
• 59. マルチVPC接続 営業⽀支援 会計 BI ⽂文書管理理 利利⽤用者 保守業者 管理理者 AD 監視ソフト DNS Direct Connect 接続⼝口 1  VPC 1  VPC 1  VPC 1  VPC 1  VPC V G W V G W V G W V G W V G W Router#1 Router#2 Router#1 Router#2 Router#1 Router#2 FW SSO NTP 既存環境 OracleWIN ⼈人事 WIN WIN Oracle BI DB WIN Proxy 専⽤用線 専⽤用線また はVPN
• 60. ３層構造  Webシステム APPサーバ Webサーバデータベース データベースアクセス
• 61. クローズドWorkSpaces お客様拠点 プライベートネットワーク WorksSpaces 接続エンドポイント AWS Cloud AS65000 AS10124 x.x.x.x/31 or 32 y.y.y.y/30 グローバルIPであること！ お客様準備 もしくは AWS提供 S3 プライベートIPで OK AS65001 インターネット 外部ネットワーク/DMZ 内部ネットワーク AWS Cloudとの 通信はルータで NAT プライベートAS でもOK
• 62. オンプレミス環境のWebサーバオフロード ロードバランサ
• 63. まとめ
• 64. まとめ •  AWS  Direct  Connectを利利⽤用することで、オンプレミスとAWS間の ネットワークにおいて、帯域のスループット向上、⼀一貫性のある ネットワーク接続、データ転送量量コスト削減が実現できる •  APNパートナー様の各種サービスにより、多様なネットワークを構 成することができる •  要件に応じていろいろな冗⻑⾧長構成を選択することが可能
• 65. AWS専⽤用線アクセス体験ラボ  sponsored  by  Intel http://aws.amazon.com/jp/dx_labo/" ■事前に設定を確認したい ■フェイルオーバー時の動作を確認したい ■スループットがどれだけなのか実際に試してみたい ■⾃自前のルータがDirect  Connectに接続できるか確認したい ・・・などなど お問い合わせは営業・SAまで！
• 66. Q&A
• 67. Webinar資料料の配置場所 •  AWS  クラウドサービス活⽤用資料料集 –  http://aws.amazon.com/jp/aws-‐‑‒jp-‐‑‒introduction/
• 68. 公式Twitter/Facebook AWSの最新情報をお届けします @awscloud_jp 検索 最新技術情報、イベント情報、お役立ち情報、お得なキャンペーン情報などを 日々更新しています！ もしくは http://on.fb.me/1vR8yWm
• 69. ご参加ありがとうございました。