Transcript

• 1. Docker Networking tools 2015年3月28日 TIS株式会社 松井 暢之 第11回 クラウドごった煮（コンテナ勉強会）
• 2. 2 松井 暢之（まつい のぶゆき） TIS株式会社 戦略技術センター ～2003 2003～2008 2009 2010～2012 2013～ 現場PJでアーキテクト兼モデラー兼プログラマ兼…を歴任 基盤技術センター（現戦略技術センター）で不芳PJの火消しに奔走 全社生産性向上の企画策定に従事 オープンでエッジな技術を活用した事業企画に従事 Cloud Orchestrator “CloudConductor®” の企画開発とOSS化開始 http://cloudconductor.org nbyk.matsui nmatsui nbyk.matsui@n_matsui
• 3. Agenda 1. Dockerのネットワークは困りもの 2. 様々なDockerネットワーキングツール 3. coreos/flannel と zettio/weave をもう少し 4. OpenVNetを用いてDockerネットワーキングツールを作ろう 3
• 4. eth0 docker0 （現時点の）Dockerネットワーク 1. Dockerを起動 i. docker0という仮想ブリッジを作成 ii. docker0から外部に接続できるように、iptablesにルールを追加 2. Dockerコンテナ立ち上げ i. vethペアをコンテナのNW namespaceとdocker0に接続 ii. 指定されていれば、ポート変換ルールをiptablesに追加 4 veth コンテナ1 veth veth コンテナ2 veth veth ペア iptablesでIPマスカレード（とポート変換）
• 5. （現時点の）Dockerネットワークの面倒なところ  コンテナに与えられるIPアドレスを制御できない  docker0に与えるIPアドレスは指定できるが、コンテナのIPアド レスはdocker0が所属するアドレス空間から昇順で自動採番  コンテナを再作成した際に、以前のIPアドレスを再利用すること はできない  ホストOSの外部からコンテナにアクセスするのが面倒  コンテナに与えられたIPアドレスは、ホストOSの外部からは アクセスできない  コンテナ内のデーモンにアクセスするためには、ホストOSへ ポートフォワードしておく必要がある 5
• 6. （現時点の）Dockerネットワークはマルチホストでは不十分  Dockerが提供するネットワークは、単一ホストに閉じた状況で 利用するものと考えるべき  複数ホストで稼働するDockerコンテナを接続するためにAmbassador Patternという方法が提案されているが、コンテナ間の接続はできても ホストOS外部からの接続は楽にならない  http://docs.docker.com/articles/ambassador_pattern_linking/ 6 eth0 docker0 veth コンテナ1 veth veth Ambassador veth eth0 docker0 veth Ambassador veth veth コンテナ2 veth docker linkdocker link unicast
• 7. Agenda 1. Dockerのネットワークは困りもの 2. 様々なDockerネットワーキングツール 3. coreos/flannel と zettio/weave をもう少し 4. OpenVNetを用いてDockerネットワーキングツールを作ろう 7
• 8. Dockerのネットワークをもっと楽にするために  Dockerネットワーキングツールに求められるコト ① L2もしくはL3で接続された複数ホストを接続できる ② 任意のアドレス空間を指定した仮想ネットワークを作成できる ③ 仮想NW内の任意のアドレスでコンテナを立ち上げられる ④ コンテナに与えられた仮想IPアドレスで、コンテナ間だけでは なくコンテナ外部からの接続もできる ⑤ DNSやDHCP、あるいはセキュリティグループ等の高度なネット ワーク機能を実現できる 等々 8
• 9. 様々なDockerネットワーキングツール  coreos/flannel https://github.com/coreos/flannel  Kubernetesと共に利用される（ことが多い）  etcdに依存しており、インストールと設定は少し面倒  dockerコマンドはそのまま利用可能  zettio/weave https://github.com/zettio/weave  Dockerネットワーキング専用のツール  インストールが簡単  dockerコマンドをラップするweaveコマンドを用いることで コンテナに仮想ネットワークを滑り込ませる 9
• 10. 様々なDockerネットワーキングツール  socketplane https://github.com/socketplane/socketplane  Docker社に買収された（ので、そのうちdockerに取りこまれるかも？）  Open vSwitchとconsulを活用しており、インストールも簡単  consulのmulticastDNSを用いて、L2内ならばクラスタを自動構築  multicastが通らない場合自力でクラスタにjoinすることも可能  なのだが、試したところ仮想ネットワークが上手く動作しない…  Docker swarm https://github.com/docker/swarm  Docker社謹製のDockerホストのクラスタリングツール  Manager Nodeにdockerコマンドで指示をだせば、イイカンジに クラスタ内でコンテナを分散してくれる 10
• 11. 様々なDockerネットワーキングツール  jpetazzo/pipework https://github.com/jpetazzo/pipework  仮想ブリッジを作成し、任意のIPアドレスをコンテナに割当 （単一ホストでの利用を想定）  etcdを用いて複数ホストでpipeworkを協調動作させるツール （helander/docknet）もあったが、メンテナンスされていない  rancherio/rancher https://github.com/rancherio/rancher  ネットワーキングだけでなく、ストレージなども含めDocker全体 を管理するプラットフォームを目指している（らしい）  RancherOSというDockerコンテナ用のDistributionも出している  等々 11
• 12. Agenda 1. Dockerのネットワークは困りもの 2. 様々なDockerネットワーキングツール 3. coreos/flannel と zettio/weave をもう少し 4. OpenVNetを用いてDockerネットワーキングツールを作ろう 12
• 13. coreos/flannel  仮想ネットワークとして192.168.0.0/16を指定した場合の例  CentOS 7 / docker 1.3.2 / etcd 2.0.4 / flannel 0.3.0 13 eth0 docker0 veth コンテナ11 veth veth eth0 docker0 veth veth コンテナ22 veth コンテナ12 veth コンテナ21 veth flannel0 flannel0 flanneld flanneld コンテナからの パケットをカプセル化 10.0.0.0/24 10.1.0.0/24 .10 .10 192.168.95.0/16 192.168.82.0/16 192.168.95.1/24 192.168.82.1/24 .95.2 .95.3 .82.2 .82.3 仮想ネットワーク 192.168.0.0/16 etcd etcd仮想ネットワークの 設定情報を共有 UDP unicast
• 14. coreos/flannel 1. 各ホストにetcdとflannelをインストールする 2. dockerコンテナを起動するホスト全てでetcdを起動する 3. 仮想ネットワークの設定をetcdに投入する 4. flannelのデーモンを起動すると仮想ブリッジのflannel0が作成され、 静的routeが設定される 5. flannelが生成した仮想ネットワーク定義（/run/flannel/subnet.env） を読み込んでdockerを再起動し、docker0のIPアドレスを再設定 6. dockerコマンドを用いてdockerコンテナを起動する 14 # /usr/local/bin/etcd -name flannel1 -initial-advertise-peer-urls http://10.0.0.10:2380 -listen-peer-urls http://10.0.0.10:2380 -initial-cluster-token flannel-cluster01 -initial-cluster flannel1=http://10.0.0.10:2380,flannel2=http://10.1.0.10:2380 -initial-cluster-state new > /tmp/etcd.log 2>&1 & # /usr/local/bin/etcdctl set /coreos.com/network/config '{"Network":"192.168.0.0/16"}' # /usr/local/bin/flanneld -iface=eth0 > /tmp/flanneld.log 2>&1 &
• 15. coreos/flannel 15 ポイント coreos/flannelでは ① L2 and/or L3で接続された 複数ホストの接続 ○ L2で接続されたホスト間、L3で接続さ れたホスト間を接続し、通信可能 （flanneldが外部NWにトンネル作成） ② 任意のアドレス空間を指定して 仮想ネットワークの作成 ○ etcdに仮想ネットワーク全体のアドレス 空間を設定できる ③ 任意のアドレスを指定して コンテナを起動 × 各ホストには指定したアドレス空間内の サブネットが作成されるが、アドレス帯 を指定することはできない ④ コンテナ間だけでなくコンテナ 外部からも接続可能 ○ 各ホストに静的routeが追加され、他の ホスト上で動作しているコンテナへも 接続できる ⑤ DNSやDHCP、セキュリティグ ループ等の高度なネットワーク 機能の実現 × 高度なネットワーク機能は無い
• 16. zettio/weave  仮想ネットワークとして192.168.99.0/24を指定した場合の例  CentOS 7 / docker 1.3.2 / weave 0.9.0 16 10.0.0.0/24 10.1.0.0/24 .10 .10 仮想ネットワーク eth0 docker0 コンテナ12 vethveth コンテナ11 vethveth Weaveコンテナ vethvethveth vethveth weaver weave vethvethveth .2192.168.99.0/24 .1 .0.9.0.8 eth0 docker0 コンテナ21 veth veth コンテナ22 veth veth Weaveコンテナ veth veth veth veth veth weaver weave veth veth veth .4.3 .0.9.0.8 172.17.42.1/16 172.17.42.1/16 コンテナからの パケットをカプセル化 UDP unicast
• 17. zettio/weave 1. 各ホストにweaveをインストールする 2. 最初のホストでweaveを起動する 3. 残りのホストでは、最初のホストを指定してweaveを起動する （weaveクラスタが生成されれば、最初のノードが落ちてもweaveは動作し続ける） 4. weave runコマンドを用いてdockerコンテナを起動する 5. weave exposeコマンドを用いてコンテナへの静的routeを設定する 17 # wget -O /usr/local/bin/weave https://github.com/zettio/weave/releases/download/latest_release/weave # chmod a+x /usr/local/bin/weave # weave launch # weave launch 10.0.0.10 # weave run 192.168.99.1/24 --expose 80 –p 80 -d -i –t testimage:apache # weave expose 192.168.99.1/24
• 18. zettio/weave 18 ポイント coreos/flannelでは ① L2 and/or L3で接続された 複数ホストの接続 ○ L2で接続されたホスト間、L3で接続さ れたホスト間を接続し、通信可能 （weaverが外部NWにトンネル作成） ② 任意のアドレス空間を指定して 仮想ネットワークの作成 ○ コンテナ起動時に指定したCIDRで仮想 ネットワークが生成される ③ 任意のアドレスを指定して コンテナを起動 ○ コンテナ起動時にCIDRを指定する ④ コンテナ間だけでなくコンテナ 外部からも接続可能 ○ 各ホストでweave exposeすれば静的 routeが追加される ⑤ DNSやDHCP、セキュリティグ ループ等の高度なネットワーク 機能の実現 △ weaveクラスタ内での内部DNS機能が 提供されている
• 19. Agenda 1. Dockerのネットワークは困りもの 2. 様々なDockerネットワーキングツール 3. coreos/flannel と zettio/weave をもう少し 4. OpenVNetを用いてDockerネットワーキングツールを作ろう 19
• 20. Dockerネットワーキングツールを作ろう  DockerコンテナのネットワークはNetwork Namespaceで分離され ているだけ  ホストOSからコンテナへvethの片割れを簡単に追加できる  ホストOSからコンテナの静的routeも制御できる  仮想ネットワークオーバーレイツールとNetwork Namespaceを 組み合わせて、Dockerネットワーキングツールを作ってみよう  OSSの仮想ネットワークオーバーレイツール  ミドクラ： MidoNet https://github.com/midonet/midonet  あくしゅ： OpenVNet https://github.com/axsh/openvnet  OpenContrail http://www.opencontrail.org/  等 20
• 21. OpenVNetとは  あくしゅ社が開発しているOSSの仮想ネットワークツール  L2/L3のネットワーク上に任意の仮想L2/L3ネットワークを オンデマンドにオーバーレイ  既存の物理ネットワークを仮想ネットワークへ延伸  DHCPやセキュリティグループ等の高度なNFVも提供 21 今回の検証では 2.3.0を使っています
• 22. OpenVNetとは  あくしゅ社が開発しているOSSの仮想ネットワークツール 22  vna (Virtual Network Agent) – Open vSwitchの設定を変更 – OpenFlow 1.3 コントローラ（Trema-edge）を内蔵  vnmgr (Virtual Network Manager) – 全体のネットワーク構成を把握しvnaへ指令 – フロー制御ルールの永続化サービスを提供  vnapi (Virtual Network API) – Web APIのエンドポイントを提供 – 外部からvnmgrへ指示を引き渡す連携窓口  vnctl (Virtual Network Controller) – コマンドラインインターフェイスを提供 – vnapiと対話 エージェント その他 コンポーネント
• 23. デモの環境  SoftLayerのあるDCに2台の仮想サーバ ＋ 別のDCに1台の仮想サーバ  最小構成（1Core 1GB RAM）のPublic Cloud Instance  OSはCentOS 6.6  OpenVNetが公式サポートするOSがRHEL 6.4のため  VLAN Spanningを設定し、別DCのVLANとの通信を許可 23 Public Primary Subnet Private Primary Subnet DC A DC B
• 24. OpenVNetによるDockerネットワーキング  Dockerコンテナ間にOpenVNetで仮想ネットワークをオーバーレイ 24 eth0 br0 eth1 vna OVS eth0 br0 eth1 vna OVS eth0 br0 eth1 vna OVS vnmgr vnapi vnctl A.B.C.D/29 .X .Y E.F.G.H/29 .Z 10.b.c.d/26 10.f.g.h/26 .x .y .z mysql redis manager agent01 agent02 veth11b コンテナ11 veth11c veth12b コンテナ12 veth12c veth13b コンテナ13 veth13c veth21b コンテナ21 veth21c veth22b コンテナ22 veth22c veth23b コンテナ23 veth23c veth31b コンテナ31 veth31c veth32b コンテナ32 veth32c veth33b コンテナ33 veth33c GREトンネル GREトンネル フローテーブル フローテーブル フローテーブル DC A DC B
• 25. OpenVNetによるDockerネットワーキング  仮想ネットワークの論理的な状態 25 コンテナ11 veth11c コンテナ12 veth12c コンテナ13 veth13c コンテナ21 veth21c コンテナ22 veth22c コンテナ23 veth23c コンテナ31 veth31c コンテナ32 veth32c コンテナ33 veth33c 10.b.c.d/26 10.f.g.h/26 仮想ルータ .x .y OpenVNetの現在の仕様上、 物理・仮想間のルーティングは 自ホスト上のコンテナのみ許可 DC A .z manager agent01 agent02 DC B 192.168.99.0/24 .α .β .1 .11 .12 .13 .21 .22 .23 .31 .32 .33 Security Group 1 ・ICMPを許可 ・SSHを許可 ・SG内は全て許可 ・それ以外は拒否 Security Group 2 ・ICMPを許可 ・SG1からのSSHは許 可 ・SG内は全て許可 ・それ以外は拒否 Security Group 3 ・ICMPを許可 ・SG内は全て許可 ・それ以外は拒否 オーバーレイされた仮想ネットワーク
• 26. デモ 1. managerから自身上にあるコンテナへの疎通確認  OpenVNetの現在の仕様上、他サーバ上のコンテナへの経路は 仮想ルータでDROPされてしまいます 2. 仮想ネットワーク上の疎通とセキュリティグループの確認 1. managerからコンテナ11へはSSHできるが、コンテナ12や コンテナ13へはSSHできない 2. コンテナ11からコンテナ21やコンテナ31へはSSHできる 3. コンテナ11からコンテナ12へはSSHできるが、コンテナ13へは SSHできない 4. 全てのコンテナにpingは通る 26
• 27. Docker + OpenVNet 27 ポイント Docker + OpenVNetでは ① L2 and/or L3で接続された 複数ホストの接続 ○ L2で接続されたホスト間、L3で接続さ れたホスト間を接続し、通信可能 （vnetはL3間だけGREトンネル生成） ② 任意のアドレス空間を指定して 仮想ネットワークの作成 ○ vnetの設定で、仮想ネットワークの アドレス空間を設定できる ③ 任意のアドレスを指定して コンテナを起動 ○ 固定IPを指定してコンテナを起動できる （vnetにDHCPを行わせることも可能） ④ コンテナ間だけでなくコンテナ 外部からも接続可能 △ 現在のvnetの仕様上、自ホスト上のコ ンテナのみ接続可能（他ホスト上のコン テナには接続できない） ⑤ DNSやDHCP、セキュリティグ ループ等の高度なネットワーク 機能の実現 ○ 仮想ネットワーク間のルーティングや DHCP、セキュリティグループが 利用可能 vnet: OpenVNetの略
• 28. 最後に  今回のデモ環境を構築するansible playbookを公開しています  tech-sketch/walfisch https://github.com/tech-sketch/walfisch  よろしければ一度試してみてください  Dockerのネットワーキングは面白い技術です。皆さんも遊んでみましょう！ 28