Linuxless DPDK

作成者: @syuu1228

いいね！ 0
閲覧回数 281
ダウンロード数 2

Porting DPDK to a Unikernel

コメントの公開にはサードパーティサービス Disqus を使用します。Disqus に登録していれば誰でも会話に参加できます。

Docs.com とは

Linuxless DPDK@syuu1228https://doc.co/wb9Knrhttps://doc.co/wb9KnrWho am Isyuu1228ScyllaDB Ltd. (Israel)DPDK?DPDK: Data Plane Development Kithttp://dpdk.org/ http://dpdk.org/むちゃくちゃ速いネットワーク IOを行うためのライブラリむちゃくちゃ速くするために既存のソケット API、ネットワークスタック、 NICドライバなどすべてを迂回ライブラリから直接 NICの MMIO領域にアクセスしてパケット送受信何故必要になるのか10G NIC のラインレート最小サイズのフレームを 10Gbpsいっぱいで送ると、秒間 14.88Mpps(packet/sec)14.88Mpps を1 秒で処理するには、1 パケットあたり67.2ns で処理する必要がある3GHz のCPU だと約200 サイクル余計なことをやっている暇が全くない参考：http://netoptimizer.blogspot.jp/2014/05/the-calculations-10gbits-wirespeed.html http://netoptimizer.blogspot.jp/2014/05/the-calculations-10gbits-wirespeed.htmlFreeBSD でのsendto() の実行時間計測例FunctionTime (ns)sendto96sosend_dgram137udp_output57ip_output198ether_output162ixgbe_xmit220Total950システムコールを呼んだだけで 67.2ns超えてる参考：http://info.iet.unipi.it/~luigi/papers/20120503-netmap-atc12.pdf http://info.iet.unipi.it/~luigi/papers/20120503-netmap-atc12.pdf全部迂回したいカーネルバイパスの実現方法PCI UIO Driver# modprobe uio_pci_generic # echo -n 0000:00:19.0 > /sys/bus/pci/drivers/e1000e/unbind # echo -n 0000:00:19.0 > /sys/bus/pci/drivers/uio_pci_generic/bindfd = open(/dev/uio0)address = mmap(fd)DPDK で使われているその他の高速化Hugepages: TLBmiss を避けるため、DPDK で使用するメモリをhugetlbfs 経由で割り当てCPU affinity: CPU 毎にスレッドを張付キャッシュ競合、ロック競合が起きないように各CPU を使用例：NIC のポートごとに別CPU を割り当て CPU 間でパケットを渡すためのロックレスringデフォルトで -march=native SSE, AVXなど使えるもの全部使用DPDK アプリ例ポート 0・ポート 1間で相互にパケットを転送（超簡易的ブリッジ）while (true) { for (rx_portid = 0; rx_portid < 2; rx_portid++) { tx_portid = !rx_portid; nb_rx = rte_eth_rx_burst(rx_portid, 0, pkts_burst, 32); rte_eth_tx_burst(tx_portid, 0, pkts_burst, nb_rx); }}参考：https://github.com/syuu1228/dpdk_seccamp_2016/blob/master/simple_bridge/main.c https://github.com/syuu1228/dpdk_seccamp_2016/blob/master/simple_bridge/main.cDPDK – Linux = ?Linux 要らないのではDPDK のAPI さえ走ればLinux みたいな大きなOS が動いている必要ないむしろ他のプロセスやカーネルスレッドなどが走ると邪魔になるのでは理想：ベアメタル環境で DPDKアプリだけがずっとビジーループしてるなんかこんなのでいいのではKernel modeDPDKブート・初期化コード的ななにかそもそもそもそも初期の非公開バージョンの DPDKではベアメタルで動いていた模様この部分のコードは公開されていないらしいそういえばシングルプロセスちょっと頑張ると実機で動く参考：http://www.yushiomote.org/blog/?p=469 Osphttp://www.yushiomote.org/blog/?p=469 : Bare-metal http://www.yushiomote.org/blog/?p=469 OSvちょっと頑張れば不要な部分は外せるLinux アプリとそこそこ互換性がある→完全なOS なし環境より簡単に持ってこれるなんかこんなのでいいのではKernel modeDPDKブート・初期化コード的ななにか移植してみたここまで DPDKは Linuxの上で動かすものとして説明してきたが、実際には複数の環境に対応できるように実装されているFreeBSD サポート済み環境の違いを吸収するレイヤが存在（ EAL: Environment Abstraction Layer）EAL にOSv サポート用のコードを追加、OS 依存なHugepage 確保のコードやPCI デバイスへのアクセスコード、スレッドのAffinity 設定などを実装すれば動くはず（FreeBSD 版をコピーしてきて必要な部分を実装）最低限必要っぽいものPCI 初期化OSv の内部インタフェースを呼び出し、PCI デバイスのリストを取得一つずつ PCIデバイスクラスのインスタンスを取り出して DPDKの構造体に変換PCI デバイスクラスのインスタンスよりMMIO メモリ領域のアドレスを取得、DPDK の構造体に書き込み（UIO デバイスのmmap() に相当）pci_device_list に追加https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_pci.cc#L163https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_pci.cc#L163PCI デバイス発見とドライバ初期化開始PCI デバイスに対応するUIO デバイスを探してmmap() するコードの部分は不要になるのですべて削除（初期化時にアドレスは取得済み）ベンダ ID、デバイス IDが一致するならドライバ初期化開始https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_pci.cc#L109https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_pci.cc#L109OSv 側のNIC ドライバを無効にするOSv のカーネル引数に--maxnic=<n> オプションを実装N 個以上のNIC をプローブしない 0 が指定されたら一つもプローブしないHugepage でのメモリ割り付けそもそも OSvでは Hugepageが常に有効なので、単にページアラインされた連続領域をリクエストサイズ分確保メモリアドレスを DPDKの構造体に代入https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_memory.cc#L90https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_memory.cc#L90スレッドに対する CPU Affinty設定単に pthread_setaffinty_np ()を呼ぶ（実装されている）https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_thread.c#L121https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_thread.c#L121タイマーLinux のEAL に/dev/hpet をmmap() して直接HPET のカウンタを読み出す豪快なコードが実装されている/dev/hpet をopen() & mmap() する部分を削除ACPI Table からHPET のアドレスを取得して物理アドレス→論理アドレス変換するコードを追加https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_timer.cc#L190https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_timer.cc#L190CPU 情報CPU 数をOSv の内部インタフェースから取得してDPDK の構造体に代入https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_lcore.cc#L82https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_lcore.cc#L82MakefileOSv のヘッダをinclude.cc ファイルをg++ でコンパイルコード量$ git diff 6fb3161060fc894295a27f9304c56ef34492799d|wc -l3842動いたl2fwd更に Seastarも載せてみるSeastar(TCP/IP)Kernel modeDPDKブート・初期化コード的ななにか動いたまとめOSv を利用してベアメタルDPDK っぽい何かが実装できた今のところ KVM & virtio -netで動作OSv のLinux 互換機能を利用してSeastar+DPDK も動作TODO動いた、以上の状態ではないのでパフォーマンスチューニング必要まともにベンチマーク取る少し古い成果でメンテし続けられてないので最新版で動かないバージョンアップ必要PCI パススルー／SR-IOV実機で動かすOSv から要らない機能を削って余計なスレッドへコンテキストスイッチしないようにしたいCodehttps://github.com/syuu1228/dpdk/tree/osv-1.8.0-cleanuphttps://github.com/syuu1228/dpdk/tree/osv-1.8.0-cleanuphttps://github.com/syuu1228/osv-apps/tree/seastarhttps://github.com/syuu1228/osv-apps/tree/seastarてCPU affinity: CPU 毎にスレッドを張付キャッシュ競合、ロック競合が起きないように各CPU を使用例：NIC のポートごとに別CPU を割り当て CPU 間でパケットを渡すためのロックレスringデフォルトで -march=native SSE, AVXなど使えるもの全部使用DPDK アプリ例ポート 0・ポート 1間で相互にパケットを転送（超簡易的ブリッジ）while (true) { for (rx_portid = 0; rx_portid < 2; rx_portid++) { tx_portid = !rx_portid; nb_rx = rte_eth_rx_burst(rx_portid, 0, pkts_burst, 32); rte_eth_tx_burst(tx_portid, 0, pkts_burst, nb_rx); }}参考：https://github.com/syuu1228/dpdk_seccamp_2016/blob/master/simple_bridge/main.c https://github.com/syuu1228/dpdk_seccamp_2016/blob/master/simple_bridge/main.cDPDK – Linux = ?Linux 要らないのではDPDK のAPI さえ走ればLinux みたいな大きなOS が動いている必要ないむしろ他のプロセスやカーネルスレッドなどが走ると邪魔になるのでは理想：ベアメタル環境で DPDKアプリだけがずっとビジーループしてるなんかこんなのでいいのではKernel modeDPDKブート・初期化コード的ななにかそもそもそもそも初期の非公開バージョンの DPDKではベアメタルで動いていた模様この部分のコードは公開されていないらしいそういえばシングルプロセスちょっと頑張ると実機で動く参考：http://www.yushiomote.org/blog/?p=469 Osphttp://www.yushiomote.org/blog/?p=469 : Bare-metal http://www.yushiomote.org/blog/?p=469 OSvちょっと頑張れば不要な部分は外せるLinux アプリとそこそこ互換性がある→完全なOS なし環境より簡単に持ってこれるなんかこんなのでいいのではKernel modeDPDKブート・初期化コード的ななにか移植してみたここまで DPDKは Linuxの上で動かすものとして説明してきたが、実際には複数の環境に対応できるように実装されているFreeBSD サポート済み環境の違いを吸収するレイヤが存在（ EAL: Environment Abstraction Layer）EAL にOSv サポート用のコードを追加、OS 依存なHugepage 確保のコードやPCI デバイスへのアクセスコード、スレッドのAffinity 設定などを実装すれば動くはず（FreeBSD 版をコピーしてきて必要な部分を実装）最低限必要っぽいものPCI 初期化OSv の内部インタフェースを呼び出し、PCI デバイスのリストを取得一つずつ PCIデバイスクラスのインスタンスを取り出して DPDKの構造体に変換PCI デバイスクラスのインスタンスよりMMIO メモリ領域のアドレスを取得、DPDK の構造体に書き込み（UIO デバイスのmmap() に相当）pci_device_list に追加https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_pci.cc#L163https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_pci.cc#L163PCI デバイス発見とドライバ初期化開始PCI デバイスに対応するUIO デバイスを探してmmap() するコードの部分は不要になるのですべて削除（初期化時にアドレスは取得済み）ベンダ ID、デバイス IDが一致するならドライバ初期化開始https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_pci.cc#L109https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_pci.cc#L109OSv 側のNIC ドライバを無効にするOSv のカーネル引数に--maxnic=<n> オプションを実装N 個以上のNIC をプローブしない 0 が指定されたら一つもプローブしないHugepage でのメモリ割り付けそもそも OSvでは Hugepageが常に有効なので、単にページアラインされた連続領域をリクエストサイズ分確保メモリアドレスを DPDKの構造体に代入https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_memory.cc#L90https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_memory.cc#L90スレッドに対する CPU Affinty設定単に pthread_setaffinty_np ()を呼ぶ（実装されている）https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_thread.c#L121https://github.com/syuu1228/dpdk/blob/osv-1.8.0-cleanup/lib/librte_eal/osvapp/eal/eal_thread.c#L121タイマーLinux のEAL

Linuxless DPDK

興味のある情報を集め、整理して、みんなと共有しましょう。

読み込んでいます...