IIJlab seminar - Linux Kernel Library: Reusable monolithic kernel (in Japanese)

再利用可能なモノリシックカーネル
Hajime Tazaki
IIJ Innovation Institute
2016/04/12, IIJlab セミナー

背景仮想化技術の発達
リソース(計算機・ストレージ・ネットワークなど)の抽象化
物理的制約の緩和、複雑性の減少など
仮想化する事で、できなかった事をできるようにする
http://ableit.ca/business-support-servi...

様々な仮想化とその用途 (ネットワーク)
手法
疑似(仮想マシン)
名前空間分離
カーネル迂回
用途
多重化、隔離環境
機能追加への自由度
性能改善
軽量化、分化・専用用途
デバッグ・テスト、詳細・再現調査
大規模ネットワーク実験

モチベーション (Why)
新しい用途でも、実績のあるソフトウェアが利用したい
ネットワークスタック(618K LoC, Linux)
ファイルシステム(752K LoC, Linux)
アプリケーション(a lot)
VM は重い(再現性向上...

Poll: "When you download and run software, how often do you use a
virtual machine (to reduce security risks)?"
Jon Howell,...

性能と利便性の両立？
性能を求めるには既存の資産(コード)は障壁になる
既存の資産を生かすと、性能を犠牲にしなければならない

Any problem in computer science can be solved with
another level of indirection.
(Wheeler and/or Lampson)
img src: https:/...

モノリシックカーネルの再利用とは (What ?)
Anykernel: NetBSD rump kernel に由来
We de ne an anykernel to be an organization of
kernel code whi...

モノリシ
ックカー
ネルの再
利用とは
(cont'd)

機能のアウトソース(環境依存コード)
時計
メモリ
スケジュール
デバイス(NIC/ブロック) I/O
様々な実装でこの仕組みを利用
SeaStar/OSv, mTCP, LKL/LibOS, rumpkernel
Anykernel として作...

Who else ?
Full scratch (ゼロから実装)
Mirage [ASPLOS 2013]
IncludeOS [CloudCom 2016]
SeaStar
mTCP [NSDI 2014]
porting (既存OS の移植...

特定用途カーネルの作り方
性能既存資産最新版追従
full scratch ++ -- +
porting + +/- --
anykernel - ++ ++

Linux Kernel Library
Linux カーネルのライブラリ
ハードウェア非依存のアーキテクチャ
下位ホストのインターフェースを規定
依存部をアウトソース
Windows, Linux, FreeBSDで動作
デバイスI/Oを簡素...

歴史
rump: 2007 (NetBSD)
LKL: 2007 (Linux)
DCE/LibOS: 2008 (Linux/FreeBSD)
LibOS/LKL revival: 2015
LibOS merged to LKL

LKL v.s. LibOS (cont'd)
LoC:
arch/lkl (LKL) < arch/lib (LibOS)
スタブコードの量に依存
共通点
カーネルコンテキストの表現(POSIX thread)
ホストインターフェース(時計、...

内部構造
1. ホストバックエンド(host_ops)
2. CPU 非依存アーキテクチャ(arch/lkl)
3. アプリケーションインターフェース

1. ホストバックエンド
環境依存部のインターフェース
異プラットフォーム間で共通化
(rump ハイパーコールlike)
Virtio によるデバイスインターフェース
ブロックデバイス<=> ディスクイメージ
ネットワーク<=> TAP, D...

2. CPU 非依存アーキテクチャ
アーキテクチャ(arch/lkl)
CPU アーキテクチャと同等に扱える
他コードへの影響をなくす
2400 LoC
スレッド構造体(struct thread_info) 定義
irq, timer, sy...

3. アプリケーションインターフェー
ス
Case 1: use exposed API (LKL syscall)
Case 2: use host libc (LD_PRELOAD)
Case 3: extend (alternative)...

Case 1: use exposed API (LKL
syscall)
カーネル内のシステムコール入り口を直接call
lkl_sys_open(), lkl_sys_socket()
通常のシステムコールとほぼ同じ
復帰値、エラー番号の通...

Case 2: ホスト標準ライブラリのハ
イジャック
ホストの標準ライブラリ(libc) を
LKL システムコールに実行時に置きかえ
LD_PRELOAD
socket() => lkl_sys_socket()
ホストのプログラムバイナリを...

Case 3: extend (alternative) libc
LKL システムコールのみを呼びだす
標準ライブラリ
カーネルに対応して、(仮想的な)
CPU アーキテクチャ拡張
プログラムは、通常の標準ライブラリとして
リンクする
システ...

使い方 (アプリケーション)
Use Case 1: ネットワークシミュレータとの結合
Use Case 2: 簡易カーネルバイパス
Use Case 3: カーネルコードを再利用したアプリケーション開発
Use Case 4: Unikern...

Linux Multipath-TCP の実験
可視化
ネットワーク状態の調査
ns-3 ネットワークシミュレータ
多種のモデル
NIC
ノード移動
トラフィック
タイミング
単一プロセ...

カーネルのネットワークスタックテストツールとしても利用
Regression テスト(を複雑なネットワークで)
再現率100 % (仮想クロックを利用)
コードカバレッジ測定(シミュレー...

Use Case 2: 簡易カーネルバイパス
LD_PRELOAD により、実行時にシステムコール迂回
置きかえ可能なシステムコール(シンボル) に制限あり
LKL と外界(ホストOS)の両方のシステムコールを利用可能
ホストカーネルに影響なく...

Use Case 3: カーネルコードを再利
用したアプリケーション開発
カーネルのコードを移植なしにユーザ空間でライブラリとして利用
LKL と外界(ホストOS)の両方のシステムコールを利用可能
カーネル実装を利用したファイルシステムアクセス...

Use Case 4: Unikernel
単一アプリケーションにリンクさせるLKL
python + LKL, nginx + LKL
LKL システムコールのみ利用可能
musl libc 移植
rump ハイパーコール利用(franken...

demos with linux kernel library
Unikernel on Linux (ping6 command
embedded kernel library)
Unikernel on qemu-arm (hello
wo...

nginx (linked) LKL running on Linux

ベンチマーク
10Gbps Ethernet リンク(LibOS, 素のLinux)
8コアCPU
ネットワークバックエンド(DPDK, netmap, rawソケットなど)
RTT とThroughput 測定(UDP 1024 byte パ...

ベンチマーク (cont'd)
単純にカーネル迂回しただけでは速くはならない
原因
キャッシュミス
多量の(ホスト)システムコールの数

ボトルネック分析
ネットワークスタック部
CPU コアローカルではないプロセス内通信
1パケット毎の処理多数(バルク処理)
システムコールのオーバヘッド(ホストバックエンド実装)
LKL 本体
迂回(Indirection)の影響

porting + +/- --
anykernel
- ++ ++

porting + +/- --
anykernel
+ ++ ++

まとめ
カーネルのコードは再利用するものです!
20 年近くの資産を捨てるのは無駄
(面倒な)移植なしに
ライブラリとして(ユーザ空間プログラムに限らず)
必要な部分のみ利用可能
オープンソースプロジェクトとして開発
https://githu...

参考資料
Linux Kernel Library
Purdila et al., LKL: The Linux kernel library, RoEduNet 2010.
Rumpkernel (dissertation)
Kantee, ...