コンテナ型仮想化とはなんだったのか

コンテナ？それfreebsd でもできるよ！ 2014/09/06 第四回コンテナ型仮想化の情報交換会@東京 by @m_bird Ver.0.9.1 1

おはようごJail! 2

主催者「なんかFreeBSD Jail話してよ」 • Jailの話まで辿り着けませんでした 3

コンテナ？それfreebsd でもできるよ！ 2014/09/06 第四回コンテナ型仮想化の情報交換会@東京 by @m_bird 4

コンテナ型仮想化とはなんだったのか？ 2014/09/06 第四回コンテナ型仮想化の情報交換会@東京 by @m_bird 5

オマエ is 誰 • FreeBSD6からのゆるふわFreeBSD使い • Just User, Not Developer • 自宅はFreeBSD + Debian（KVM Host） • ピチピチの20代 • 飲み友達募集中（ガールなら尚良し） 6

オマエ is 誰 • 本業 • ドライブ • 読書 • 小説執筆 • vim + LaTeX • 余暇 • エンジニア？ • インフラ寄り • 興味 • VMM • ファイルシステム 7

お伝えしたいこと • VMWare流行った！ • 何でもかんでも完全仮想化！ • KVM流行った！ • 何でもかんでもKVMにマイグレーション • クラウドマネジメントツール流行った！ • 管理楽になるんでしょ？どうにゅ…… 8

最悪死に至るむしろ運用コストあがったにゃん…… 9

お伝えしたいこと • 仮想化について、概念を振り返る • 完全仮想化とコンテナ型仮想化（OSレベル仮想化）について比較 • ナウでヤングでグッチョイスな環境の構築の第一歩に • ただしコンテナ型仮想化はFreeBSD jailしか触っていないので、jailをベースとしてお話します 10

今日のお話 • コンテナ型仮想化とは何だったのか • 完全仮想化との比較 • コンテナ型仮想化の使いどころ • コンテナ型仮想化のキモコンテナ型仮想化の構成要素の再認識 11

そう思うんならそうなんだろう。おまえん中ではな ! （ゆのっち画像）！注意！本発表には発表者個人の主観が多分に含まれています 12

てかJailやってる？（笑） 13

FreeBSD Jail • コンテナ型仮想化 • FreeBSD 4（2000年）に登場 • chroot を強力進化！ • UID空間、プロセス空間、ファイルシステム空間の分離を強化 LinuxでいうLXC的なサムシング 14

その他コンテナなサムシング • Solaris Zone • Solaris10で登場（2005） • コンテナ環境でSolaris8や9が動く • Solaris Legacy Containers † @satokaz さんの発表でこの後すぐ！ †http://jp.fujitsu.com/platform/server/sparcenterprise/solution/virtualization/oslc/ 15

ほんとコンテナの仮想化便利なｗどこ住み？なにディストリ使い？ 16

「仮想化」ってゆーなー！ 17

さあ、要件定義の話をしようどんなアーキテクチャなら、仮想化って言えるのさ 18

PopekとGoldbergの仮想化要件 • “Formal Requirements for Virtualizable Third Generation Architectures”(1974)†で示された • 仮想計算機を提供するVMMたりえる要件を定義 • 命令を3つに分類し、VMMではそれぞれどのように扱えばよいかを示す • それぞれの命令をどのように扱えば、VMMたり得るか？の定理を示す †GJ Popek, RP Goldberg - Communications of the ACM 19

PopekとGoldbergの仮想化要件仮想計算機を提供するVMMの持つ3つの特性 • 等価性(Equivalence) • 実機上で実行される場合と、仮想計算機モニタ（VMM）上で実行される場合とで作用が同じ • 効率性(Efficiency) • 大部分の命令実行を、CPU上で直接実行可能 • 資源管理(Resource Control) • VMMはゲストOSの資源を完全に制御できる 20

3つの命令 • 特権命令 • ユーザーモードで動作中ならばトラップすべき命令 • 特権センシティブ命令 • システムの資源状態を変更する命令 • 動作センシティブ命令 • システムの状態に結果が依存する命令命令セットセンシティブ特権命令命令こんな感じならそのアーキテクチャ仮想化OKよ 21

アーキテクチャって、そっちのアーキテクチャの話かよ 22

そもそも、”仮想化”の前提概念が違う 23

それぞれの仮想化 24 OS OS VM VM VMM Hardware container container OS Hardware 完全仮想化(TypeI) OSレベル仮想化 (コンテナ型仮想化)

もう一度要件に立ち返る • 等価性(Equivalence) • 仮想計算機モニタの上で実行される場合と、VMM上で実行される場合とで作用が同じ • 効率性(Efficiency) • 大部分の命令実行を、CPU上で直接実行可能であること • 資源管理(Resource Control) • VMMはゲストOSの資源を完全に制御できる 25

もう一度要件に立ち返るコンテナ環境 • 等価性(Equivalence) • 仮想計算機モニタの上で実行される場合と、VMM上で実行される場合とで作用が同じ • 効率性(Efficiency) • 大部分の命令実行を、CPU上で直接実行可能であること • 資源管理(Resource Control) • VMMはゲストOSの資源を完全に制御できるコンテナ環境のホスト 26

よし。仮想化“っぽい”要件を考えよう 27

仮想化“っぽい”要件 • 「1コンテナ1独立環境」に見えること • ファイルシステムが分かれている • ユーザカウントの分離 • プロセス空間分かれている進化した chroot 環境 28 FreeBSD jail の出発点

それぞれの特徴を見てゆこう！発表者の気まぐれ補足～完全仮想化との比較を添えて～ 29

仮想化っぽい：ファイルシステムが分かれている • ホスト環境のファイルシステム階層を一部切り出す • コンテナ環境を、その階層以下にとじ込める（jailed） • ある特定ディレクトリより上位層を見ることができない（chroot） • 他コンテナのファイルシステムは覗けない • ただし、コンテナのホストからはコンテナ環境のファイルシステム階層が見える（ホストからみると未分離）完全仮想化では、ホスト環境からみても分離されている 30

完全仮想化との比較：ファイルシステム • ファイルアクセスが早い • 完全仮想化で一番問題になるのはI/Oの遅さ • ホストからゲストのファイルが操作可 • 完全仮想化だとディスクイメージをブロックデバイスとして扱い、マウントして…… 大変！＞＜ 31

補足：完全仮想化におけるI/O速度の低下 • 問題点：コンテキストスイッチの切り替え VMM Hardware 32 VM Host OS OS Process VMExit Guest VMEntry

補足：完全仮想化におけるI/O速度の低下 • コンテキストスイッチを減らすための工夫 • virtio†：準仮想化I/Oフレームワーク • リングバッファなどを用いてコンテキストスイッチを削減 • 仮想化環境で用いられることを意識＝準仮想化ドライバ † R Russell. "virtio: towards a de-facto standard for virtual I/O devices", ACM SIGOPS Operating Systems Review, 2008 33

補足：完全仮想化におけるI/O速度の低下 • 問題点：ファイルシステムのスタック write File System Disk Image File System Disk 34 write process

補足：完全仮想化におけるI/O速度の低下 • ファイルシステムのスタックの回避 • VirtFS†1 • Plan9由来の9pプロトコルを用いて、ホストOSのファイルシステムを直接マウント • WFS†2 • ゲストホスト間RPC ”VMRPC”†3 を用いて、ゲストOSからホストOSのファイルシステムをマウントを行う †1 V Jujjuri, E Van Hensbergen. "VirtFS̶A virtualization aware File System passthrough". Ottawa Linux Symposium. 2010 †2 豊岡拓，新城靖，齊藤剛. “ホスト型仮想計算機環境におけるファイル入出力の VFS アウトソーシングによる高速化”. 情報処理学会第 21 回コンピュータシステムシンポジウム,2009 †3 齊藤剛，新城靖，榮樂英樹，佐藤聡，中井央，板野肯三. "仮想計算機におけるアウトソーシングのためのゲスト‒ホスト間 RPC", 第 20 回コンピュータシステム・シンポジウム,2008 35

補足：完全仮想化におけるI/O速度の低下実機上 virtfs（仮想化ファイルシステム）準仮想化ドライバブロックデバイスエミュレーション(IDE) 41% 81% 100% 99% 速度(%) 0 25 50 75 100 36 • ホストOS • CPU Intel Core 2 Duo • VMM qemu-kvm 0.14.0 • メモリ 4GB • OS Linux 2.6.32 • ディスクデバイス Serial ATA ディスク • ゲストOS • CPU 1 コア割り当て ‒ メモリ 512MB • OS Linux 2.6.32 コンテキストスイッチの切り替え、ファイルシステムの重複のオーバヘッドが分かる

つまり…… • ファイルI/Oに関して、コンテナ型仮想化はすごいお得！ • ディスクエミュレーション要らない • ファイルシステムが重複しない • オーバーヘッドがほとんどない（はず） 37

仮想化っぽい：アカウントの分離 • アカウント管理ファイルが分離 • /etc/passwd だとか、 /etc/shadow だとか • ファイルシステムの分離による • ユーザID空間の分離 • ユーザIDの重複も可能に • ホストや他コンテナのUIDを意識しなくて良い • Linux LXC：2013年末の Linux 3.12で User Namespaceの実装が完了 • FreeBSD Jail：FreeBSD4.0登場当初（2000年3月）から使えた（はず） 38

仮想化っぽい：ファイルシステムが分かれている • 見えるのは、自コンテナ内のプロセスのみ • あるコンテナ内から、別コンテナ内のプロセスへは干渉できない • あるコンテナのアプリがクラックされても、ほかアプリへの影響が最小限に 39

完全仮想化との比較：プロセス空間 • 利点：コンテナごとのプロセス制限が可能に！ • 今までは、プロセスごとに制限 • limit(シェル組み込み) : syscall getrlimit/setrlimit • 欠点：ホストからは丸見え • 欠点、というよりも特徴か • ホスト環境から、ゲストのプロセスを殺すことが可能 • 完全仮想化の場合は、ホストOSからもゲストOSのプロセスは見えない 40

わかった！コンテナってすげー強いってことだな！仮想化の要件をちょっと都合良く解釈してやれば、仮想化とも言えるし、オーバーヘッド少ないし！ ※ 発表者の主観です 41

で、だ。 42

実装どうなってんのさ • 突っ込んだ話はしません（できません） • Linux ：cgroups • 本日のトップバッター @hiro_kamezawa さんの発表が凄い充実していましたね！ • FreeBSD：jailシステムコール • see: $ man 2 jail 43

FreeBSD: jail System Call • jail 環境(コンテナ環境)へ割り当てる • 割り当てるルートファイルシステムのパス • 割り当てるアドレス（v4/v6） • ホスト名 • jail名 44

FreeBSD: jail System Call 45 struct jail { uint32_t version; char *path; char *hostname; char *jailname; unsigned int ip4s; unsigned int ip6s; struct in_addr *ip4; struct in6_addr *ip6; };

リソース分割/制限について特にプロセス数とか 46

コンテナを仮想化としてみた時のキモコンテナ環境を、あたかも独立した環境かのようにみせるコンテナ他環境とを疎にするのはkernel container container kernel 各コンテナ毎のリソース分割がキモ各コンテナは Kernelを共有 47

そもそもはUnixは…… • 一台物理マシンを皆で利用しよう！ • ユーザ間での資源の共有 • ユーザランドのプログラムに、計算機資源をそれぞれに分配する • リソースの割り当て単位に、概念追加 • コンテナ単位での制限、という括り 48

資源共有今昔 • 昔 • 皆で小さいリソースを分け合う • 今 • 一台で色々役割もたそう、中で分離して • 資源あまってるし 49

資源共有完全仮想化？ • 一台に詰め込むための完全仮想化 • CPUは効率的に使える • メモリは無駄食いしてしまう • そもそも、エミュレーション使ってまでの環境分離は必要？ • 今完全仮想化を使ってる目的の大半はコンテナで良いのでは？ 50

リソース制限 • 完全仮想化ならば、VMMで仮想計算機に割り当てるリソースを制御 • ディスクイメージサイズ、CPUコア数、ネットワーク帯域……etc • コンテナ型仮想化では、コンテナホストでリソース制限を実施 51

リソース制限の重要性 • 危険シェル芸 • :(){ :|:& };: 52

% :(){ :|:& };: (snip) maxproc limit exceeded maxproc limit exceeded リソby ーuid ス1001 制(pid 限9020); のsee 重tuning(要7) 性 and login.conf(5) by uid 1001 (pid 12751); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 12673); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 10873); see tuning(7) and login.conf(5) maxproc • 危limit 険シexceeded ェルby 芸 uid 1001 (pid 11813); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 7875); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 13779); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 10694); see tuning(7) and login.conf(5) maxproc • limit :(){ exceeded :|:& };: by uid 1001 (pid 13842); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 9440); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 13047); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 13796); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 11419); see tuning(7) and login.conf(5) kern.ipc.maxpipekva exceeded; see tuning(7) kern.ipc.maxpipekva exceeded; see tuning(7) maxproc limit exceeded by uid 1001 (pid 8605); see tuning(7) and login.conf(5) kern.ipc.maxpipekva exceeded; see tuning(7) maxproc limit exceeded by uid 1001 (pid 12225); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 10820); see tuning(7) and login.conf(5) kern.ipc.maxpipekva exceeded; see tuning(7) maxproc limit exceeded by uid 1001 (pid 10820); see tuning(7) and login.conf(5) kern.ipc.maxpipekva exceeded; see tuning(7) maxproc limit exceeded by uid 1001 (pid 12592); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 11193); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 12641); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 12176); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 53 10976); see tuning(7) and login.conf(5)

リソース制限の重要性 • 危険シェル芸 • :(){ :|:& };: • ＞シリアルコンソールログイン不可！＜ • ＞ACPI shutdown 受け取らず！＜ • VM をﾃﾞｽﾄﾛｰｲ…… 54

リソース制限の重要性 • :(){ :|:& };: • forkbomb(){ forkbomb|forkbomb & } ; forkbomb • fork爆弾、プロセスを再帰的にfork • 「プロセステーブル、メモリ、ゼンブクイツクス！」 bomb fork bomb bomb fork fork 55 ＿人人人人人人人人人人人＿＞　ずっとforkのターン　＜ ‾Y^Y^Y^Y^Y^Y^Y^Y^Y^Y‾

fork爆弾を食い止めろ！ • ユーザ権限でOS全体をハングさせることが可能 • ユーザごとの利用可能資源を制限すべし • 多数のユーザアカウント発行するサービス（レンサバ）とか特にまずい • さくらたんさんあたりが特にノウハウ持っていそうですね 56

非コンテナでのリソース制限 • getrlimit/setrlimit を使った制限 • 4.2BSDで実装、POSIXでも定義あり • Unix系OSなら使える • シェル組み込みで”limits”コマンドで確認！ 57

非コンテナでのリソース制限デフォルト状態＠FreeBSD10-amd64 % ulimit -a -t: cpu time (seconds) unlimited -f: file size (blocks) unlimited -d: data seg size (kbytes) 33554432 -s: stack size (kbytes) 524288 -c: core file size (blocks) unlimited -m: resident set size (kbytes) unlimited -l: locked-in-memory size (kbytes) 64 -u: processes 6670 -n: file descriptors 58293 -b: socket buffer size (bytes) unlimited -v: virtual memory size (kbytes) unlimited -N 11: unlimited -N 12: unlimited 58

非コンテナでのリソース制限デフォルト状態＠FreeBSD10-amd64 % :(){ :|:& };: (snip) maxproc limit exceeded by uid 1001 (pid 9020); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 12751); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 12673); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 10873); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 11813); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 7875); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 13779); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 10694); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 13842); see tuning(7) and login.conf(5) maxproc limit exceeded シスby テuid 1001 ム(pid 完9440); 全see にtuning(沈7) 黙 and login.conf(5) maxproc limit exceeded by uid 1001 (pid 13047); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 13796); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 11419); see tuning(7) and login.conf(5) kern.ipc.maxpipekva exceeded; see tuning(7) ern.ipc.maxpipekva exceeded; see tuning(7) maxproc limit exceeded by uid 1001 (pid 8605); see tuning(7) and login.conf(5) kern.ipc.maxpipekva exceeded; see tuning(7) maxproc limit exceeded by uid 1001 (pid 12225); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 10820); see tuning(7) and login.conf(5) kern.ipc.maxpipekva exceeded; see tuning(7) (snip) 59

非コンテナでのリソース制限プロセス数制限変更＠FreeBSD10-amd64 % ulimit -u 1024 % ulimit -a -t: cpu time (seconds) unlimited -f: file size (blocks) unlimited -d: data seg size (kbytes) 33554432 -s: stack size (kbytes) 524288 -c: core file size (blocks) unlimited -m: resident set size (kbytes) unlimited -l: locked-in-memory size (kbytes) 64 -u: processes 1024 -n: file descriptors 58293 -b: socket buffer size (bytes) unlimited -v: virtual memory size (kbytes) unlimited -N 11: unlimited -N 12: unlimited 60

非コンテナでのリソース制限プロセス数制限変更＠FreeBSD10-amd64 % :(){ :|:& };: (snip) maxproc limit exceeded by uid 1001 (pid 2632); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 2136); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 2644); see tuning(7) and login.conf(5) :: fork failed: リソースが一時的に利用できません :: fork failed: リソースが一時的に利用できません maxproc limit exceeded by uid 1001 (pid 2136); see tuning(7) and login.conf(5) maxproc limit exceeded by uid 1001 (pid 2644); see tuning(7) and login.conf(5) :: fork failed: リソース:: fork failed: リソース:: fork failed: リソース戻が一時っ的に利用でませんが一時的に利て用でききませたんが一時的に利用できません！ :: fork failed: リソースが一時的に利用できません :: fork failed: リソースが一時的に利用できません :: fork failed: リソースが一時的に利用できません :: fork failed: リソースが一時的に利用できません :: fork failed: リソースが一時的に利用できません :: fork failed: リソースが一時的に利用できません :: fork failed: リソースが一時的に利用できません :: fork failed: リソースが一時的に利用できません :: fork failed: リソースが一時的に利用できません :: fork failed: リソースが一時的に利用できません (snip) 61

非コンテナでのリソース制限 • FreeBSD • /etc/login.conf • Linux • /etc/security/limits.conf • あたりに書けば、そのユーザのプロセス全てに制限が適用 62

じゃ、コンテナでは？ 63

Linux のお話はたっぷりだったので、少し FreeBSD jailのお話をします 64

jailの使い方 • OS標準の仕組みでできます • /etc/jail.conf 書き書き • jail の起動停止 • 起動 # jail -c ${JAIL_NAME} • 停止 # jail -r ${JAIL_NAME} www { host.hostname = "www"; path = "/usr/jails/www"; mount.fstab = "/usr/local/etc/qjail.fstab/www"; exec.start = "/bin/sh /etc/rc"; exec.stop = "/bin/sh /etc/rc.shutdown"; exec.consolelog = "/var/log/qjail.www.console.log"; devfs_ruleset = "4"; allow.mount.devfs; mount.devfs = "1"; ip4.addr = 10.0.0.3; interface = "lo1"; } 65

コンテナ(jail)環境での資源 • FreeBSDのjailシステムコールには特にリソース制限ない • jail環境ごとのリソース制限は難しい • じゃあ、どうすんねん？ • rlimitで頑張る？ • RACCT/RCTL 66

RACCTL/RCTL • RACCTL • カーネル内の資源量を把握する • RCTL • 資源の制限を行う FreeBSD9(2012,10)にて実装 67

RACCTL/RCTL • 利用するには、GENERICカーネルじゃ駄目 • options RACCT • options RCTL • → カーネルビルド！ • 設定するには • /etc/rctl.conf • ユーザランドツール：rctlコマンド 68

RACCTL/RCTL • syntax • subject:subject-id:resource:action=amount/per. • 左の例だと • -u: 現在の設定値出力 • -h: 人間さんが読む用 • user:m-bird • m-birdユーザの制限設定値確認 • jailの場合 $ rctl -hu jail:${JAILNAME} • $ rctl -hu jail:www 69 # rctl -hu user:m-bird cputime=137 datasize=48K stacksize=392K coredumpsize=0 memoryuse=6744K memorylocked=0 maxproc=1 openfiles=0 vmemoryuse=35M pseudoterminals=0 swapuse=0 nthr=1 msgqqueued=0 msgqsize=0 nmsgq=0 nsem=0 nsemop=0 nshm=0 shmsize=0 wallclock=270K pcpu=0

ざんねん！わたしのぼうけんはここでおわってしまった！ 70

時間とは有限なのである • 他、やりたかったこと • LXCとJailでの実装の違いを追っかけて比較する • ネットワーク仮想化（vimage/veth） • 周辺ツールの比較 • dockerのFreeBSD対応 • cbsdを動かしてみる • jailの管理している様子を実際に見せびらかす FreeBSDの可愛らしさをアッピルする 71

せめて、BSDら 72 次回しく

■警告内容は発表予定もなく、現在作成中ですらないものです。予告なく変更、中止などする場合があります。 73

その他FreeBSD jailで面白いこと • Jail環境でCentOS! • Linuxのバイナリ互換機能を利用 • https://wiki.freebsd.org/Image/Linux/ CentOS55 • Linux互換機能、何か使えるの？ • SkypeやSkypeなどのLinuxバイナリを動かすのに利用 74

余談: Linux バイナリ互換 Linux は現在コンピュータの世界では最も「ホットなモノ」なのでたくさんの会社や開発者たちが Linux のためだけに開発を行なっています。そのため、残された私たち FreeBSD ユーザは彼らに対して FreeBSD ネイティブなアプリケーションも出すように言うしかないのです。 via: https://www.freebsd.org/doc/ja/books/handbook/linuxemu.html 75

参考資料 • 佐藤広生. Jail機構と資源制御. FreeBSD勉強会. 2012 • http://people.allbsd.org/~hrs/FreeBSD/sato-FBSD20120608.pdf • Unixの基礎概念からJailのリソース制限への発展について詳しい • 読んでみると、今回の発表の内容がすごく分かりやすく丁寧に書かれているので、私の発表読むよりこちら読む方が勉強になります • 長谷川猛. とあるvirtioドライバの接続部分. 仮想化友の会恋バナ.2011 • http://www.slideshare.net/TakeshiHasegawa1/osc2011-tokyofall-virtio • virtioを用いた準仮想化ドライバについて詳しい • yuyarin. Kernel/VM Advent Calendar 38日目: 仮想化可能なアーキテクチャの要件とx86. yuyarinの日記. 2011 • http://d.hatena.ne.jp/yuyarin/20110113/1294889935 76

発表版との差異 • 2014/09/07 Ver0.9.1 • 全体の話の流れを明確にするため、区切りの見出しスライドを追加 • スライドだけを見る人に対する対応 • 引用元をいくつか明示 • ゆのっち画像を削除 77

コンテナ型仮想化とはなんだったのか

by えむばーど

on Sep 07, 2014

Statistics

Views

Actions

2 Embeds 45

Accessibility

Categories

Upload Details

Usage Rights

Report content