Linux container update

Linux Container Update KOSAKI Motohiro

Who am I • Linux メモリ管理コア開発者 • MM Summit(上位20人のコア開発者会議）５年連続招待 • Ruby core committer • コミット率TOP10コミッタのうちの一人 • ボストン在住、Red Hat常駐 • Herokuは使ったことがありません

LSF/MM 2014 photo

What is Container • むつかしい言い方をすると Operating system– level virtualization • FreeBSD jail が嚆矢 • Containerという用語を最初に使い始めたのはSolaris • リソース(CPU, memory, IO, etc)の分離 + 名前空間(pid, IP adress, chroot)の分離 + (SELinux) • ここ二年ぐらいで急速に注目度アップ

Linux v2.6.32 • 2009年12月リリース • Ubuntu 10.04やRHEL6で採用。広く使われている • Linuxは年４回リリース • 20バージョン近く古く、さすがにつらい • 2014年はUbuntu 14.04やRHEL7といった次世代ロングサポート製品が出る年 • 最近(ここ５年ぐらい)のLinuxでのコンテナアップデートを語るチャンス

Containers new features • 2.6.35: oom notifier • 3.0 remove the ns_cgroup • 3.3 per cgroup tcp buffer limit • 3.6 hugetlb cgroup • 3.10 memory pressure notification • 3.14 proper userns • 3.16? memory cgroup low-limit • 3.16? memory cgroup Kernel memory limit

OOM Notifier • OOM(out of memory) が起きた時に、いきなり即死させるのではなく通知してくれる。 • ユーザー空間でOOM Managerを作るための仕組み • OOMが起きた時に予測不可能な事態になるのを防ぐ

remove the ns_cgroup • 誰も使ってなかった機能だからどうでもいい • 名前空間はclone(2), unshare(2) syscallを使うべきということになった

per cgroup tcp buffer limit • TCPバッファサイズはWebアプリチューニングの最重要パラメタの１つ • 大きくするとスループット上がる • 小さくするとレイテンシ上がる • ちゃんと設定しないとbufferbloat問題 • いままではPaaSではチューニング不可能だった

hugetlb cgroup • 大きなサイズのページ(2M, 1G)のサイズを cgroupから扱うことが出来る • ほとんどのデータベースでHugetlbを使うと性能が上がる • いままで、per cgroupの制限が出来ず、 disableにせざる得なかった

memory pressure notification • メモリが足りなくなってきた時に、アプリケーションに通知がされる仕組み • アプリケーションの対応が必要 • たまに誤爆する

userns • UID, GIDのnamespace(ns) • 2.6.23から入っているがつい最近(3.14)まで壊れていた • カーネルの中に名前空間を意識せずUID処理をしてる箇所多数 • これが動かないとセキュリティの担保が大変

memory cgroup low-limit • いわゆるメモリ最低保証 • 自分以外のプロセスが暴れたときに、プロセスがスワップアウトしまくると悲しい（；＿；）

memory cgroup: Kernel memory limit • 現状のmemory cgroupはプロセスメモリーのみを管理 • 垢BAN覚悟なら、pipeなど使ってlimitを大きく超えたメモリ量を確保して、サーバーをクラッシュさせることも可能 • 重要サービスにPaaSは使えないというFUD • Coming soon

LXC • コンテナを操作するためのツール群 • 2014/2/20 LXC 1.0.0 released • 非特権コンテナをサポート • Python, Ruby, GoのAPI binding • 象徴的な意味合いが強い • 1.0になったんだからアイコン作ってくれればいいのに

Checkpoint & restore • プロセスをディスクに保存し、あとで再開する • 再開先は別のマシンでもOK • KernelのNamespaceを使って再開先でpidやネットワーク設定が変わらないよう差し替える • ライブマイグレーションの基盤技術 • linux-cr is dead. Long live CRIU! • 2013年soft-dirty実装 • ここ最近で一番の進化？

Docker • 去年から大流行 • PaaSに新たな地平を開いた • 手元の環境とPaaSの環境の違いによって、バグが出るの大変つらい • → 依存コンポーネントを環境ごとdeploy • 使い勝手が大幅UP • OpenShift(Red Hatの運営するHerokuもどき)はいち早く採用を決めた

Thanks

Linux container update

by Motohiro Kosaki, Working at Fujitsu

on May 23, 2014

Statistics

Views

Actions

3 Embeds 9

Accessibility

Upload Details

Usage Rights

Report content

Linux container update Presentation Transcript

https://twitter.com	6
https://tweetdeck.twitter.com	1