小さいLinux環境の作り方

小さい Linux環境の作り方 Naomasa Matsubayashi

保存するアイコンフロッピーディスク

2000年代初頭フロッピーディスクに必要な物が全部入った Linuxディストリビューションが流行った ﬂoppix http://ﬂoppix.com/ HAL91 http://chris.silmor.de/hal91/ tomsrtbt http://www.toms.net/rb/

3.5インチフロッピーディスクの容量 1D 2D 1DD(Mac) 1DD 2DD(Mac) 2DD(PC-98) 2DD 2HD(PC-98) 2HD(PC/AT,Mac) 2ED 2TD 160KiB 360KiB 400KiB 360KiB 800KiB 640KiB 720KiB 1232KiB 1440KiB 2880KiB 9120KiB 大体どのドライブでも読める最大のディスクフォーマットは1440KiBの2HD

ブートローダーと Linuxカーネルとユーザランドを 1440KiBに収めればよい合わせて

2.0 6,000,000 bytes 2.2 2.4 2.6/3.x 4,840,000 3,680,000 2,520,000 1,360,000 200,000 1997 2001 2005 2009 2013 デフォルトのカーネルコンフィグでビルドしたカーネルのサイズの推移

2.0 2,000,000 bytes 2.2 2.4 2.6/3.x 1,640,000 1,280,000 920,000 フロッピーディスクの容量の限界現実的なカーネルサイズの限界 560,000 200,000 1997 2001 2005 2009 2013 Linux 2.2 余裕 Linux 2.4 苦しい Linux 2.6 絶望的

Date Mon, 9 Apr 2012 15:30:50 +0200 From Willy Tarreau <> Subject No more Linux 2.4 releases https://lkml.org/lkml/2012/4/9/127 2012年4月9日 Linux 2.4 開発終了

デフォルトのカーネルコンフィグでビルドしたLinux 3.12.8 5569KiB

最小限のドライバだけでビルドしたLinux 3.12.8 1699KiB VGAコンソール SATA AHCI USB EHCI/OHCI シリアルポート USBストレージ USB HID ext4 IntelとRealtekのNICドライバ IPv4

CONFIG_EXPERT カーネルの基本的な機能を無効にできるようになる

CONFIG_UID16 16bit UIDのシステムコールをサポートする 1999年 LinuxのユーザIDが16bitから32bitに移行古いソフトウェアの為に 16bitでUIDを渡すシステムコールが残されている今日のLinux環境にそうしたソフトウェアが残っていることは滅多にない https://www.kernel.org/doc/Documentation/highuid.txt

CONFIG_KALLSYMS カーネルがクラッシュした時のバックトレースにシンボル名が出るようにする人間が読めるある時バイナリアンだけが読めるない時

CONFIG_PRINTK カーネルがコンソール等に情報を出力する機能切るとカーネルが無口になる Linux version 3.12.8 (root@Grueza) (gcc version 4.7.3 (Gentoo 4.7.3-r1 p1.4, pie-0.5.5) ) #2 Sat Feb 22 17:22:05 JST 2014 e820: BIOS-provided physical RAM map: BIOS-e820: [mem 0x0000000000000000-0x000000000009fbff] usable BIOS-e820: [mem 0x000000000009fc00-0x000000000009ffff] reserved BIOS-e820: [mem 0x00000000000f0000-0x00000000000fffff] reserved BIOS-e820: [mem 0x0000000000100000-0x0000000007ffdfff] usable BIOS-e820: [mem 0x0000000007ffe000-0x0000000007ffffff] reserved BIOS-e820: [mem 0x00000000feffc000-0x00000000feffffff] reserved BIOS-e820: [mem 0x00000000fffc0000-0x00000000ffffffff] reserved Notice: NX (Execute Disable) protection cannot be enabled: nonPAE kernel! SMBIOS 2.4 present. e820: last_pfn = 0x7ffe max_arch_pfn = 0x100000 PAT not supported by CPU. init_memory_mapping: [mem 0x00000000-0x000fffff] init_memory_mapping: [mem 0x07800000-0x07bfffff] init_memory_mapping: [mem 0x00100000-0x077fffff] init_memory_mapping: [mem 0x07c00000-0x07ffdfff] 0MB HIGHMEM available. 127MB LOWMEM available. mapped low ram: 0 - 07ffe000 low ram: 0 - 07ffe000 Zone ranges: DMA [mem 0x00001000-0x00ffffff] Normal [mem 0x01000000-0x07ffdfff] HighMem empty Movable zone start for each node Early memory node ranges node 0: [mem 0x00001000-0x0009efff] node 0: [mem 0x00100000-0x07ffdfff] e820: [mem 0x08000000-0xfeffbfff] available for PCI devices Built 1 zonelists in Zone order, mobility grouping on. Total pages: 32412 Kernel command line: console=ttyS0 PID hash table entries: 512 (order: -1, 2048 bytes) Dentry cache hash table entries: 16384 (order: 4, 65536 bytes) ある時ない時

CONFIG_BUG 切るとドライバ等が異常を検知してもそのまま走るカーネルが異常を検知した時にアーキテクチャ毎の適切な方法でそのことを通知する仕組み

CONFIG_SYSCTL_SYSCALL procファイルシステム導入以前に使われていた /proc/sys以下のパラメータにアクセスする方法極めて古いソフトウェアの為に残されているがまともに保守されておらずしばしばカーネルの変更から置き去りにされる manの説明が Do not use this system call!

CONFIG_ELF_CORE ユーザ空間でプロセスがクラッシュした時にコアダンプを生成する機能 CONFIG_PCSPKR_PLATFORM PCスピーカードライバ CONFIG_BASE_FULL カーネルの何らかの構造体に無くても何とかなる要素を含めるか否かの設定らしいしかしx86で使っている箇所は見つけられなかった

CONFIG_FUTEX futexを使えるようにする共有メモリを使う場合等にプロセスを跨いでロックを行う必要があるこのためにカーネルが提供しているのが fast userspace mutexes 略してfutex 詳しくはこの辺 http://lwn.net/Articles/360699/

CONFIG_EPOLL ファイルディスクリプタに変化があった事をカーネルから通知してもらう仕組み CONFIG_SIGNALFD シグナルをシグナルハンドラではなくファイルディスクリプタで受けとれるようにする CONFIG_TIMERFD ファイルディスクリプタとして扱えるタイマー CONFIG_EVENTFD ユーザ空間のプロセス同士やカーネルとユーザ空間のプロセスの間でイベントを通知するためのファイルディスクリプタ

CONFIG_SHMEM 共有メモリファイルシステムをガチ実装にするか最小限の実装にするかを選べる最小限の実装ではリソース制限が効かない swapを使わないといった制約がある

CONFIG_AIO 使われない事に定評のある Linuxの非同期I/Oをサポートする詳しくはこの辺 http://lwn.net/Articles/216200/

CONFIG_VM_EVENT_COUNTERS 有効にすると/proc/vmstatに以下の情報が追加される nr_dirty nr_writeback pgpgin pgpgout pswpin pswpout pgalloc_dma pgalloc_dma32 pgalloc_normal pgalloc_movable pgfree pgactivate pgdeactivate pgfault pgmajfault pgrefill_dma pgrefill_dma32 pgrefill_normal pgrefill_movable pgsteal_kswapd_dma pgsteal_kswapd_dma32 pgsteal_kswapd_normal pgsteal_kswapd_movable pgsteal_direct_dma pgsteal_direct_dma32 pgsteal_direct_normal pgsteal_direct_movable pgscan_kswapd_dma pgscan_kswapd_dma32 pgscan_kswapd_normal pgscan_kswapd_movable pgscan_direct_dma pgscan_direct_dma32 pgscan_direct_normal pgscan_direct_movable pgscan_direct_throttle zone_reclaim_failed pginodesteal slabs_scanned kswapd_inodesteal kswapd_low_wmark_hit_quickly kswapd_high_wmark_hit_quickly pageoutrun allocstall pgrotated pgmigrate_success pgmigrate_fail compact_isolated compact_stall compact_fail compact_success htlb_buddy_alloc_success htlb_buddy_alloc_fail unevictable_pgs_culled unevictable_pgs_scanned unevictable_pgs_rescued unevictable_pgs_mlocked unevictable_pgs_munlocked unevictable_pgs_cleared unevictable_pgs_stranded thp_fault_alloc thp_fault_fallback thp_collapse_alloc thp_collapse_alloc_failed thp_split thp_zero_page_alloc thp_zero_page_alloc_failed nr_tlb_remote_flush nr_tlb_remote_flush_received nr_tlb_local_flush_all nr_tlb_local_flush_one

CONFIG_SLOB CONFIG_EXPERTを有効にすると追加されるカーネルメモリアロケータ SLABアロケータ実装以前のLinuxのアロケータに SLABエミュレーションレイヤーを追加して SLABの代わりに使えるようにしたもの SLABよりフラグメンテーションを起こしやすくスケーラビリティに欠けるが非常に小さいコードで実装されている詳しくはこの辺 http://lwn.net/Articles/157944/

BLOCK -> DEFAULT_NOOP IOスケジューラを要求された順に処理をキューに積むだけのスケジューリングしないスケジューラ No-opスケジューラのみサポートするようにする詳しくはこの辺 https://access.redhat.com/site/documentation/enUS/Red_Hat_Enterprise_Linux/6/html/ Performance_Tuning_Guide/ch06s04s03.html

CONFIG_EXPERTで更に削った Linux 3.12.8 1272KiB VGAコンソール SATA AHCI USB EHCI/OHCI シリアルポート USBストレージ USB HID ext4 IntelとRealtekのNICドライバ IPv4

Linux 2.6.32.61で同様の設定をした場合 948KiB VGAコンソール SATA AHCI USB EHCI/OHCI シリアルポート USBストレージ USB HID ext4 IntelとRealtekのNICドライバ IPv4

空き領域に収まるようにユーザランドを作るフロッピーディスクの容量 1440KiB カーネルのサイズ -948KiB ユーザランドに使える容量 492KiB LZMAで圧縮した状態で 492KiB未満になるinitramfsを作る

ブートローダ起動カーネル起動 initramfsのinit起動ルートファイルシステムのinit起動ブートローダーカーネル initramfs initramfsに必要なものを全て入れて rootfsをなくそう rootfs

LZMAで圧縮した状態で 492KiB未満になるinitramfsを作るフロッピーディスクのドライバが要らない圧縮ファイルシステムより小さくなるファイルシステムのドライバが要らない

空き領域に収まるようにユーザランドを作るユーザランドに使える容量 libc-2.17.so.lzma 492KiB -1692KiB -1108KiB glibcを使うのは無理そう

いにしえのフロッピーLinux達は Linux libcを使っている

最新のlinux libc 5.4.46のリリースノートこれはlibc 5.4.xxの最後のリリースだ glibcへの移行を検討してくれ Hi, Gals and Guys, The Linux C library 5.4.46 is a bug-ﬁxing release for libc 5.4.44. There are no new features in this release. This is the last release of libc 5.4.xx. All my machines are now running RedHat 5.1 which is based on glibc 2, aka libc 6. Please check the glibc 2 web site for details. http://www.gnu.org/software/libc/libc.html I really enjoyed working on the Linux C library with all the people over the years. Without you, Linux cannot be what it is today. Thanks to your support, we did it. Now it is the time to move on to libc 6, aka glibc 2. I will be working on glibc 2 as a developer, but not as a maintainer, Ulrich has been doing a great job on maintaining glibc 2. I will try to answer all the concerns over libc 5 vs. libc 6 as well as the bug issuses related to libc 6. https://www.kernel.org/pub/linux/libs/libc5/old/release.libc-5.4.46

最新のlinux libc 5.4.46のリリースノート ELF related WWW pages: * * * これはlibc 5.4.xxの最後のリリースだ http://www.intac.com/ cully/elf.html http://www.sjc.ox.ac.uk/users/barlow/linux-gcc.html glibcへの移行を検討してくれ http://www.blackdown.org/elf/elf.html ELF documentation: * * * ftp://sunsite.unc.edu/pub/Linux/GCC/elf.ps.gz ftp://sunsite.unc.edu/pub/Linux/GCC/elf.latex.tar.gz ftp://sunsite.unc.edu/pub/Linux/GCC/ELF.doc.tar.gz H.J. hjl@gnu.org 07/19/98 1998年7月19日 Linux libc 開発終了 https://www.kernel.org/pub/linux/libs/libc5/old/release.libc-5.4.46

他の小さいlibcの選択肢 uClibc http://www.uclibc.org/ diet libc http://www.fefe.de/dietlibc/ musl libc http://www.musl-libc.org/ 今回はこれを使う性能比較はこの辺 http://www.etalabs.net/compare_libcs.html

他の小さいlibcの選択肢 uClibc 幅広いアーキテクチャをサポート diet libc ひたすら小さい、遅い、機能足りてない musl libc uClibcより小さく、uClibcより速い今回はこれを使う性能比較はこの辺 http://www.etalabs.net/compare_libcs.html

BUSYBOX http://www.busybox.net/ Linux環境でよく使われるコマンドを可能な限り小さく実装したもの全てのコマンドを1つのバイナリに集約することで同じような実装が複数のバイナリに散らばるのを防ぐ Dropbear https://matt.ucc.asn.au/dropbear/dropbear.html 非常に小さいSSHサーバ、クライアント

strip --strip-unneeded バイナリ strip --strip-unneeded 実行可能バイナリからシンボルテーブルを削除する実行可能バイナリからシンボルテーブルを削除する $ readelf -s a.out $ readelf -s a.out Symbol table '.dynsym' contains 13 entries: Num: Value Size Type Bind Name 0: 0000000000000000 0 NOTYPE LOCAL 1: 0000000000000000 0 NOTYPE WEAK __gmon_start__ 2: 0000000000000000 0 NOTYPE WEAK _Jv_RegisterClasses 3: 0000000000000000 0 FUNC GLOBAL _ZNSt8ios_base4InitC1Ev@GLIBCXX_3.4 (2) 4: 0000000000000000 0 FUNC GLOBAL __libc_start_main@GLIBC_2.2.5 (3) 5: 0000000000000000 0 FUNC GLOBAL __cxa_atexit@GLIBC_2.2.5 (3) 6: 0000000000000000 0 NOTYPE WEAK _ITM_deregisterTMCloneTab 7: 0000000000000000 0 FUNC GLOBAL _ZStlsISt11char_traitsIcE@GLIBCXX_3.4 (2) 8: 0000000000000000 0 NOTYPE WEAK _ITM_registerTMCloneTable 9: 0000000000000000 0 FUNC GLOBAL _ZNSolsEPFRSoS_E@GLIBCXX_3.4 (2) 10: 00000000004007d0 0 FUNC GLOBAL Symbol table '.dynsym' contains 13 entries: Num: Value Size Type Bind 0: 0000000000000000 0 NOTYPE LOCAL 1: 0000000000000000 0 NOTYPE WEAK __gmon_start__ 2: 0000000000000000 0 NOTYPE WEAK _Jv_RegisterClasses 3: 0000000000000000 0 FUNC GLOBAL _ZNSt8ios_base4InitC1Ev@GLIBCXX_3.4 (2) 4: 0000000000000000 0 FUNC GLOBAL __libc_start_main@GLIBC_2.2.5 (3) 5: 0000000000000000 0 FUNC GLOBAL __cxa_atexit@GLIBC_2.2.5 (3) 6: 0000000000000000 0 NOTYPE WEAK _ITM_deregisterTMCloneTab 7: 0000000000000000 0 FUNC GLOBAL _ZStlsISt11char_traitsIcE@GLIBCXX_3.4 (2) 8: 0000000000000000 0 NOTYPE WEAK _ITM_registerTMCloneTable 9: 0000000000000000 0 FUNC GLOBAL _ZNSolsEPFRSoS_E@GLIBCXX_3.4 (2) 10: 00000000004007d0 0 FUNC GLOBAL _ZSt4endlIcSt11char_trait@GLIBCXX_3.4 (2) やる前 Vis Ndx DEFAULT DEFAULT UND UND DEFAULT DEFAULT DEFAULT DEFAULT DEFAULT DEFAULT DEFAULT DEFAULT DEFAULT UND UND UND UND UND UND UND UND UND やった後 Vis DEFAULT DEFAULT Ndx UND UND DEFAULT UND DEFAULT UND DEFAULT UND DEFAULT UND DEFAULT UND DEFAULT UND DEFAULT UND DEFAULT UND DEFAULT UND

strip --strip-unneeded バイナリ sstrip 実行可能バイナリからシンボルテーブルを削除する実行可能バイナリからセクションヘッダを削除する http://www.muppetlabs.com/ breadbox/software/elfkickers.html $ readelf -S a.out $ readelf -S a.out There are 28 section headers, starting at offset 0x1180: There are no sections in this file. Section Headers: [Nr] Name Offset Size Align [ 0] 00000000 0000000000000000 0 [ 1] .interp 00000270 000000000000001c 1 [ 2] .note.ABI-tag 0000028c 0000000000000020 4 [ 3] .hash 000002b0 0000000000000048 Type Address EntSize Flags NULL 0000000000000000 0000000000000000 PROGBITS 0000000000000000 NOTE 0000000000000000 やる前 HASH 0000000000000004 Link Info 0 0 0000000000400270 A 0 0 000000000040028c A 0 0 00000000004002b0 A 5 0 やった後

$ mkdir etc/ $ cat <<EOF >etc/init.d/rcS #!/bin/ash hostname Tiny mount -t proc none /proc mount -t sysfs none /sys ifconfig eth0 up udhcpc eth0 crond EOF $ cat <<EOF >etc/inittab ::sysinit:/etc/init.d/rcS tty1::respawn:/sbin/getty -L tty1 38400 linux tty2::respawn:/sbin/getty -L tty2 38400 linux ttyS0::respawn:/sbin/getty -L ttyS0 115200 vt100 ::restart:/sbin/init ::shutdown:/bin/umount -a -r EOF

$ mkdir -p proc sys dev root tmp var/spool/cron/ crontabs/ usr/share/udhcpc/ cp -rpdf /dev/ {console,full,hpet,initctl,kmem,mem,null,nvram,port, ptya[0-9],ptya[a-f],random,rtc0,sda*,tty,tty [0-9],ttyS[0-1],urandom,zero} dev/ $ cp /usr/share/udhcpc/default.script usr/share/ udhcpc $ cat <<EOF >etc/group root:x:0:root bin:x:1:root,bin tty:x:5: kmem:x:9: uucp:x:14: EOF $ cat <<EOF >etc/passwd root:5vqD6957XLPg2:0:0:root:/root:/bin/ash bin:x:1:1:bin:/bin:/bin/false EOF $ ln -s bin/busybox init

空き領域に収まるようにユーザランドを作る busybox(スタティックリンク) 541KiB dropbear(スタティックリンク) 190KiB 非圧縮のユーザランド 731KiB cpioしてlzma initramfs.cpio.lzma ユーザランドに使える容量 371KiB 492KiB 足りた!

フロッピーディスクをブート可能にしよう Direct ﬂoppy boot is not supported. Use a boot loader program instead. Remove disk and press any key to reboot ... カーネルをフロッピーから直接ブートするのはもうサポートされていないので、諦めてブートローダーを使ってください

$ mkfs.minix /dev/fd0 $ mount -t auto /dev/fd0 /boot $ cp initramfs.cpio.lzma /boot $ cp $(KERNEL_DIR)/arch/x86/boot/ bzImage /boot/vmlinuz $ cat <<EOF >/etc/lilo.conf boot = /dev/fd0 compact LILOをインストール map = /boot/map vga = normal image = /boot/vmlinuz label = "Linux" initrd = /boot/initramfs.cpio.lzma EOF $ lilo

LILO 23.2 Loading Linux BIOS data check successful starting pid 35, tty '/dev/tty1': '/ sbin/getty -L tty1 38400 linux' Tiny login: 動いた!

# wget http://slashdot.org/ Connecting to slashdot.org (216.34.181.45:80) # dmesg dmesg: klogctl: Function not implemented

SSHクライアント同梱版 http://t.co/q9fL31xzok md5sum f66d9b316c58581934f1335fe33a17d9 IPv6対応版 http://t.co/6YNQ2Slee4 md5sum 83455038d93b8ea012618d57601a15d8

でもやっぱりフル機能のLinuxカーネルの上でデスクトップ環境動かして Twitterしたいよねフロッピーディスクから起動するカーネルはネットワークからダウンロードした別のカーネルを kexecで起動することに特化させる 2段階目のカーネルは iSCSIターゲットをrootfsとしてマウントあとは容量の制限なくいつものLinux環境

kexec Linuxカーネルをブートローダとして別のLinuxカーネルを起動する仕組み一般的なブートローダでは手に負えない所に置かれたカーネルを起動したい BIOSを経由せずに高速にリブートしたいカーネルがクラッシュした時に別のカーネルでデバッグしたい(kdump) そんな時に使う

「親方!空からGentooが!」システムクラウドフル装備なカーネル ② HTTP ① Gentoo ③ iSCSI(readonly) aufsを使って変更はRAMに保存 kexec用カーネル http://t.co/hFxyusaken b9892a72cd6e3d05e4bdae7ed5cd4d5e

「親方!空からGentooが!」システム http://t.co/hFxyusaken b9892a72cd6e3d05e4bdae7ed5cd4d5e

linux-2.6.x.yがEOLになったら? ここまでx86_64を使ってきたが x86にすれば若干カーネルが小さくなる 2.6.32.61の場合 948KiB 938KiB まだ戦う術はある

linux-2.6.x.yがEOLになったら? ブロックデバイスを一切サポートしないようにすれば No-opスケジューラが不要になる 2.6.32.61の場合 948KiB 808KiB まだ戦う術はある

linux-2.6.x.yがEOLになったら? ACPIとcpufreqは「必ず有ると期待するドライバが居る」ためにやむなく有効にしているこのへんのドライバのソースを修正すれば ACPIとcpufreqは外せるはずまだ戦う術はある

6,000,000 まとめ 4,840,000 3,680,000 Linuxカーネルはこの10年で巨大化したけど 2,520,000 今のLinuxには巨大化に抗う手段も豊富にあるから 1,360,000 ストレージが絶望的に小さくても負けるなガンバレ！ 200,000 1997 2001 2005 2009 2013

Thank you for listening. SSH同梱版 http://t.co/q9fL31xzok md5sum f66d9b316c58581934f1335fe33a17d9 IPv6版 Gentoo版設定等 http://t.co/6YNQ2Slee4 md5sum 83455038d93b8ea012618d57601a15d8 http://t.co/hFxyusaken md5sum b9892a72cd6e3d05e4bdae7ed5cd4d5e http://www41050u.sakura.ne.jp/deneb/conﬁgs/

小さいLinux環境の作り方

by fadis on Mar 07, 2014

Statistics

Views

Actions

0 Embeds 0

Accessibility

Categories

Upload Details

Usage Rights

Report content

小さいLinux環境の作り方 Presentation Transcript