Transcript

• 1. Ceph をベンチマークしてみました 2014/4/4 Open Programmable Infrastructure Environment 14/04/04 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 1
• 2. Cephとは CephFS POSIX互換ファイル システム Kernel-client及び FUSE-clientから使 用できる Librados C, C++, java, Python, Ruby, PHP からRADOSに アクセスできるAPI ライブラリ RADOS RADOSGW (RADOS Gateway) AWS S3及び OpenStack SWIFT 互換のREST APIを 提供するhttpプロキ シ RBD (RADOS Block Device) Linuxカーネルから RADOSをブロック デバイスとして使用 できる アプリケーション ホスト/VM クライアント Monitor MDSMonitor MDS OSDOSD 14/04/04 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 2
• 3. CephFS (Posix file system) kernel Device driver vfs FUSE File system ブロック デバイス User space Kernel space Ceph-fuse Client Application MDS Monitors OSDs vfs ブロックデバ イスドライバ vfs User space Kernel space Ceph-kernel Client Application RADOS ＊CephFSは、現時点(V.0.78)で本番稼働での使用は推奨されていない。 14/04/04 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 3
• 4. Ceph RBD (Block Device) librbd vfs virtio File system ブロック デバイス 物理システム Application Monitors OSDs vfs ブロックデバ イスドライバ vfs librados Application RADOS Qemu-kvm-libvirt librbd librados 仮想システム 14/04/04 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 4
• 5. Ceph RADOSGW (Object Gateway) librgw File system ブロック デバイス Monitors OSDs vfs ブロックデバ イスドライバ S3 API librados Application RADOS ＊RADOSGWは、マルチサイト非同期レプリケーションをサポート httpd SWIFT API 14/04/04 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 5
• 6. ベンチマーク目的 l  共有ファイルサーバ／VMイメージストアとして、 CephFS／RBDの性能差を検証、Object Storageは 実施しなかった l  比較のために、ローカルHDDとNFSも検証した l  限られたHW環境のため、スケールアウトの検証は 行っていない 14/04/04 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 6
• 7. テスト環境 l  HW環境 l  NW環境 l  SW環境 l  CentOS6.5（クライアントのみkernel3.1） l  Ceph 0.78 環境 HW NW ファイルシステム ローカルHDD HP ML110 G7 Intel Celeron G530 @ 2.40GHz 1p/2c HP 250GB SATA disk x1 1Gbps ext3 NFS Nfs v4 Ceph exr4 RTT ms Mbps Nuttcpでの計測 0.418 928.5 14/04/04 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 7
• 8. ベンチマークテスト内容 l  クライアントは、KVMホスト上のVMにCephク ライアントとベンチマークプログラムを配置 l  但し、ローカルHDDのテストのみ物理サーバ 上でローカルに実施 l  Cephクライアントは、CentOSのデフォルト kernelでは動かないので、3.1に変更 l  ベンチマークプログラムは、fioを使用し、 fabricで自動実行 l  Ceph基本設定 l  pool 2 rbd(Block Device) l  ceph osd pool set data size 3 l  ceph osd pool set data min_size 2 l  MonitorとMDSは冗長化（３台）しOSDと同居 l  OSDのストライピングは行わない l  OS/Cephともデフォルト設定で実施し、特別な チューニングは実施しなかった Mon Ceph pool 同期 レプリケーション MDS OSD Mon MDS OSD Mon MDS OSD fio fabric Ceph client 同期 レプリケーション Kvm host 14/04/04 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 8
• 9. シナリオ1： DBなどアプリケーションデータ ランダム W1 : R2 
 8KB Block, 64KB File DBなどアプリケーションデータ ランダム W1 : R2 8 KB1 Block, 64KB File シナリオ１ Read KB/s 10並列／10ファイル 100並列／10ファイル 100並列／100ファイル 1000並列／100ファイル 300並列／300ファイル シナリオ１ Write KB/s 10並列／10ファイル 100並列／10ファイル 100並列／100ファイル 1000並列／100ファイル 300並列／300ファイル DBなどアプリケーションデータ ランダム W1 : R2 8 KB1 Block, 64KB File ローカルファイル２ NFS 1,478 2,162 2,523 2,515 1,220 2,149 1,347 2,315 8,610 2,043 ローカルファイル２ NFS 609 890 1,021 1,023 574 997 635 1,065 4,015 969 DBなどアプリケーションデータ ランダム W1 : R2 8 KB1 Block, 64KB File Ceph_Kernel Driver Ceph_fuse Ceph_Block Device 292 4,223 2,052 252 4,358 1,955 194 2,950 1,172 185 2,690 1,145 197 2,137 1,357 Ceph_Kernel Driver Ceph_fuse Ceph_Block Device 118 1,704 844 102 1,759 807 89 1,357 552 85 1,243 538 92 1,002 646 !" #$!!!" %$!!!" &$!!!" '$!!!" ($!!!" )$!!!" *$!!!" +$!!!" ,$!!!" #!$!!!" #!並列／#!ファイル #!!並列／#!ファイル #!!並列／#!!ファイル #!!!並列／#!!ファイル &!!並列／&!!ファイル ローカルファイル２ -./" 01234516718"96:;16" 01234<=>1" 01234?8@AB"91;:A1" !" (!!" #$!!!" #$(!!" %$!!!" %$(!!" &$!!!" &$(!!" '$!!!" '$(!!" #!並列／#!ファイル #!!並列／#!ファイル #!!並列／#!!ファイル #!!!並列／#!!ファイル &!!並列／&!!ファイル ローカルファイル２ -./" 01234516718"96:;16" 01234<=>1" 01234?8@AB"91;:A1" 14/04/04 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 9
• 10. シナリオ2： ログファイル シーケンシャル W1 :R 0 
 64KB Block, 1MB File ログファイル シーケンシャル W1 :R 0 64KB Block, 1MB File シナリオ２ Write KB/s 10並列／10ファイル 100並列／10ファイル 100並列／100ファイル 1000並列／100ファイル 300並列／300ファイル ログファイル シーケンシャル W1 :R 0 64KB Block, 1MB File ローカルファイル２ NFS 9,989 4,843 28,947 4,948 11,298 5,418 35,094 5,451 6,689 4,949 ログファイル シーケンシャル W1 :R 0 64KB Block, 1MB File Ceph_Kernel Driver Ceph_fuse Ceph_Block Device 856 66,323 14,622 851 68,183 25,004 670 23,126 11,144 670 25,485 11,369 888 6,274 7,345 !" #!$!!!" %!$!!!" &!$!!!" '!$!!!" (!$!!!" )!$!!!" *!$!!!" +!$!!!" #!並列／#!ファイル #!!並列／#!ファイル #!!並列／#!!ファイル #!!!並列／#!!ファイル &!!並列／&!!ファイル ローカルファイル２ ,-." /0123405607"859:05" /0123;<=0" /0123>7?@A"80:9@0" 14/04/04 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 10
• 11. シナリオ3： オフィスドキュメント ランダム W1 :R 2 
 64KB Block, 512KB File オフィスドキュメント ランダム W1 :R 2 64KB Block, 512KB File シナリオ３ Read KB/s 10並列／10ファイル 100並列／10ファイル 100並列／100ファイル 1000並列／100ファイル 300並列／300ファイル シナリオ３ Write KB/s 10並列／10ファイル 100並列／10ファイル 100並列／100ファイル 1000並列／100ファイル 300並列／300ファイル オフィスドキュメント ランダム W1 :R 2 64KB Block, 512KB File ローカルファイル２ NFS 11,020 16,204 16,698 16,137 9,033 15,323 8,706 15,596 8,289 15,073 ローカルファイル２ NFS 4,447 6,539 6,738 6,511 4,153 7,046 4,003 7,172 3,856 7,012 オフィスドキュメント ランダム W1 :R 2 64KB Block, 512KB File Ceph_Kernel Driver Ceph_fuse Ceph_Block Device 3,982 18,057 11,920 5,991 17,017 16,246 2,853 7,973 13,333 2,705 9,364 17,985 2,640 6,952 14,455 Ceph_Kernel Driver Ceph_fuse Ceph_Block Device 1,616 7,286 4,810 2,420 6,866 6,556 1,312 3,667 6,131 1,244 4,306 8,270 1,228 3,234 6,725 !" #$!!!" %$!!!" &$!!!" '$!!!" (!$!!!" (#$!!!" (%$!!!" (&$!!!" ('$!!!" #!$!!!" (!並列／(!ファイル (!!並列／(!ファイル (!!並列／(!!ファイル (!!!並列／(!!ファイル )!!並列／)!!ファイル ローカルファイル２ *+," -./012.34.5"6378.3" -./019:;." -./01<5=>?"6.87>." !" ($!!!" #$!!!" )$!!!" %$!!!" @$!!!" &$!!!" A$!!!" '$!!!" B$!!!" (!並列／(!ファイル (!!並列／(!ファイル (!!並列／(!!ファイル (!!!並列／(!!ファイル )!!並列／)!!ファイル ローカルファイル２ *+," -./012.34.5"6378.3" -./019:;." -./01<5=>?"6.87>." 14/04/04 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 11
• 12. シナリオ4： 画像等BLOBデータ シーケンシャル W0 : R1 
 128KB Block, 10MB File 画像等BLOBデータ シーケンシャル W0 : R1 128KB Block, 10MB File シナリオ４ Read KB/s 10並列／10ファイル 100並列／10ファイル 100並列／100ファイル 1000並列／100ファイル 300並列／300ファイル 画像等BLOBデータ シーケンシャル W0 : R1 128KB Block, 10MB File ローカルファイル２ NFS 27,435 107,686 73,532 108,906 27,958 107,413 60,161 106,828 21,159 21,232 画像等BLOBデータ シーケンシャル W0 : R1 128KB Block, 10MB File Ceph_Kernel Driver Ceph_fuse Ceph_Block Device 48,937 39,374 106,617 60,726 32,460 110,905 60,049 2,270 100,186 60,761 2,273 99,314 38,913 1,522 76,314 !" #!$!!!" %!$!!!" &!$!!!" '!$!!!" (!!$!!!" (#!$!!!" (!並列／(!ファイル (!!並列／(!ファイル (!!並列／(!!ファイル (!!!並列／(!!ファイル )!!並列／)!!ファイル ローカルファイル２ *+," -./012.34.5"6378.3" -./019:;." -./01<5=>?"6.87>." 14/04/04 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 12
• 13. コンテキストスイッチ s1 s3 s2 s4 !" #!!" $%!!!" $%#!!" &%!!!" &%#!!" '%!!!" '%#!!" (%!!!" (%#!!" #%!!!" $!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!" *+,-*" ./0" ,123)415.1*" ,123)6789" ,123):*+,4" !" &%!!!" (%!!!" ;%!!!" <%!!!" $!%!!!" $&%!!!" $!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!" *+,-*" ./0" ,123)415.1*" ,123)6789" ,123):*+,4" !" #!!" $%!!!" $%#!!" &%!!!" &%#!!" '%!!!" '%#!!" (%!!!" (%#!!" #%!!!" $!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!" *+,-*" ./0" ,123)415.1*" ,123)6789" ,123):*+,4" !" #%!!!" $!%!!!" $#%!!!" &!%!!!" &#%!!!" '!%!!!" $!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!" *+,-*" ./0" ,123)415.1*" ,123)6789" ,123):*+,4" 14/04/04 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 13
• 14. まとめ 1.  CephFS Kernel driverはまだ使えない 2.  Block deviceは検証環境では普通にNFS(１台）並みの性能 1.  1G etherを使い切っている 2.  NW/キャッシングのチューニングでさらに向上が見込まれる 3.  CephFS FUSEは、作成ファイル数が増えるとコンテキストス イッチが急激に増加しており、ネットワークのボトルネックにより IOキューに滞っていると考えられる 14/04/04 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 14