Storage by Red Hat #rhcpday 2015

1. Storage by Red Hat Haruka Iwao Storage Solution Architect, Red Hat K.K. February 6, 2015

2. 自己紹介 •  岩尾はるか (@Yuryu) •  所属: レッドハット株式会社 – ストレージソリューションアーキテクト – 大手家電メーカー、ソーシャルゲーム会社、 Web広告ベンチャーを経て現職 •  大学・大学院で高性能計算(HPC)、分散ファイルシステムを研究 •  ゲーマーです(主に某国産MMORPG)

3. ソフトウェアによるストレージ

4. 歴史 •  ソフトウェアによる分散ストレージは長い歴史を持っている – Andrew File System (1988) – Lustre (1999) – Google File System (2003) – Ceph (2004) – GlusterFS (2005) •  オープンなストレージが技術を牽引

5. Google File System(GFS) •  Google による分散ファイルシステム •  Google の検索エンジンのための、専用ファイルシステム – 他の技術では数PBのデータをうまく扱えなかった •  コモディティx86サーバーで、世界最大の計算機クラスターを構築・運用 •  論文で技術が公開

6. GFSがもたらしたもの •  ソフトウェアストレージとコモディティサーバーが、最適な選択肢だと示した – 研究室レベルではなく、実アプリで実証 •  現在の技術トレンドを決定づけた •  Ceph, GlusterFS他多数の分散ファイルシステムがGFSの影響を受け設計された

7. なぜソフトウェアなのか •  ソフトウェアで最初に実現された – 27年以上の歴史 – Google File Systemが作ったトレンド •  論文、ソースコードが公開 – Hadoop, HDFS 誕生のきっかけ – お互いに影響し合い、技術が急速に発展 – オープンイノベーション •  オープンソースが事実上の標準になった

8. Ceph, GlusterFS の考え方 •  オープンソースソフトウェア •  コモディティのx86サーバーを利用 •  スケールアウトで容量・性能を確保 •  「ハードウェア故障は障害ではない」 – 自動で監視、修復 •  容量の追加、削減が自由に行える

9. CephとGlusterFS, 比較 Ceph GlusterFS 特徴ソフトウェアによる分散ストレージ完全な分散(SPoF, ボトルネック無し) 容量数十∼数百PB 用途オブジェクト、ブロックストレージ OpenStack用ファイルサーバー企業内NAS Hadoop用商用版 Red Hat Inktank Ceph Enterprise Red Hat Storage

10. 元になっているOSS レッドハットの製品 RED HAT STORAGE

11. コミュニティ版と商用版の差コミュニティ版商用版機能実験的なものも含めすべて安定した機能のみサポートメーリングリストでのボランティアベース SLAに基づく24時間365日のサポートが利用可能メンテナンス期間基本的に新バージョンが出るまで各バージョン2年間その他追加のテストや品質保証を行う

12. Cephについて

13. Cephの概要 •  オブジェクト、ブロック、POSIXファイルシステムを単一のストレージプールとして利用可能 •  Linuxカーネルに組み込まれたドライバ •  数千台のサーバーまで拡張可能

14. Ceph の統合されたストレージ FILE SYSTEM BLOCK STORAGE OBJECT STORAGE Keystone Geo-Replication Erasure Coding マルチテナント S3 & Swift OpenStack Linux カーネル Tiering クローン Snapshots CIFS/NFS HDFS 分散メタデータ Linux Kernel POSIX

15. Cephのコンポーネント APP HOST/VM CLIENT

16. Cephを支えるコミュニティ COMMUNITY METRICS DASHBOARD METRICS.CEPH.COM

17. Ceph at CERN http://www.slideshare.net/Inktank_Ceph/scaling-‐ceph-‐at-‐cern

18. CephとOpenStack RADOS CLUSTER

20. From OpenStack User Survey http://superuser.openstack.org/articles/openstack-‐user-‐survey-‐insights-‐november-‐2014 November 2014

21. Ceph “Hammer” Release •  次のupstreamメジャーリリース •  2月5日にfeature freeze

22. Hammerの新機能 (予定) •  CephFSの改善 – Scrub(fsck)対応 – サブツリー単位のquota対応 – 大量の(!)バグ修正 •  OSD: Discard(SSDで役に立つ)対応 •  OSD: チェックサム対応 •  RGW: Bucketスケーラビリティ改善 •  性能改善、バグ修正、etc

23. Ceph Developer Summit •  開発者が開発方針を集中的に議論する場 – 日頃の話題はceph-devel ML •  Bluejeans, IRC, Etherpad を利用 •  https://wiki.ceph.com/Planning/CDS •  次のバージョンで何が入るかがわかる – しばしばスリップするので注意

24. FAQ: CephFSは使えるのか？ •  まだ使えません – マルチマスターMDSが特に使えません •  コミュニティでは「そろそろ大丈夫だから誰か人柱に…」という状態 – レッドハット社内では常用してます •  Hammerの次ぐらいでほぼ安定するのでは •  ICE(製品版)にいつ入るかは不明

25. FAQ: FUSE? in-kernel? •  CephFSにはin-kernelとFUSEの2種類のドライバがある •  Sage「両方とも開発継続する」 •  ユースケースに応じて使い分け •  性能は一長一短 – Linux 3.15 でFUSEはかなり良くなった •  古いカーネル使うならFUSEの方が良い

26. GlusterFSについて

27. GlusterFSの概要 •  高性能・高可用な分散ファイルシステム – NAS、ファイルサーバー用途に特化 – Hadoop用ファイルシステムにも利用可能 •  NFS, CIFSでの接続をサポート – 従来のストレージをそのまま置き換え •  数百台のサーバーまで拡張可能 •  ストレージノード上で他のソフトウェアが実行可能

28. GlusterFS 計算・ストレージを単一サーバーで実現ファイルサービスオブジェクト用API オープン・ソフトウェアディファインドストレージビッグデータワークロードエンタープライズアプリケーションデータサービスエンタープライズモビリティクラウドアプリケーションスケールアウトアーキテクチャ物理環境標準のx86サーバースケールアウトNAS 仮想環境遊休・レガシー資産の活用クラウド EBSEBS Persistent data stores

29. GlusterFSの構造

30. GlusterFSのレプリケーション

31. Red Hat Storage について •  GlusterFS のエンタープライズ版 •  Red Hat Enterprise Linux を含めて提供 •  他のレッドハット製品との統合 – 仮想化製品などをサポート •  オンプレミス、パブリッククラウドをサポート

32. パートナーとの連携プライベート、ハイブリッドクラウド上で組織のデータを安全に共有 WORKLOAD SOLUTION PARTNERS バックアップ・ウィンドウをレガシーソリューションと比べ50%削減コールドストレージとして利用し、より長期間のログを保存可能に HadoopジョブをRHSクラスタ上で実行し、データ解析を実施ビッグデータ Hadoop サイバーセキュリティログ解析エンタープライズファイル共有バックアップアーカイブ

33. Hadoop プラグイン •  Hadoop MapReduceでデータを解析 •  ストレージサーバーに蓄積したファイルを直接解析可能 RED HAT STORAGE Hadoop 認定Hadoopプラットフォーム

34. GlusterFS 3.7の予定 •  小さなファイルの性能向上 – いろんなサブプロジェクトが混ざってる •  ゴミ箱(.trashcan) •  SELinux対応 •  リバランス性能向上 •  NFS Ganeshaそろそろ使える？ •  2015年4月29日GA予定

35. GlusterFS 4.0の予定 •  3.7 の次は 4.0 かも •  スケーラビリティ改善 – 現状はノード数に対してO(n^2)の管理負荷 – Paxos, Raft などを導入 •  DHT2: DHTを作り直す •  sharding-xlator: stripe-xlator RIP •  NSR: New-style-replication

36. Gluster Community Weekly Meeting •  毎週IRCで開発方針を話す場 – 水曜日 12:00 UTC, 21:00 JST •  議事録は https://public.pad.fsfe.org/p/ gluster-‐community-‐meetings •  その他の開発の話題は gluster-devel ML

37. FAQ: CephFSが来たらどうなる? •  得意不得意があるので、共存 •  コミュニティベースの開発が継続 •  お互いに技術を取り入れることはする •  製品もICE/RHSが両方売られる予定

38. まとめ

39. ソフトウェアによるストレージ •  27年以上の歴史を持つストレージ技術 •  オープンイノベーションが発展を牽引 •  Google File Systemがソフトウェアによるストレージが最良の選択肢だと示す – 実アプリケーションで証明 •  オープンなストレージ技術が事実上標準

40. Ceph, GlusterFS •  Ceph: OpenStack、オブジェクトストア – OpenStackでは最もよく使われるストレージ •  GlusterFS: ファイルサーバー、NAS – Hadoopプラグインもサポート •  ともにレッドハットから商用版を提供 •  両方とも開発が続きます!

41. レッドハット! クラウドストレージソリューション RED HAT INKTANK CEPH Storage: Cinder, Glance Storage: Scale-out VM storage Storage: Scale-out file/unified object APPLICATIONS DATA Nova: Compute Neutron: Networking Keystone: Identity

42. ご静聴ありがとうございました

Storage by Red Hat #rhcpday 2015

Haruka Iwao

Transcript