Kudu (クドゥ) : HDFSとHBaseを補完する、Hadoopの新しいストレージエンジン

投稿日 2015/09/28

このブログは cloudera.com のブログ “Kudu: New Apache Hadoop Storage for Fast Analytics on Fast Data” の翻訳です。(原文投稿日: 2015/09/28)

HDFSとApache HBaseとを補完するこの新しいオープンソースプロダクトは、つなぎ合わされたハイブリッドアーキテクチャを生じさせたHadoopのストレージレイヤーのギャップを埋めるものです。

Apache Hadoopのエコシステムを定義するデータストレージとデータ処理の技術群は、拡張的で、絶えず改善され、ミッションクリティカルなエンタープライズアプリケーションで使用されるお客様の非常に多様なユースケースをカバーしています。Clouderaでは、我々は常にHadoopの可能性の境界を継続的に押し広げています。より速く、より簡単に操作でき、そしてより安全になるようにです。

2012年後半、我々は、複雑過ぎたり、特定のユースケースにおいてHadoopの採用を妨げているようなApache Hadoopのストレージレイヤーのギャップを分析するための長期的な計画を開始しました。この評価の過程で、我々はいくつかの重要な傾向に気づき、最終的にHDFSとApache HBaseが提供する機能を補完するための新しいストレージ技術の必要性があると結論づけました。今日、我々はオープンソースHadoopエコシステムに新しく追加されたKuduを発表いたします。Kuduは、高速分析とリアルタイム機能、最新のCPUとI/Oリソースの利用効率化、インプレースでの更新、シンプルで進化可能なデータモデルを提供することを目的としています。

この記事の残りの部分では、Kudu開発の動機の概要、アーキテクチャの簡単な説明、そして最終的にASFインキュベータへ寄贈すべく準備中の、活気あるオープンソースコミュニティを育てていくための大まかなプランについて紹介していきます。

性能のギャップ

多くのClouderaのお客様の環境の中で、我々はいくつかのHadoopのツールが同時に展開されている「ハイブリッドアーキテクチャ」が台頭している状況を観察してきました。HBaseのようなツールは、データを取り込むのには素晴らしく、小さいクエリを非常に高速に処理でき、インプレースでデータを更新することが可能です。HDFSは、Apache Parquetのようなカラムナファイルフォーマットを処理できるImpalaのようなツールと組み合わせることで、非常に巨大なデータセットに対する分析クエリに対し素晴らしいパフォーマンスを提供します。

しかし、単一のツールでは提供できない機能を同時に使う必要に迫られるユースケースでは、お客様は複数のツールをつなぎ合わせるハイブリッドアーキテクチャを作らなければなりません。お客様は多くの場合一つのストレージシステムにデータを取込み、かつそれを更新することを選択しますが、後でデータを再編成して外部から利用される分析レポートのユースケースに最適化します。

当社のお客様はこうしたハイブリッドアーキテクチャを正しく構築・運用していますが、我々はお客様にこのような複雑さを引き受けさせてはならないと信じてきました。幅広いワークロードにわたって優れたパフォーマンスを提供するために開発されたストレージシステムは、ハイブリッドアーキテクチャが解決しようとした問題に対するよりエレガントな解決策を提供します。

 

 

新しいハードウェア

我々がお客様の環境で観測したもう一つの傾向は、より多くの高性能なハードウェアが徐々に展開されていっていることです。第一に、当社のお客様が展開しているRAMの量は着実に増加していて、2012年にノードあたり32GBだったのが今日では256GBとなっていることです。さらに、コモディティノードにいくつかのSSDストレージが含まれるというのはますます一般的になってきています。HBase、HDFS、そして他のHadoopツールはこうしたハードウェアの展望の変化の利点を得るために変化していっていますが、これらのツールはシステム全体において最も一般的なパフォーマンスボトルネックがHadoopクラスタの下にあるディスクの速度にあるという前提で設計されました。スピニングディスクストレージアーキテクチャに最適化するという選択は、大量のデータをメモリにキャッシュすることができ、永続化ストレージに対するランダムアクセスが100倍も速くなった現代のアーキテクチャには必ずしも最適化されていません。

さらに、より高速なストレージレイヤーと、システム全体のパフォーマンスボトルネックがストレージレイヤーばかりというケースも、もはやあまりありません。一般に、これからのボトルネックはCPUになると我々は見ています。より低速のストレージレイヤーでは、CPU使用率の非効率性は、多くの場合、ストレージのボトルネックの下に隠されていますが、ストレージレイヤーが速くなるにつれて、CPUの効率がはるかに重要になります。

これらの現代的ハードウェア構成で動作するよう一から設計され、CPU効率を重視する新しいHadoopのストレージシステムの必要性があると信じています。

Kuduの紹介

ここに挙げたような傾向に対処するために、我々は2つの別々のアプローチを検討しました。一つは既存Hadoopのツールに変更を追加して行くこと、もう一つは全く新しいものを構築することです。我々が取り組もうとした設計目標は以下の通りでした。

• スキャンとランダムアクセスの双方における強力なパフォーマンスによってお客様の複雑なハイブリッド・アーキテクチャをシンプルにすることを手助けする
• 高いCPU効率によって当社のお客様が最新のプロセッサに行っている投資のリターンを最大化する
• 最新の永続化ストレージを活用するための高いIO効率を実現する
• 無駄な処理とデータ移動を回避するための、インプレース更新機能
• 地理的に離れた場所にある複数のデータセンターにまたがるアクティブ・アクティブ・レプリケーションクラスタのサポート

我々は、既存のオープンソースプロジェクト内でこれらの目標を達成するためのプロトタイピングを行いましたが、最終的にはこのゴールの達成には大きなアーキテクチャの変更が必要であることがわかりました。こうした変更はあまりに大きすぎたため、結果的に全く新しいデータ・ストレージ技術を開発することになりました。三年以上前に開発を開始し、これまで努力してきた成果を皆さんと共有できることを誇らしく思っています。我々がKuduと呼ぶ、新しいデータストレージ技術です。