カスタム検索
表示順:
Relevance
Relevance
Date
ウェブ
 
 
 

Apache Kafkaがついにバージョン1.0に到達、オープンソース化から約7年。大量のデータを高速に収集できるメッセージ処理システム

2017年11月14日


大量のデータを高速に収集できるメッセージ処理システムとして知られる「Apaceh Kafka」が、正式バージョンとなる「Apache Kafka 1.0」に11月1日付けで到達したことが、Kafkaの主要な開発元であるConfluentから発表されました

Apache Kafka

Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理する機能を備えたソフトウェアです。

さまざまなアプリケーションやシステムから送られてくるログや大量のセンサーなどから生成されるデータなど、リアルタイムに送信されてくるストリームデータをいったんKafkaで受け止め、それをまとめてHadoopなどの分析エンジンに渡してデータの分析を行う、といった形で使われます。

また、その名称は「変身」などで知られる作家のフランツ・カフカにちなんだものとされています

fig

バージョン1.0では、Stream APIの強化、Java 9対応、メトリクスの改善、ディスク障害への対応改善などの改善が行われました。

1.0で、真に安定し成熟したエンタープライズ対応に

Apache Kafkaはオープンソースとして登場してから今回のバージョン1.0まで、約7年が経過しています。そしてすでに数年前から多くの本番システムで採用が始まっていました。

そうしたなかでのApache Kafkaがバージョン1.0は、真に安定し成熟したエンタープライズ対応版だと、Apache Kafkaプロジェクトマネジメントコミッティは次のように説明しています。

With this release, the Apache Kafka Project Management Committee is acknowledging that Kafka has truly become a stable, mature, and enterprise-ready Streaming Platform poised to continue serving users faithfully and evolving as stream processing plays a first-class role in enabling a central nervous system for all companies worldwide.

Apache Kafkaプロジェクトマネジメントコミッティは、今回のリリースにおいてKafkaが真に安定し成熟したエンタープライズ対応のストリーミングプラットフォームであることを認め、ストリーム処理が世界中のすべての企業にとって中枢的なものになるべく引き続き進化させていく。

LinkedInがオープンソース化。スピンアウトしたConfluentが商用化

KafkaはもともとLinkedInが2009年から社内で開発していたた分散メッセージキューイングソフトウェアです。2011年1月に同社がオープンソースとして公開しました。

2011年7月にApacheがKafkaをインキュベーションプロジェクトとして採用し、2012年1月にApacheからの最初のリリースとなる「Apache Kafka 0.7」が登場します

その後Kafkaは順調に機能強化やバグフィックスが行われていき、Kafkaはビッグデータ処理の広がりとともに、さまざまなシステムで採用されていきます。

2014年11月には、LinkedInのエンジニアがスピンアウトし、Kafkaの商用利用を推進するための企業「Confluent」を結成。Kafkaの主要な開発元となりました。

そのConfluentは、2017年9月にストリームデータをSQLで継続的に処理するSQLエンジン「KSQL」のデベロッパープレビューをオープンソースでリリースするなどKafkaの強化を積極的に推進しています。

そしてオープンソース化から6年10カ月となる2017年11月1日に、正式安定版として「Apache Kafka 1.0」がリリースされることとなりました。

Kafkaのビジョンは、ストリーミング処理のプラットフォームとして、ストリームデータをトランザクション的な整合性を保ったまま、読み書きや移動、そして分析や加工といった処理を行うこととされています。

バージョン1.0でそれはある程度の完成を見たものの、今後もさらにこのビジョンに沿って強化を続けていくとのことです。

follow us in feedly

カテゴリ 機械学習 / AI / ビッグデータ
タグ  Apache Kafka


前の記事
ワールドワイドのパブリッククラウド年間成長率は27.6%、アジア太平洋はもっとも成長率が高く、IaaS/PaaS/SaaSではPaaSが50%超の成長。2017年上半期、IDC


カテゴリ



Blogger in Chief

photo of jniino Junichi Niino(jniino)
IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。
詳しいプロフィール

Publickeyの新着情報をチェックしませんか?
Twitterで : @Publickey
Facebookで : Publickeyのページ
RSSリーダーで : Feed

人気記事ランキング

  1. インテルx86マシンの奥深くでは人知れず「MINIX 3」が動作しており、脆弱性を作り出している。Googleらはそれを排除しようとしている
  2. AWS、KVMベースの新ハイパーバイザ採用を明らかに。「C5インスタンスタイプ」から
  3. DBMS市場のリーダーはマイクロソフト。オラクルが続き、AWSとSAPが追う。IBMは地位後退。ガートナーがDBMSのマジッククアドラント2017年版を発表
  4. メインフレーム級のx86サーバ「HPE Superdome Flex Server」登場。最大32ソケット/896コア、メモリ48テラバイト搭載
  5. マイクロソフト、Azureの大規模クラウドネットワークを忠実にエミュレートする「CrystalNet」の存在を明らかに。メンテ作業などをエミュレータで事前検証、ダウン回避を実現
  6. Google、クラウド内部のネットワーク機構をアップデート「Andromeda 2.1」に。レイテンシが40%改善し高速化
  7. 1000人未満の中小企業においてサーバやPCの調達は、代理店やベンダ経由だと「安い」ことが最優先。SIer経由では「保守運用が優れる」ことが最優先。IDC Japan
  8. [速報]セールスフォース・ドットコム、Google Cloud Platformをコアインフラに採用。Google Analytics、GSuiteとの統合も発表。Dreamforce 2017
  9. [速報]セールスフォース・ドットコム「mySalesforce」発表。マウス操作でモバイルアプリを開発、App StoreやGoogle Playで公開。Dreamforce 2017
  10. VMwareが次期vSphereのベータコミュニティメンバーを募集開始。今後継続的にコミュニティからフィードバックを得たいと


新着記事 10本


PR - Books


fig

fig

fig