7月8日，東京・ベルサール汐留において「Hadoop Conference Japan 2014（主催: 日本Hadoopユーザ会）」が開催されました。2009年の初開催以来，今回で5回目となる同カンファレンスですが，今回の参加登録者数約1,300名のうち，65％（約840名）が初参加とのこと。「Hadoopの裾野の拡がりを確実に感じる」（NTTデータ 濱野賢一朗氏）との言葉通り，HadoopもHadoopユーザもこの5年で大きく変化を遂げていることを示したカンファレンスとなりました。

本稿では基調講演の内容をもとに，最初に公開されてから10年という歳月を迎えようとしているHadoopが，いまどのような状況に置かれ，どう変化しようとしているのかをお伝えしたいと思います。

「YARN」がもたらすHadoopの進化

基調講演は3本立ての構成で行われました。Hadoop生みの親で現在はClouderaでチーフアーキテクトを務めるダグ・カッティング（Doug Cutting）氏，いま最も旬なHadoopエコシステム「Apache Spark」の主要開発者でDatabricksに所属するパトリック・ウェンデル（Patrick Wendell）氏，そしてもはやHadoopスタートアップという存在を超えた感のあるTreasure DataのCTOである太田一樹氏という豪華メンバーが立て続けにプレゼンを行うということで，基調講演会場は満員の様相を呈していました。

なお，本カンファレンスは毎回リクルートテクノローズが全面的にスポンサードしており，会場手配から参加者全員に配られるステッカーやお弁当(7種類から選択可能)まで，すべて同社により提供されています。最初に挨拶を行ったリクルートテクノロジーズ 執行役員 CTO 米谷修氏は「リクルートテクノロジーズが今回もこのカンファレンスをサポートできることを光栄に思う」と語っていますが，参加費無料で1000名超のイベントをこうした環境で開催すること自体，同社の協力がなければ難しかったと思われます。

基調講演に先立ち，日本Hadoopユーザ会会長の濱野氏がHadoopの概況について説明を行いました。カンファレンスの初参加者が増えているという事実にも表れているように，Hadoopが初心者を含む新規ユーザを継続的に取り込めている理由として，濱野氏は「全件データをなめるような読み込みのスループットを最大化することに特化した，シンプルな分散処理システムだったことが大きい」と語っています。サーバの台数が増えれば増えるほどスループットが出るという，シンプルでわかりやすく，オープンな作りに多くの開発者が「ぐっときた」と濱野氏。Hadoopが世界ではじめて普及することに成功した並列分散処理環境となった背景にはシンプル＆オープンというHadoopの根幹を成す思想が大きく影響しているようです。

シンプル&オープンはいまも変わらないHadoopの屋台骨ですが，誕生から10年も経てば世の中の流れとともにソフトウェアもまた変化を免れません。現在，HadoopはHiveをはじめとする数多くのエコシステムを抱えており，また，Apache Hadoop以外にも企業向けディストリビューションがいくつも存在します。そうした中にあって，現在Hadoopが直面している最も大きな変化はYARN（Yet Another Resource Negotiator）の隆盛であると指摘します。

もともとHadoopは，JavaをベースとするプログラミングモデルMapReduceとともに発展してきました。MapReduceのアルゴリズムに従ってアプリケーションを記述すれば，処理の実行中に障害が発生してもリカバリが可能というしくみは，Hadoopがひろく一般に普及する大きな要因となりました。しかしここ最近，MapReduce以外のアルゴリズムを動かしていこうとする流れが顕著になっており，その象徴的存在が新フレームワークのYARNであると濱野氏は言います。今回のカンファレンスではYARNのセッションが数多く組まれていますが，そうしたトレンドを重視したとのことです。

もっとも「MapReduceは決して終わった存在ではなく，その手堅さからこれからも残っていくはず。だがデータ処理の流れは確実に変わっており，今後は複数の並列分散処理システムを併用していくスタイルが主流となるだろう。そしてYARNはその流れを支える中心的存在」と濱野氏。しばらくはYARNの動向がHadoopの進化に大きく影響を及ぼしていくことになりそうです。