登録会員限定記事　現在はどなたでも閲覧可能です

　オープンソースソフトウエア（OSS）の分散処理ソフト「Hadoop」でのSQLクエリー処理をFPGAによって高速化する技術を日立製作所が2019年に製品化する。「Amazon Web Services（AWS）」のFPGAを搭載する仮想マシン「F1インスタンス」で利用可能にする。従来に比べて39倍の高速化が実現するとしている。

　日立の米国子会社、日立ヴァンタラ（Hitachi Vantara）が2018年9月26、27日（米国時間）に米サンディエゴで開催したカンファレンス「Hitachi NEXT 2018」で明らかにした。日立ヴァンタラは2017年9月に日立データシステムズ（HDS）やペンタホ（Pentaho）などを統合して設立した。

　日立ヴァンタラのボブ・マダイオ（Bob Madaio）インフラストラクチャープロダクト担当バイスプレジデントは27日の講演で、FPGAによる特定領域の処理高速化技術を市場に投入する方針を明らかにした。HadoopでのSQLクエリー処理を高速化するソリューションもその一つで、ほかにもBI（ビジネス・インテリジェンス）ソフトウエアの「Pentaho」のクエリーや機械学習、ディープラーニング（深層学習）などをFPGAによって高速化する方針であることも示した。

特定のソフトウエア処理をFPGAによって高速化する方針を説明するスライド
[画像のクリックで拡大表示]

　Hadoop用のSQLクエリーエンジン「Apache Drill」に日立が開発したプラグインを組み込むと、SQLクエリー処理をCPUではなくFPGAで実行できるようになる。「フィルタリングやグルーピング、アグリゲーションなどをメインメモリーを介さずにFPGA上で並列処理することによって、CPUで実行するのに比べて39倍の高速化が実現した」（日立アメリカITプラットフォーム・システム・ラボの高田正法ラボマネージャー）という。Apache Drill以外のSQLクエリーエンジンとして、米クラウデラ（Cloudera）が開発する「Impala」や「Apache Spark」の「Spark SQL」にも対応する予定だ。

左から日立製作所の藤本和久氏、日立アメリカの高田正法氏
[画像のクリックで拡大表示]

　FPGAはHDFS（Hadoop Distributed File System）の各ノードに搭載する。現時点では米ザイリンクス（Xilinx）のFPGAに対応する。これはAWSのF1インスタンスで利用できるのがザイリンクスのFPGAであるためだ。F1インスタンスによってHadoopクラスターを構築し、データはF1インスタンスの内蔵SSDに保存する。

　「CPUやGPUではなくFPGAでSQLクエリーを処理することで、消費電力の削減も図れる」（日立製作所研究開発グループデジタルテクノロジーイノベーションセンタの藤本和久主管研究員）と、高速化以外の利点もあるとしている。