三菱電機、100兆件規模のセンサーデータを高速・安価に処理するデータベースを開発

　三菱電機株式会社は3日、IoT時代のシステムを支える基盤として、センサーから得られた大量のデータを高速に蓄積・検索・集計する「高性能センサーデータベース」を開発したと発表した。

　三菱電機では、道路や鉄道など社会インフラ設備の維持管理や、工場やプラントの稼働状況の分析、ビルや住宅の電力消費量の見える化など、様々な分野で100兆件にもおよぶ大量のセンサーデータを活用する事例が増えつつあると説明。こうした大規模データを高速処理する方法としては、多数のサーバーによる並列分散処理や、インメモリ処理、高速ストレージの利用などが用いられているが、これらを実現するサーバーは非常に高価になるという課題があった。

　今回、開発した「高性能センサーデータベース」は、安価なハードウェア構成で100兆件のセンサーデータの処理を可能とするもの。センサーデータを700通り以上の圧縮パターンの組み合わせから最小になるものを選択して圧縮・蓄積する「データ圧縮方式の最適化」、サイズが異なる最大100万件の圧縮データをストレージブロック内に取り出しやすく並べる「データ配置の最適化」、キャッシュメモリ内でデータを処理することで検索・集計時の並列処理能力を向上する「データ処理単位の最適化」の各技術を開発した。

　これらの技術により、データ蓄積に要する容量や時間、蓄積したセンサーデータを検索・集計する時間を、それぞれ最大1000分の1に削減。センサーデータ100兆件を扱う場合の性能比較では、蓄積に要する容量は従来方式の約950TBから約15TBに、蓄積時間は約430分から約8.8分に、検索・集計時間は約1700秒から約2秒にそれぞれ削減されたという。

　これにより、センサーデータベースを、1〜2個のCPU、メモリ4GBのサーバー1台に構築しても高速処理が可能で、従来は10〜数千台のサーバーを要していたセンサーサーバーが集約でき、運用の容易化や省電力化に寄与すると説明。また、データ量に応じた規模拡張も可能で、小規模な構成でのスタート後、データ量の増加に応じてサーバーを最大256台まで追加でき、データ移行やアプリケーションソフトの変更なしに、ストレージ容量の拡張と処理速度の向上が可能になるとしている。