金融分野におけるビッグデータ分析

2014/06/20
古関 聰／金山 博／坪井 祐太／平出 涼／千葉 立寛＝日本IBM東京基礎研究所、米持 幸寿／野村 尚＝日本IBM （筆者執筆記事一覧）

　マーケットデータやSNS、ニュースなどの膨大な各種テキストを蓄積し、分析を行うことが容易になってきている．本論文では、テキスト解析、データマイニング、分散処理を相互に活用したビックデータ分析手法の応用方法について概観を行い、特に金融分野での分析事例を紹介する．各事例についての分析の狙いや効果について論じた後、蓄積されたデータからの情報取得方法や分析の適用手法等の具体的なプラクティスについての議論を試みる.

1. はじめに

　ネットワークの高速化、広域化、モバイルデバイスや各種センサの爆発的な普及、ストレージの大容量化やクラウド技術の普及により、多様なデータの蓄積が急速に進んでいる．データが大規模化する主な要因として、センサのインストール台数が増えていることやデータの検知間隔が非常に細微化していること、また、スマートフォン等のモバイルデバイスのユーザ数や電子情報が集積されるサイト数の増加により、特にテキストの情報が大規模に生成・蓄積されていること等を挙げることができる．

　こういった大規模なデータを蓄積・解析しビジネスに応用する機運は年々高まっており、Hadoop[1]を中心とする分散処理基盤が普及するとともに、基盤上でデータを効率的に解析する研究やプラクティスが進んでいる．

　本論文では、ビックデータ分析の応用として特に金融業界におけるいくつかの事例を取り上げ、分析の目的や狙い、実際に得られた結果について論じるとともに、具体的なプラクティスをもとに今後取り組むべき課題についての議論を試みる．

2. ビッグデータ解析の背景

2.1 ビッグデータ分析への期待

　ネットワークの高速化、広域化、モバイルデバイスや各種センサの爆発的な普及、ストレージの大容量化やクラウド技術の普及により、画像やテキスト等の非構造化データを含む多様なデータの蓄積が急速に進んでいる．

　多様なセンサの配置が社会の隅々に広がり、非常に細かい時間でデータが生成されているとともに、センサデバイスは広域ネットワークに接続され、大規模な計算システム上にデータが蓄積されている．また、スマートフォン等の普及に伴いSNS等の電子サイトに集積されるデータは爆発的な増加を見せている．各種メディア企業においてもコンテンツのデジタル化が進み、長期間に渡る大規模なデータの蓄積が可能になっている．