われわれが見ている世界を脳からの信号を解読して映像化することができれば、夢や空想を、テレビや 映画のようにスクリーンの上で再生できるかもしれない。国際電気通信基礎技術研究所（ATR） 脳情報研究所・神経情報学研究室の神谷之康室長らのグループは、情報通信研究機構・計算神経サブグループと 共同で、見ている映像をその人の脳活動から再構成すること（以下、視覚像再構成）に成功した （他の共同研究機関：奈良先端科学技術大学院大学、自然科学研究機構・生理学研究所）。 本研究成果は、複雑な知覚内容を脳からそのままの形で取り出せることを世界で初めて示したものであり、 ブレイン−マシン・インタフェース（BMI）など脳を直接介した情報通信技術の新たな可能性を切り拓くものである。

　眼から入った画像情報は大脳視覚野の脳活動を引き起こす。逆に、このとき生じる脳活動パターンを解読すること で、見ているものを推定できると考えられる。神谷室長らはこれまで、機能的磁気共鳴画像（fMRI） で計測されるヒトの脳活動を、パターン認識アルゴリズムを用いて解析することにより、知覚内容や身体の動きを 予測する、脳情報復号化技術の開発を行ってきた。しかし、従来の手法では、あらかじめ脳活動を計測して パターンを学習しておいた少数個の選択肢（縦縞か横縞か、など）のうちどの図形を見ていたかを当てることは できても、見ているものを「画像」として取り出すことはできなかった。

　今回、神経情報学研究室の宮脇陽一（情報通信研究機構/ATR研究員）、内田肇（奈良先端科学技術大学院大学/ ATR連携講座学生）らは、脳活動パターンから、見ている図形を画像として再構成する方法を開発した。この方法 では、まず、視野を複数の解像度で小領域に分割し、それぞれの領域のコントラスト値をfMRIで計測される脳活動 パターンから予測する。そして、その予測値を組み合わせることで画像全体の再構成を行う。 この手法を用いて、脳活動パターンの学習に用いていない幾何学図形やアルファベットの形の再構成に成功したほか （図１）、1億通り以上の候補の中から正しい画像を同定できることが分かった。また、2秒ごとに得られる個々の fMRIスキャンを解析するこ とで、見ている映像を動画として再構成することにも成功した。

　本成果はNeuron誌（2008年12月11日発行、米国 東部時間；日本では12月12日）に掲載される。 本研究は、情報通信研究機構、奈良先端科学技術大学院大学、自然科学研究機構・生理学研究所との共同で行われた。 fMRI計測についてはATR脳活動イメージングセンタの協力を得た。また本研究の一部は、文科省脳科学研究戦略推進 プログラム（課題名「日本の特長を活かしたＢＭＩの統合的研究開発」）、情報通信研究機構（400チャンネル規模の超多チャンネルMEGを利用した脳活動 計測の精度向上と基礎データ収集および脳情報抽出技術の高度化」）、総務省戦略的情報通信研究開発推進制度（「感覚知覚世界の可視化技術の研究開発」、 「脳情報復号化にもとづくコミュニケーション技術の研究開発」）、日産科学振興財団（人と機械の自然な共生を目指す認知科学研究」の支援により実施され た。

論文著者名とタイトル
Yoichi Miyawaki, Hajime Uchida, Okito Yamashita, Masa-aki Sato, Yusuke Morito, Hiroki C. Tanabe, Norihiro Sadato, Yukiyasu Kamitani. “Visual image reconstruction from human brain activity using a combination of multi-scale local image decoders”

研究実施機関
(株)国際電気通信基礎技術研究所（ATR）脳情報研究所
　　神経情報学研究室：宮脇陽一、内田肇、神谷之康
　　計算脳イメージング研究室：山下宙人、佐藤雅昭
(独)情報通信研究機構
　　宮脇陽一
奈良先端科学技術大学院大学
　　内田肇、神谷之康
　　自然科学研究機構・生理学研究所　
　　森戸勇介、田邊宏樹、定藤規弘

表紙デザイン、論文リプリント請求先
Cathleen Genova (Press Officer, Cell Press)
Email: cgenova@cell.com, Phone: +1-617-397-2802

問い合わせ先
(株)国際電気通信基礎技術研究所（ATR）経営統括部 広報担当 野間・福森
〒619-0288 京都府相楽郡精華町光台2-2-2
電話：0774-95-1172, FAX: 0774-95-1178
http://www.atr.jp/index_j.html

研究の背景と詳細

視覚情報を処理する脳の場所
外界の視覚情報は、網膜で電気信号に変換され、後頭部にある視覚野と呼ばれる脳部位の神経細胞によって処理される。視覚野は階層構造を持ち、網膜からの入力に近い側から第一次視覚野、第二次視覚野、と順次呼ばれる。

脳活動の計測方法
視覚野の神経細胞が活動すると、それに伴って、付近の血流パターンが変化することが知られている。機能的磁気共鳴画像（fMRI）装置を用いると、各脳部位ごとの血流の変化を、脳の外から非侵襲的に計測することができる（空間解像度は3 x 3 x 3mm程度）。

脳活動のデコーディング（図2）
ヒトを対象とした従来の脳研究のアプローチでは、ある実験条件下で、脳のどの部位が活動するかをfMRI等の脳活動計測法を用いて調べることが主流であっ た。神経情報学研究室では、このような従来のアプローチとは逆に、脳活動からヒトが見ている画像の種類や運動意図などを読み取る研究アプローチを世界に先 駆けて開発し、実践してきた。このアプローチは、脳活動を「符号（コード）」とみなし、それを「解読（デコード）」するという観点から、「脳活動のデコー ディング」と呼ばれる。脳活動のデコーディング技術は、脳内での情報表現の理解を進める強力なツールとして、またブレイン−マシン・インタフェース （＊１）実現のためのコア技術として、基礎・応用の両側面から世界中で盛んに研究が始められている。
＊ １　ブレイン−マシン・インタフェース
脳活動信号を計測し、その信号を解析することで、外部の機械やコンピュータなどを制御する技術のこと。運動機能障害を持つ患者の脳から運動指令や運動意図などを読み取り、車椅子や義手を操作する試みが世界中で行われている。

従来のデコーディング手法の特徴と限界（図3）
従来のデコーディング手法では、まず、あらかじめ用意された実験条件（例えば画像の種類や運動のタイプなど）と脳活動との対応関係を、手書き文字認識など で用いられるパターン識別技術を用いてプログラムに学習させる。この識別プログラムは、脳活動信号の重み付け和で表現されるパターンで実験条件を判別でき るように、その重みの値を学習する。次に、学習済みの識別プログラムに新たな脳活動信号を解析させ、それがどのような実験条件で計測されたものであったか −すなわち対応する画像の種類や運動のタイプ−を予測する。この手法では、見分けるべき条件全てに対して十分な量のデータが事前に計測されていることが必 要であるが、条件数が多い場合にはそれら全てに対してデータを取得することが困難となり、識別プログラムの学習が十分にできないという問題がある。画像の 再構成は条件数（状態数）が多い典型例であり、例えば、2値画像であったとしても2のピクセル数乗分の状態があり（例：10ピクセルで1024状態）、全 ての状態に対応する脳活動を学習することは現実的に不可能である。

提案手法の特徴（１）：画像要素への分解（図4）
本研究における提案手法では、画像全体をそのまま扱う代わりに、細かい単位画像要素の組み合わせとして表現し、その個々の単位要素がとる状態を脳活動から 予測する。単位要素がとりうる状態数は、画像全体の画素値のバリエーションに比べるとはるかに小規模であり、表現可能な画像の数に比べてはるかに少ない データ数で、個々の単位要素のための識別プログラムを学習させることができる。

提案手法の特徴（２）：脳活動パターンの効果的利用（図4）
画像要素の予測には、前述の通り、脳活動パターンの重み付き和を用いる。この重み係数を識別プログラムに学習させる際に、本研究メンバーの一人である山下 宙人研究員（計算脳イメージング研究室）らが開発したスパース・ロジスティック回帰アルゴリズム（＊２）を用いた。このアルゴリズムを用いると、脳活動信 号のパターンを考慮しながら、各画像要素の予測に関連のある脳部位を自動的に選択することができる。この手法により、脳活動信号パターンに表現される情報 を効率的に読み取り、より精度の高い予測が可能となった。
＊２　スパース・ロジスティック回帰アルゴリズム
Yamashita, O., Sato, M., Yoshioka, T., Tong F., Kamitani, Y. (2008) Sparse estimation automatically selects voxels relevant for the decoding of fMRI activity patterns. Neuroimage 42, 1414-1429.

提案手法の特徴（３）：多重解像度表現（図4）
画像の要素として、視野角１度（1 m先で1.7 cm）程度の大きさを持つピクセルを解像度の基本単位として、縦横にそれぞれ1 x 2, 2 x 1, 2 x 2ピクセルを組み合わせた異なる解像度の画像要素を用いた。それぞれの解像度での予測値を多重に組み合わせることで、より誤差の少ない画像再構成が可能と なった。

実験とその結果（図1）
本研究では、ATR脳活動イメージングセンタのfMRI装置を用いて実験を行った。合計440枚のランダムな画像パターンを被験者に提示にした際の脳活動 を計測し、画像要素と脳活動の対応関係を識別プログラムに学習させた。同時に、多重解像度をもつ画像要素の組み合わせを、画像再構成誤差が最小になるよう に決定した。このようにして出来上がった画像再構成プログラムを用いて、幾何学図形やアルファベット画像を見た際に計測される脳活動データを解析し、被験 者が見ていた画像を再構成した。

その結果、10 x 10ピクセルからなる画像を高い精度で再構成できることがわかった（図１）。また、2秒ごとに更新されるfMRI信号を、時間平均などの前処理なしにその まま使った場合でも高精度の再構成画像が得られ、被験者が見ている画像の変化を動画として再生することもできた。詳細な解析の結果、第一次視覚野の脳活動 を使った場合が最も再構成精度が高く、第二次、第三次と高次視覚野になるにしたがって、精度が低下することが分かった。さらに、第一次視覚野では、他の視 覚領野に比べて、個々の脳活動信号の強度ではなく、脳活動信号間のパターンにより多くの情報が表現されていることが明らかになった。

研究の意義と今後の展望
本研究の結果は、ヒトの脳活動から見ているものを映像化することに成功した世界初の成果である。

また、複雑な対象を要素に分解して、要素ごとの予測結果を組み合わせる新しい手法を提案し、高々数種類の実験条件しか見分けられなかった従来の脳情報デコーディング技術の性能を飛躍的に向上させることに成功した。

同様の原理は、画像の再構成だけでなく、他の脳機能の読み取りにも応用可能である。例えば、基本となる少数の運動パターンと脳活動との対応関係を学習して おき、それらを組み合わせることで、さまざまな運動パターンをバリエーション豊富に再現できるようになるかもしれない。柔軟で多様な運動機能のサポートに 役立つ新しいブレイン−マシン・インタフェースを実現するための根幹技術となる可能性がある。

現時点では、ヒトが実際に見ているものを画像化することに成功した段階だが、この技術を応用すれば、夢や空想などの主観的な知覚映像を記録、再生すること が可能になるかもしれない。またデザインや芸術創作活動において、言語化するのが困難な映像表現を脳信号からそのまま映像として取り出すなど、新たな創造 的活動の手段を提供することができるかもしれない。神経情報学研究室では、今後も本研究で開発した方法を発展させ、脳内情報表現の解明を進めると同時に、 実社会への応用に向けたさまざまなアプローチを展開していく予定である。