“神業”を科学する。スポーツ脳科学の世界

私たちは本当は何を見て聞いているのか？

NTT　コミュニケーション科学基礎研究所　上席特別研究員　スポーツ脳科学プロジェクトPM　東京工業大学工学院情報通信系特任教授　博士　柏野牧夫さん

───柏野さんが研究している聴覚のイリュージョン「錯聴（さくちょう）」。視覚のイリュージョンである「錯視」は画家のエッシャーの絵や、「ミュラー・リヤー錯視(※1)」などによって多くの人に知られていますが、そもそも錯聴にはどんなものがあるのでしょう？

まずこの音声を聴いてみてください。何と言っているでしょう？

───聴き取るのが難しいですね……。言葉であることは分かりますが、何を意味しているのかは判然としません。

では、続いてこの音声を聴いてみてください。

おそらく言葉が聞き取れたと思います。
ひとつ前の途切れて聞こえる音声は、読み上げられた文章を100～200ミリ秒程度の間隔ごとに音声信号を削除して無音にしたものです。後の音声はその無音部分に雑音を入れたものです。途切れて聞こえていたはずの音声が滑らかに聞こえたと思います。

───本当ですね……。どうしてこんなことが起きるのでしょうか？

これがまさに音のイリュージョン、錯聴なのです。

私たちの脳は、聞く人が意識していなくても、雑音部分の前後から予測をつくりだし、本来聞こえているはずの音を補います。
不思議な体験ですが、決して欠陥ではありません。錯聴は日常生活、さらには私たちが適切に生存するための脳の巧みな戦略なのです。

たとえば日常生活で誰かと話をしている時、周囲は雑音だらけです。道端であれば車の音がしますし、カフェであれば人の話し声やくしゃみの音がします。こうした雑音を適切に処理できなければ、私たちはおおいに生活に困ります。

さきほどの錯聴の途切れた音声のように、車の音やくしゃみが聞こえるたびに聞きたい音声が途切れて聞こえ、相手が何を言っているのか分からなくなります。緊急事態では命の危険にもさらされることでしょう。

雑音の中であっても、特定の聞きたい音声をきちんと認識する脳の戦略。それが音のイリュージョン、錯聴の正体なのです。

続いてこの画像を見てみてください。黒い部分に何が書かれているか判別できるでしょうか？

───これも難問ですね……。

これが答えです。単純なアルファベットの文字であっても、多くの部分が「欠けている」黒のイメージではその判別が非常に難しいことがわかります。

私たちの脳は、隠されているイメージのあるべき形状を推測し、補完する働きがあります。赤い円によって、黒いイメージの一部が「欠けている」のではなく「隠されている」という情報が脳に与えられると、すぐに認識できるようになる。これもさきほどの錯聴同様、脳の戦略です。街並みや自然の風景を見てみると、お互いに重なり、隠し合っていますよね？　それらを適切に認識できるのは脳の情報処理のおかげなのです。

このように、私たち人間は決して“生”の光や音の信号にアクセスしているわけではありません。それらは私たちの感覚器を最初に刺激しますが、私たちが見たり聞いたりしていると感じていることはすべて、脳の情報処理が終わった後の情報です。目や耳に入ってきた物理情報と、私たちが認識している情報はずれている。その“ずれ”のことを錯覚と呼ぶわけです。

視覚は空間認識に優れ、聴覚は時間認識に優れている

───視覚にも聴覚にも錯覚があるということは、それらは脳内の同じ場所で情報処理されているのですか？

いいえ、基本的にはそれぞれに特化した経路で行われています。経路は異なりますが、動作原理としては共通のものがあります。その中で大きな役割を果たすのが「学習」です。人間は生きながら、この世界で「起こりやすいこと」と「起こりにくいこと」を学習します。たとえばそれまでに体験したことのない事象と出くわした時、人間はこれまで学習したことをつかって予測をつくりだし、「起こりやすいこと」を採用して認識します。その点が視覚でも聴覚でも共通しているということです。

こんな動画を見てみてください。

───目を開けて見ていると、映像の中の人物は「ば」を発声しているように聞こえますが、目を閉じて映像を見ないようにすると「が」に聞こえますね。

音声はずっと同じ「ば」で、映像だけを差し替えている錯聴です。

「読唇術(※2)」を習ったことがなくても「ば」を発声する時は口を一旦閉じ、「が」を話す時は口は閉じないものだということを脳は学習して知っているのです。そんな脳が「起こりやすいこと」を選択して認識した結果、視覚情報によって聴覚情報が歪められるという錯覚です。
続いてこの2つの映像を見てください。

───後の方の映像では、点滅が2回ですね。

実は両方とも、点滅の回数は1回なのです。

脳は視覚と聴覚の情報を処理し「起こりやすいこと」を選択するのですが、その結果、聴覚情報によって視覚情報が歪められる場合がある。その特性を活かしたのが、この錯覚です。

視覚というものは、聴覚よりも遥かに空間を捉えるのが得意なのですが、時間を捉えるのが苦手なのです。つまり「時間的精度」が低い視覚は、この映像において、光の存在は捉えられても、非常に短い時間間隔での点滅を正確に捉えることができないのです。

その一方で、聴覚は音源の位置などの空間情報を捉えることが不得意ですが、時間を捉えるのは得意です。時間的精度では、聴覚は視覚よりもざっと10倍は高い。それゆえ、この映像で流れるような短い音の切れ目を正確にとらえることができる。

時間的精度が重視されるこの映像において、脳が時間的精度で信頼のおける聴覚情報を重視した結果、視覚情報がゆがめられ、同じ光でも、2回点滅したように見えてしまうのです。このように視覚、聴覚には得意不得意があり、脳の情報処理は得意な方を尊重するようにできているのです。

変化球は脳がつくるイリュージョン

さて、ではイリュージョンがスポーツの野球のどんな部分に見いだせるのか、見ていきましょう。
この動画を見てみてください。まずはボールを目で上から下へと追いかけてみてください。まっすぐに落ちていますよね？

───ボールは回転しているように見えますが、まっすぐ下に落ちています。

ではこのボールを視野の片隅で捉えるようにして見てみてください。脇目で見るようなイメージです。

───上から下へと追いかけている時に比べると、ずれて落ちていくように見えますね！

そうです。動画自体は終始同じ内容です。もうお分かりですよね。実は「消える魔球」と呼ばれるような変化球も、その多くが視覚のイリュージョンによって、実際以上に変化しているように見えるのです。まさにこれまでお話してきた「人間が見たり聞いたりしたと感じていることは、物理的に目や耳に入ってきている情報とは異なる」ということが、野球でも起きているわけです。つまり、バッターが見ているボールの軌道は物理的な軌道とずれている可能性があるということです。

たとえば、豪速球について考えてみましょう。豪速球というわけですから、当然、球速が速いボールがその本質であり、バッターにとって打ちにくいと思いますよね？　しかし物理的に球速が速いだけでは、豪速球と感じられるとは限りません。逆に、「球速が遅いのに速く感じられる」という豪速球もあるのです。

たとえば元プロ野球選手の山本昌選手(※3)の投げるボールを、複数のプロ野球選手が口を揃えて「昌さんが一番速い」と評します。しかし実際に山本昌選手の球速を数値だけで見てみると、ほとんどが130 km/h台です。この球速は、他の選手と比較して、決して速いわけではありません。

その他にも、プロ野球選手と「誰の投げる球を速く感じるか」という話をするたび、名前があがるのは、物理的には球速が遅い部類の投手が結構います。さらには150 km/h台の、いわゆる豪速球に相応しい球速のボールを投げているはずなのに、「全く速いと感じない」と評価される投手もいます。豪速球というものは、球速や回転数などの計測値だけでは捉えられない、イリュージョンが選手の能力に大きな影響を及ぼしているのです。

───どうしてそんなことが起きるのでしょう？

網膜の特性と眼球運動です。「カーブボールイリュージョン」で、見方を変えただけでボールの動きが違って見えたように、網膜のどの場所で、どのように見るかによって、ものの見え方はまるっきり変わってくるわけです。
網膜の視野は、中心はものを細かく見ることに長けていて、周辺視野はもの動きを捉えることに長けている。この特徴を活かして普段の私たちは物事を適切に知覚していますが、同時に変化球はその特徴を、まるで手品のように巧妙に転用して生み出されていると考えられます。

たとえば野球において、ボールが行くであろうところを予測し、目をやった時、予測が当たればボールを捉えることができる。しかし予測が外れると、目を向けたはずの場所にボールが無い、消えたように見えるわけです。
魔球と呼ばれるような変化球も、こうした人間の特性を意図的に引き起こし、バッターを騙すようなものだと考えられます。
ちなみに、私たちの目がはっきり見えているのは視野全体の何パーセントくらいだと思いますか？

───80パーセントくらい……でしょうか？

私たちはこの世界を大パノラマで見ている気でいますが、実は精細に見えているのは視野の1～2パーセント程度と言われています。私たちはこの、たかだか1～2パーセントの視野をつかって、あちこち見回し、しかも見回している間は「世界は変わっていないはず」という前提のもとでそれらを脳内で繋げて処理し、大パノラマで“全体が精細に見えている気がしている”わけです。言ってみればこれもイリュージョンです。

このイリュージョンをうまく応用したものが手品です。人間が「世界は変わっていないはず」と思い込んでいる98パーセントのはっきり見えていない視野で、手品師はいろんな作業をしてみなさんを術中に陥れているわけですね。

リアリティとは、感覚間の一貫性で決まる

───私たちは現実感、つまりリアリティをどのように生み出しているのでしょう？

私たちの持つリアリティとは、複数感覚の一貫性によってもたらされるものです。たとえば私たちにとっての「上」と「下」も、感覚的な一貫性があるからそう感じているわけです。

私たちは重力に対する傾きを平衡感覚でとらえ、上にあるべきものと下にあるべきものを視覚でとらえ、床や天井の触覚をとらえ、それらを脳内で複雑な情報処理によって統合し、一貫したリアリティを構築することで、この地球上で生きているのです。

――複数感覚の一貫性をうまくつくることができれば、今と違う現実を生きることも可能ということですか？

そうです。それが「VR（バーチャルリアリティ）」の可能性です。たとえば逆さ眼鏡で生活していると、最初は酔ったりして大変な困難を覚えますが、次第に慣れ、ついには自転車も乗れるようになります。

VRでも同様で、自分の足が今の2倍の長さに感じられるようなVRの中で生きていると、脳はいつしかその足を自分の本物の身体だと認識するようになり、VRの中で違和感なく暮らせるようになります。

運動感覚と視覚情報を一致させるなど、複数の感覚の一貫性を適切につくっていくことができれば、私たちは“この身体”に代わる、新しい身体を見つけることができるのかもしれない。少なくとも、人間の脳は、この身体以上に身体性を拡張できるようにできているのですから。