高次元科学への誘い
2018年5月に、CNETブログに投稿した記事の再掲です。CNETブログは、2023年1月にサービスを終了しました。
（注意：長いです。お時間のある時にどうぞ。）
私は「情報技術が私達の社会にどのような影響を与えるか」という問題に興味を持っています。ここでは、最近進歩が著しい深層学習が、科学の営みにどのように影響を与えるかを考えてみたいと思います。「高次元科学」とでも呼ぶべき新しい方法論が現れつつあるのではないか、と思うのです。
１．深層学習と科学
そもそも、この考えに行き着いた背景には、私が統計数理研究所で過ごした5年間がありました。統計数理研究所は大学共同利用機関として、自然科学の様々な研究を推進するための統計的手法を研究しています。ご存知の通り、統計的仮説検定や統計モデリングは、現代の科学における重要な道具立ての一部です。そのような道具立てが、科学の方法論の長い歴史の中でなぜそのような地位を占めるようになってきたか、に興味を持つようになったのです。
きっかけは、情報技術が科学の方法論をどのように変えてきたか、を論じた「第4の科学」[1]でした。自然界を観察することで法則を導く実験科学（第1の科学）、数理的な法則を仮定した上で、論理的な演繹に基づいて新たな法則を導く理論科学（第２の科学）に加えて、解析的な求解が困難な問題に対してコンピュータによる数値解を求める計算科学（第３の科学）、多量の観測データからコンピュータによって法則を探すデータ中心科学（第４の科学）を提唱したものでした。
私はその中で、そもそも帰納的な科学における統計の役割に惹かれました。ある現象を観測したらある法則が成り立ちそうなことがわかりました。でも１回の観測では説得力がありませんから、何度も繰り返し観測します。これが法則として認められるのは、何回観測すればよいのでしょうか。20世紀初めに確立された統計的仮説検定の手法は、帰納的な科学において初めて、仮説の定量的な評価を可能にしたものです。しかし、残念ながら計算機のある今の世界では、統計的仮説検定に基づく今の方法論は壊れかけています。統計的仮説検定では、まず仮説を固定した上で「この仮説が成り立たないとすれば、今得られた実験結果が偶然得られる確率はどのくらいか」を問います。この「仮説を固定した上で」というところが重要なのですが、今の計算機パワーを用いれば逆に、実験結果を固定した上で「この実験結果によく合う仮説は何か」を探してくることができます（例えば「米国の科学予算は、首吊りなどで自殺する人数に比例する」は、統計的仮説検定では真と認められる仮説です。このような「寄生相関」はよく知られています[2]）。このため、科学者がよく理解せずに形式的に統計的仮説検定を使うべきではありません（米国統計学会は2016年に統計的有意性とp値の利用について警告を出しました[3]）。第4の科学の時代に、今までの 統計的仮説検定（p値）に基づく方法論を見直す時期に来ているのは明らかです。この100年間以上認められてきた科学の方法論の賞味期限が切れかけているのであれば、科学の営みの中で私達が当たり前だと思っている他の価値観についても、もう一度吟味しなおしてもよいのではないでしょうか。
一方で、私は大学共同利用機関法人情報・システム研究機構（統計数理研究所はその一部です）で、学際研究プロジェクト「システムズ・レジリエンス」を推進していました[4]。私が統計数理研究所に着任したのは2011年、東日本大震災の直後です。このような大災害に対して科学に何ができるか、を考えるために、私達は国立極地研究所、国立遺伝学研究所、国立情報学研究所、国立環境研究所などの研究者と共に「壊れても元に戻るシステムとは何か」を考えました。その中で、どうしても避けては通れなかったのが、複雑性についての議論です。複雑性の研究者のJohn Casti は「Xイベント--複雑性の罠が世界を崩壊させる」という本[5]を書いています。複雑さが単調に増加していくシステムは、必然的に大規模な崩壊を伴う、というものです。もしそれが真であれば、私達は何とかして複雑さを手なづけなければなりません。一方で、サイバネティクスの古典論文に、W. Ross Ashbyの「最小多様性理論」[6]というものがあります。これによれば、システムを完全に制御するためには、制御側には、制御される側の状態数を超える数の状態を持たなければならないことが証明されています。複雑なシステムをそれより単純なシステムで制御することはできません。つまり、複雑さを低減するような仕組みは作れないのです。もしそうであるならば、複雑なものを複雑なまま扱うための道具立てが必要になります。
以上のような背景で、答えが見えずにモヤモヤしていたところに出会ったのが、深層学習でした。私は2015年から株式会社Preferred Networks（PFN）の顧問でしたが、毎週1回、岡野原副社長をはじめとするメンバーの議論に参加する機会がありました。当時、深層学習が注目され始めたころで、PFNでも次々に新しい論文を読んではそれらの技術の追試をしていました。深層学習がやっていることは、明らかに統計モデリングなのですが、何百万・何千万という桁違いの数のパラメタを扱います。通常の統計モデリングの常識で言えば、このようなモデルは訓練データにオーバーフィット（過適応）してしまい役に立たないのですが、深層学習は何故か汎化性能のよいモデルを作ることができます（この「なぜか」というところについては、だいぶ理論研究が進んできていろいろな理由がわかってきているようですが、そのあたりは私はフォローしていません）。
線形回帰や主成分分析のような統計モデリングは、自然界の作用機序を解明するため使うことができます。つまり「科学における重要な手法」なのです。では、統計モデリングの一種である深層学習（ただし極めて大きなパラメタ次元を持つ ）は、自然科学においてどのような意味を持つのでしょうか。それが「高次元科学」を考えるきっかけとなる問いだったと思います。
２．還元主義からの脱却
科学には、対象がいくら複雑でも個別の要素に分解すれば、それぞれの要素については理解できるはずだ、という、デカルト「方法序説」流の還元主義があります。これは複雑さをどのようにてなづけるか、という問いに対する、私達人類の叡智の１つといえます。その裏には最小の原理から説き起こせば自然界の作用機序は説明できるはずだ、という「オッカムの剃刀」と呼ばれる科学における根源的な価値観があるのだと私は考えます。対象を十分に分解すれば、それは（例えば第一原理のような）単純な法則まで落とし込むことができ、それらの組み合わせですべてを説明できる、という立場です。工学的に言えば要素還元論は、抽象化（詳細の隠蔽）でありモジュール性です。私たちが金融システムやジェット旅客機など極めて複雑な工学システムを（まがりなりにも）安心して利用できるのは、それがシステム工学的に直交したコンポーネントに分解でき、それぞれの部品の正しさを検証できるからです。動作が正しいとわかっている部品を正しく組み合わせれば、できあがったシステムの振る舞いはきちんと予測できるはずだからです。
確かに、単純な原理ですべてを還元的に説明できれば美しいでしょうが、なかなか世の中はそうはいかないようです。私達の興味を引くような対象の多くは複雑だからです。その典型的なものが生物で、これに関しては福岡伸一さんの名著「世界は分けてもわからない」[7]があるのでぜひ読んでいただきたいと思います。人間の知性や社会のダイナミクスも、少数の直交基底に分解できない問題の例だと思います。京都のお寺の枯山水がなぜ人々の心を癒やすことができるのでしょうか。あそこに石があり、ここに松があるから、という要素には分解できずやはり「全体として捉える」しかないのではないでしょうか。このように東洋的な美も、還元主義では説明できないものの一例でしょう。さらには、本来還元主義的であるべき工学システムにおいてさえ、「抽象化の漏れ」が発生します。日本の製造業の強みである「すり合わせ」は、還元主義の限界をたくみに超えようとした知恵と考えることができます（この点については、2010年にブログ「抽象化の呪い」[8]を書きました）。
現在、PFNは国立がんセンターと共同で、血液中のExRNAにもとづくがん診断に取り組んでいます。本来細胞内にあるべきRNAの断片（MicroRNA）が何らかの要因で血液中に現れたものが、ExRNAですが、これには4,000種類以上あるそうです。これらExRNAの血液中の発現量を測定することで、様々ながんが見つかると期待されています。今まで、この4,000種から「XXがんを特定する支配的なExRNA」を探そうと多くの研究者が研究をしてきました。がんセンターとPFNは、特定の支配的ExRNAを探すのをやめて、4,000種の発現量すべてを同時に見てがんを診断すれば、飛躍的に診断精度を上げることができることを見つけました。これも、還元主義的でなく「全体を同時にみる」ことでブレークスルーを起こした例といえます。
全体を同時にみるということは、統計モデリングの言葉で言えば説明変数を恣意的に取捨選択することはしない、ということになります。その中から少数の主成分や基底を同定することも（明示的には）行いません。つまり、システムの作用機序を決定するモデルが本質的に非常に多くのパラメタを持っている、超高次元なモデルであることを仮定しているということができます（生成モデルなどでは、入力変数の空間を圧縮して得られた潜在空間を積極的に活用しますが、これも通常数百、数千のパラメタからなる空間です）。
この立場は、少数のパラメタからスタートして、複雑な振る舞いが創発されるとする複雑性理論とは根本的に異なる立場だと思います。複雑性理論では、現象の複雑さは結果として現れるだけで、その本質には低次元のパラメタ空間で定められる初期値がある、と仮定するからです。一方、情報量の理論では、複雑さの程度を「乱雑さ」（エントロピー）として捉えようとしますが、その内部構造については基本的に問いません。これらの立場に対して、複雑だけど構造を持つ、すなわち「非常に多くのパラメタがあるが、それぞれがお互いを束縛しながら動くことで出来るモデル（数学的には超多次元空間に埋め込まれた多様体で表現されるようなもの）」という考え方もあると思います。このような考え方が、生物学や社会学や、科学におけるその他の多くの「面白い問題」のモデル化に必要になってきている、という認識が私が「高次元科学」と呼ぶものの正体です。
ある物理学者の方がおっしゃっていたのですが、非線形・非平衡・励起状態・動的な物性は、従来物理学者が「汚い領域」として避けてきた領域だそうです（注：その後「非平衡の物理学は近年急速に進歩して活発に研究されている」というご指摘を受けました）
。あるいは、科学においては「不良設定問題」、すなわち 解が一意でなかったり、解の空間に不連続な点が存在したりする問題は、解くのが難しいとされています。一方、深層学習は、極めてパラメタ数が大きいために、任意の高次元・非線形な関数を近似することができます。十分な量の例示データさえあれば、科学の「汚い領域」や「不良設定問題」をモデル化できる可能性が出てきたのです。
３．人間の認知限界と科学のゴール
このような高次元モデルの問題意識は昔からあったのだと思うのですが、なぜ今までの科学は「オッカムの剃刀」の価値観を信奉し低次元モデルにこだわっていたのでしょうか。その一つの理由が人間が持つ認知限界だと思います。
生物は様々なレベルの知性を持っています。犬や猫は相当賢いですし、ミツバチやアリは集団での知性を持っています。粘菌のような比較的単純な生物ですら、かなり知的な行動をすることが知られています。地上の生物の中で最も知的なものは、もちろん我々人間でしょう。でも、宇宙にはもっと多様な生物がいると信じられています。そのうちのいくつかは、人間よりもはるかに知的かもしれません。
知性のモノサシ（そんなものがあるとすれば）を考えてみましょう。「知性」を何で測るかはまったくもってわからないのですが、非常にラフな近似として、コンピュータでいうところの計算速度、すなわち単位時間にどの程度の情報処理を行えるか、を知性の指標と考えてみましょう。コンピュータの計算速度はムーアの法則によって指数関数的に増加しますから、これが続くとすれば知性は対数スケールで表現するのが自然でしょう。問題は、人間の知性がこのスケールのどこに位置するか、ということです。歴史学者のユヴァル・ハラリがその著書「ホモデウス」[9]で指摘しているように、人間の脳の能力がここ数万年の間にほとんど変化していないのであれば、70億の人間の一人ひとりの能力はこのスケールのごく狭い範囲に分布することになります。アインシュタインだろうが、市井の市民科学者だろうが、このスケールの中ではどんぐりの背比べです。我々の2000年の科学の歴史が、実はこの「知性の限界」に強く影響を受けていたとしても不思議はありません。
Z. アーテシュテインの「数学がいまの数学になるまで」[10]は、我々の知っている数学が、いかに人間の直感に沿って作られてきたかを教えてくれます。ユークリッドの幾何学は「任意の２点を通る直線が存在する」「２つの平行な直線は交わらない」など20の公理から組み立てられています。しかし、なぜこの20個でなければならないのでしょうか（例えば、非ユークリッド幾何学は、これとは異なる公理系を持っています）。この疑問は、世の中に可能な（無矛盾な）公理系はどのくらいあるのか、という疑問につながります。集合論、確率論など私達が数学で使う公理系は様々なものがありますが、それらは可能な公理系のすべてを尽くしているでしょうか。これらは、たまたま人間の直感にあったものが選ばれた結果ではないでしょうか。本来、我々にとって重要な公理系だが、我々の直感によって視界が遮られているために、まだ発見できていないものがあるかもしれません。もしそうであるならば、高度に抽象的な学問である数学でさえ、その発想は人間に直感的に理解できる発想に制約されている、といえるのかもしれません。もし、人間より知性のスケールで 何桁も賢い存在が、我々の物理学、生物学、数学、情報科学を研究したらどのような理論体系ができるでしょうか。彼らには100万次元の空間内での多様体を、あたかも私達が野球のボールやドーナツの形を簡単に思い浮かべることができるように、直感的に理解できるかもしれません。
一方で、我々は情報処理機械という、（論理的な計算という特定の側面で）知的な機械を手に入れつつあります。私達が使っている深層ニューラルネット（モデル）は数千万から数億のパラメタがあります。そのモデルが、対象の作用機序を表現しているのだとすれば、その内容をただの人間が「理解」することは絶望的ですが、それでも結果として良い予測をしたり、制御においては望みの結果を得たりすることができます。ここに「科学の究極の目的は何か」という問いが出てくると思うのです。
今までの科学（ここでは「低次元科学」と呼ぶことにします）では、自然界の作用機序を理解することが目的と考えられていました。もし、ニュートンの万有引力の法則で物体の運動を説明できるのであれば、それを利用して天体の運動を予測したり、弾道を計算して望みの場所に着弾させたりすることができます。すなわち「作用機序の理解」が「予測」や「制御」に使えるわけです。作用機序がわかれば予測や制御ができるのは当然ですが、必ずしも「作用機序の理解」が予測や制御の必要条件というわけではありません。高次元モデルを使えば、精度の高い予測や制御が「理解」なしでできるようになってきたからです。
ここでいう「理解」とは何でしょうか。それは、あくまでも「人間にとって」の理解であり、人間の持つ知性に対して相対的である概念であることに注意する必要があります。私たちよりはるかに進んだ知性だったら、1億個のパラメタを持つ深層ニューラルネットでさえ、私たちが線形回帰式を理解できるように理解できるのかもしれません。もし「科学」が普遍的なものであるのだとすれば、それが、たまたま今の人間の知性レベルに縛られてよいものでしょうか。その制約を解き放つのが「高次元科学」だと思うのです。
複雑系システムの研究者であるオランダのヴァーヘニンゲン大学のMarten Scheffer教授は、「我々の科学は解ける問題、あるいは理解できる問題だけしか解いてこなかったのではないか」と警鐘を鳴らしています[11]。研究者にとって「論文が書ける問題を設定する」ことは極めて重要ですから、研究者個人のキャリアを考えればこれは正しい戦略でしょう。しかし、「人類社会にとって解くべき問題」は、必ずしも「作用機序が理解できる問題」とは一致しないのではないでしょうか。 もしそうであるならば、高次元科学という新しい科学の道具を手に入れた今、 「科学の究極の目的は何か」について、もう一度見直してみる時期に来ているのではないでしょうか。
参考文献
Hey, Tony, Stewart Tansley, and Kristin M. Tolle. The fourth paradigm: data-intensive scientific discovery. Vol. 1. Redmond, WA: Microsoft research, 2009.
Tyler Vigen, Spurious Correlations, ISBN-13: 978-0316339438, 2015.
Wasserstein, Ronald L., and Nicole A. Lazar. "The ASA’s statement on p-values: context, process, and purpose." The American Statistician 70.2 (2016): 129-133.
情報・システム研究機構新領域融合センターシステムズ・レジリエンスプロジェクト, システムのレジリエンス さまざまな擾乱からの回復力, ISBN-13: 978-4764905085, 2016.
John Casti 「Xイベント 複雑性の罠が世界を崩壊させる」ISBN-13: 978-4023311558, 2013.
Ashby, W. Ross. "Requisite variety and its implications for the control of complex systems." Facets of systems science. Springer, Boston, MA, 1991. 405-417.
福岡伸一「世界は分けてもわからない」 , ISBN-13: 978-4062880008.
丸山宏「抽象化の呪い」
https://note.com/hiroshi_maruyama/n/n5dcc97be63fb, 2010.Yuval Noah Harari, Homo Deus: A Brief History of Tomorrow, ISBN-13: 978-1784703936, 2017.
Zvi Artstein 「数学がいまの数学になるまで」 , ISBN-13: 978-4621301685, 2018.
Marten Scheffer, "Holism 2.0 - Towards the Defragmentation of Science," Speech 2010 by Prof. Marten Scheffer,
https://www.wur.nl/en/show/Speech-2010-by-Prof.-Marten-Scheffer.htm
.
コメント