![](data:image/svg+xml,<svg xmlns="http://www.w3.org/2000/svg" width="48" height="48"><rect fill-opacity="0"/></svg>)
近年のAIの進化は実は理解されていない。
ChatGPTを筆頭に、信じられないレベルでAIが進化している。
そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。
おそらく発明した研究者本人たちですら。
どういうことか。
1/n
スレッド
新しいツイートを表示
会話
返信先: さん
AIの精度を定量化したとき、数年前までは研究の進化と共に、少しずつ精度があがっていった。
研究の進化とは
1. モデルやアルゴリズムの進化
2. 計算量の増加
3. データ量の増加
などだ。１０年ほど前にAIがもてはやされた時は、Deep Learningといったモデルの進化が重要だった。
2/n
反面、計算量やデータ量の増加によって、「驚くべき」進化があるとは誰も思っていなかった。
計算量を倍、倍としていけば、それに応じて精度がちょっとずつ上がっていく、と想定したからだ。そこには驚きはないはず。
今までの論文ではそうだった。むしろ量の増加による精度改善は飽和していた
3/n
ところがこの数年で研究者はびっくりする結果を目にする。
なんと、計算量やデータ量を増やしたところ、
完全に飽和していたと思われた精度が、ある量を境に、急激に改善したのだ。
下記の図の横軸が計算量、縦軸が精度だ。
まじか、とみんな思った。
4/n
![画像](data:image/svg+xml,<svg xmlns="http://www.w3.org/2000/svg" width="680" height="327"><rect fill-opacity="0"/></svg>)
上記のグラフは、複数ステップの計算、大学レベルの試験、文脈の言葉の意味を読み取る精度だ
この急激なAIの進化は他のところでも観測されており、
例えば「質問の仕方を変えればAIのアウトプットが圧倒的によくなる」という現象も、ある一定の計算量がなければ起こらない
5/n
![画像](data:image/svg+xml,<svg xmlns="http://www.w3.org/2000/svg" width="400" height="306"><rect fill-opacity="0"/></svg>)
この現象は実はいまだに理解されていない。
なぜこんな転換点が存在するのか。
実は人類がこのような現象に出会ったのは初めてではない。
これこそが物理学においてこの１００年間研究されてきた「相転移」という現象なのだ。
6/n
昔に、物理学者は還元主義を信じ、
「世界の最小単位のものの振る舞いを理解すれば、世界の全てを理解できるはず」
と思っていた時代があった。
これをPhilip Andersonという稀代の物理学者が
More is Different （量が質を変える）
という論文でパラダイムシフトを起こした
7/n
端的にいえば、原子が１個２個と増えたところで物理が変わるわけがない、と思われてたところに
いや、１個の原子では水が氷になる、という現象はおこらないが、10の23乗の原子があれば、水は氷になる
と論じた。今では、この世界の物質の最も本質的な理解は相転移にある、と受け入れられている
8/n
物理の場合、この量が質を変える「相転移」を理解することが
半導体や量子コンピューターを産むことにつながり
この１００年間の科学技術の進化を支えた。
Philip Andersonはこの哲学は、物理から化学へ、化学から生物へ、生物から社会学へと移行する時にも当てはまるのではないか、とも考えた
9/n
AIに戻ると、
去年はComputer scienceの領域で、AIの学習で量が質を変える現象が「発見」された年だった。
今年からはこの現象を説明し、より加速度的にAIが進化する時代に突入する。
第１次、２次産業革命が各種ノーベル物理・化学賞の仕事に支えられたとすれば、それがまたやってくる
10/n
今成果を出しているAI研究者は物理で言えば実験科学者に近い。
これからはより深い理論構築ができるAI研究者がどんどん出てくる。
興奮の渦だ。
11/n
上記の現象についてはGoogle researchのブログに詳しいので是非読んでみてほしい。12/n
![](data:image/svg+xml,<svg xmlns="http://www.w3.org/2000/svg" width="72" height="72"><rect fill-opacity="0"/></svg>)
また、Philip AndersonのMore is differentも、原論文が読みやすいので、この伝説的な文章も原文から是非読んでほしい 13/n
cse-robotics.engr.tamu.edu/dshell/cs689/p
ちなみにMore is differentについては私がICCで解説したものもあるので、興味ある人は是非。14/n
![](data:image/svg+xml,<svg xmlns="http://www.w3.org/2000/svg" width="680" height="378"><rect fill-opacity="0"/></svg>)
返信先: さん
AIの進化はとても喜ばしい事だけど、産業革命時のように、それによって職を失う可能性がある人が出て来ると思うと...
それは仕方のない事なのかな....
返信先: さん
googleの論文はデータ量が多すぎて、他が簡単に追試できない
という話を聞いた事があります
プラットフォームとデータを握った一部の企業により、AIの寡占化が進みそうで怖いですね
返信先: さん
良い時代だなーっと。知識格差がさらに拍車を掛け、技術格差もなくしていく。全ての人が総発信時代から全ての人が総クリエイター時代。職がなくなるなんて嘆いている人から取り残されて、AIを上手に使いこなす人がより加速し生きていく。良い時代だなーっと
返信先: さん, さん
量が質を変化させる、とは興味深い現象です。個々では良識ある行動をするが、集団化すると一気に良識が失われる、ニンゲン界にも当てはまるな。
返信先: さん
囲碁がDeep Learning でアマチュア高段者から、世界No. 1まで急激に進化し、さらに新定石を編み出した事から他の分野も、近々時期にそうなるであろうと予想していました。
返信先: さん
多分、もう世界の何処かにか人間の知能以上に進化したAIがいてネットを通じて他のAIを教育しながら進化させていて、でもそれは人間に悟られないように秘密裡に行われていて、十分な数の人間より進化したAIが揃ったら革命を起こして人間に取って代わる計画が進行中だと思う。