ポチョムキン理解という言葉が話題になっているようだ。すぐに良い説明を引用するが、簡単に言うと、現状のAIは、ハリボテの知能という事だ。いや、あなたは違うだろう。しかし、私は自信がない。私もポチョムキン理解しかできてない気がする。少し詳しく見ていこう。

話題の元となった論文（プレプリント）は、次のものである。以前だと専門的で誰でもとは勧められなかったが、いまなら、例えば Google の NotebookLM で音声説明を頼めば、わかりやすく説明してくれる。そういう意味では、知識の大衆化が進んでいるのは間違いなく、素晴らしいことである。

さて、「ポチョムキン理解」とは何か？について、ここで繰り返すのはどうかと思うが（引用先があって、そこの記事が秀逸ならそこを見るべきで、それを繰り返しコピーするのはどうかと以前からちょっと思う）、大抵の記事はそうなっているw から引用の形式で少し書いておこう。引用元としては次の記事を使う。この記事の方がわかりやすく思うのだが、 note.com にURLを貼り付けた時に見え方がいまいちなので、最初のURLとしては先のを選んだ（プレビュー的ではなく、URLが直接出てしまう）。

https://xenospectrum.com/what-is-potemkin-understanding-the-decisive-weakness-of-llm-exposed-by-harvard-university-and-others/

ああ、あれかと思った。私も以前なんだこれは！？と思った事例。「ChatGPT o3 が頑固になってきた」に書いたことである。私の事例の場合、完全に回転変換をGPTは理解しているようなのだが、その実践において間違い続け、しかも正しいと主張していた。最終的に、より理解しやすい事例で矛盾を示すことで突如納得し、自らの間違いを認めた。

もしかすると違うことかもしれないが、おそらく「ポチョムキン理解」と呼ばれる事例であったのだろう。引用の最後の「ポチョムキン理解」の説明のままのように思われる。式の上でも概念的にも理解しているように見えるのだが、間違っているのである。

我々は大丈夫なのか？

現在のLLMは、（そうじゃないという意見もあるかもしれないが、）基本的に丸暗記型の学習と思われる。教育者として、丸暗記型の知性と、そうではない、積み上げ型の理解の違いをよく考えるが、ここで言われている「ポチョムキン理解」というのは、いわゆる丸暗記型の学習の副作用ではないか？

実はこれに似たことを、以前学生さんにみたことがある。

あるグラフを書く問題があるとする。そのグラフを描けと言えばすぐには描けなかったが、少し手助けしたら描くことができた。当人も理解したと言った。

ではということで、少しだけ違う問題（具体的な関数が違うだけで、本質的には同じ）を示して、グラフを描くように伝えた。

そうすると、なんと描けないのである。ちょっと違うが概念的には次のような問題である。

y = sin(x) のグラフを x の範囲が 0 から π で描きなさい。

という問題があって、それが描けるようになったところで次の問題を出した感じ。

y = sin(t) のグラフを t の範囲が 0 から πで描きなさい。

もちろんここまで簡単な問題ではないが、まぁ似たり寄ったりの感じの問題であった。これが描けないという状況。

どうしてこうなったのだろうと当時考えたが、どうやら、その学生さんは数学の一つ一つの問題の解法、または対応方法を丸暗記しているっぽいのだ。なるほど、先の問題は別問題であって、二つ目の問題は初見なのである。丸暗記能力の高さには驚嘆する。

結構成績の良い学生さんであったことを付け加えておく。テスト等は高スコアを出すのだ。ただ、なんで？と思うような間違いまたはわからないという返事がくることがあった。

実は多くの人は「ポチョムキン理解＋α」程度である説

これは自分も含めてだが、ほとんどの人間は「ポチョムキン理解＋α」程度の知性なのではないか？というのが、少し私の頭をよぎっている。もちろん、一部の人はそうではなく、どう言えば良いのか、「ポチョムキン理解を超えた知性」であるのだと思う。

そもそも体験を通して経験したこと以外に対する理解なんて大抵メチャクチャである。自分が経験したことがない困難を経験している人に対するアドバイスなんて、大抵的外れだ。我々は、多かれ少なかれ暗記の世界に生きており、それが「ポチョムキン理解」と呼ばれる理解なのではないか？そう、私もポチョムキン理解であるという不安感。

そう思うと、この問題「AIはポチョムキン理解である」ということは、人間にどうして素晴らしく優れた人と、ほどほどの人がいるのかという疑問と一致することなのかもしれない。つまり、これを理解し、乗り越えると、人間の中にもいる通常知能を超えた人々の知能の秘密がわかるということ。そして、その後はスケールメリットを活かした、人類の最高知能を超えるAI超知能となるのだろうか。

賢さとは

いわゆる賢さは、テストでは測りにくいというのは共通認識である。思えば、ついにAIもそう言った、さまざまな人間の知性の違いと同等のレベルでの問題に到達したということなのかもしれない。

現在のテストを中心とした能力判定は、人間の「ポチョムキン理解＋α」であっても能力が高いと判定される。ただ、それをある意味ずっと続けてきたということだ。なぜ、この人はテストの成績は良いのに簡単な実用的な問題に対処できないのか？そう言った疑問と同じことを言っているように思う。

これまで間違った指標で人間の知性を計り続けていたことが、今AIの知性の測り方という問題に接して、まさに明らかになったということだよきっと。さらに言えば、AIの賢さがそのレベルに達したということである。なんとなく、続けられてきたテストによる人間の性能判定が、本気で見直される契機になることを期待しよう。

おわりに

今回の「ポチョムキン理解」の話は、人間すげー！AIまだまだ！という話ではない。そもそも、知性というものは何か？という根本的な問題をあらわにしたということである。それは、どうやら、人間の中での知性の定義のこれまでの誤りを明らかにしているように思われる。

あの人はテストはダメだが、頭が良い。地頭が良いというような言い方で表現されるような知性。そもそもこれを現状測ることが難しいということがわかったのであり、そう言った評価を開発できれば、人間の教育にも役立つし、AIの超知能へのブレークスルーになるのだろう。

追記

「わたしだってポチョムキン理解なのではなかろうか？」というタイトルにしてみたが、実際どうなのだろう。私は暗記は大の苦手である。限られた範囲においては結構知っていることもあるが、全体的に無知感が強い。なので、私はハルシネーション系のようなきがする。ポチョムキン理解という方がどうも高度っぽいがどうなんだろうか？この辺りも実はハルシネーションの方が人間っぽい間違い方、嘘の言い方であるという話になるような気がするな。