こんにちは、記号創発アウトリーチチームです。本連載「記号創発スタディノート」は、京都大学の谷口忠大（通称：たにちゅー）教授を中心に10年以上にわたり展開されてきた「記号創発システム論」について、その可能性と意義、中心的な手法、今後の展望についてコンパクトに解説するシリーズです。

今回はいよいよ本連載の山場。記号創発システム論の最近の大きな理論的展開である「集合的予測符号化」について解説します。

復習：心は生成モデルで世界を予測する

簡単に前回の内容を振り返っておきましょう。そこでは、神経科学や認知科学で近年広がっている予測符号化の考え方を解説しました。予測符号化とは、私たちは心の中に「世界はこうなっている」という想定を表現した生成モデルを持ち、それを使って次に起こることを予測しながら知覚・行動するという考え方です。生成モデルは、日々の経験からの学習によりアップデートされ、例えば「ワサビ」という食べ物のカテゴリーを学習すれば、次回食べるときの味の予測に活用する（例：辛くてびっくりしなくて済む）ことができます。

生成モデルでは、「見た目」や「味」など表に現れている観測変数（x、yとします）の背後に、私たちには見えない世界の構造を表す潜在変数zが存在していると想定します。世界で起こる物事が、何らかの構造を持った変数zの空間（潜在空間）のなかで起こっているとモデル化するわけです。

この潜在空間のなかで思考を巡らせることで、効果的な世界の予測が可能になります。潜在空間に写し取られた表現を内的表象（internal representation）と呼び、経験から内的表象を学習することを、機械学習の用語で表現学習（representation learning）と呼ぶのでした。

ここまでが前回までの復習です。

表現学習は、記号システムに制約される

ここで注目したいのが、私たちは孤独に表現学習しているのではないということです。私たちは、たった一人で世界に向き合っているわけではありません。たとえば「ワサビ」という食べ物の存在を、私たちは誰かに教えてもらったり、本で読んだりして知ります。発見者や発明者でもない限り、私たちが行う表現学習には他者との相互作用が関わる。そして、そこには多くの場合、言語などの記号が介在しています。私たちが獲得する内的表象は、人間が集団として作ってきた記号システムの制約を強く受けているのです。

つまり、内的表象の表現学習には、個々人の経験というボトムアップな要素と、その人が所属する人間集団が共有する記号システムからのトップダウンな方向づけの両方が関わっています。後者の「トップダウンな制約」は、認知主体（エージェント）の視点からはある種の事前分布（prior）として働いています。

一方、この事前分布としての記号システム自体も生成・変化するものです。「ワサビ」という文字列とワサビという植物の連関自体は「私」が独自に作ったものではありませんが、どこからともなく「与えられた」わけでもなく、ある時点で人間の集団が作り上げてきたものであるはずです。記号創発システム論の関心は、まさにこうした記号システム自体がどのように出現し、変化していくのかにあります。

名づけゲームで構成される記号創発

この問題に挑むにあたり、記号創発システム論がとるアプローチはここでも構成論です。つまり、説明したい現象が起こる状況を実際につくってみようという発想です。

構成論的に記号創発を実演する研究には20年来の歴史があります。たとえばベルギーのAI研究者であるリュック・スティールズ氏らは、ロボット同士の相互作用による構成論的な手法を軸とした創発的コミュニケーション（emergent communication）の分野を切り開いてきました。

2019年に谷口忠大氏らのグループにより発表された論文（Hagiwara+ 2019）も、そうした研究の系譜に連なるものの一つです。この研究では、2体のロボットが、同じ物体を違う角度からカメラで捉え、その物体を表す記号を二体で相互作用しながら決めていく名づけゲーム（naming game）の実験が行われました。たとえばペットボトルを見たロボットAが、この物体を「c」というサインで表そうと提案し、同じものを見ているロボットBが、自分の事前分布に従ってそのサインを受け入れたり棄却したりします。いわば彼らは「一文字だけで会話する2体のロボット」です。

いくつかの種類の物体についてこうしたやり取りを繰り返すと、次第にロボットAとロボットBが同じ文字を同じ物体に対応付けるようになります（例：リンゴ=「c」、ペットボトル=「d」）。非常に単純化された設定であるとはいえ、確かにある種の記号創発が起こっていることが分かります。

上述のように、このようにロボット同士のやりとりによって構成論的に記号創発が実現できること自体は、過去の創発的コミュニケーションの研究で示されてきました。一方、谷口らの研究の新規性は、こうした記号創発のメカニズムをベイズ推論の枠組みで記述し、厳密な数学的なアルゴリズムとしてとらえ直したことにあります。

この記号創発の実験では、下図（A）のような2体のロボットをつないだ「全体の生成モデル」が想定されました。いわば、各ロボットがそれぞれ一つのセンサーとして機能し、それぞれの内的表象z‗A、z‗Bを介して潜在変数w（サイン）を推論する生成モデルとなっています。これは、一人の人間が、目から得る視覚情報と耳から得る聴覚情報を統合して表現学習を行う時の生成モデルと同じ形をしています。上述の実験は、「ロボット2体を一つのエージェントとみなしたときの、潜在変数ｗの表現学習」として記号創発を説明していることになります。

しかし、実際には2体のロボットが物理的に接続されていたわけではありません。あくまで「発話」（1文字だけの発話ですが）を介して相互作用していただけです（上図（B））。実は、このコミュニケーションが「全体の生成モデルのベイズ推論」と同等になることを示せるのです。

少し技術的になりますが、ベイズ推論では一般に、上図のような生成モデルで推論や学習を行うときには、確率分布そのものを扱うのが難しいため、サンプリングや変分法といった近似手法を用います。ロボットAとＢの相互作用において「Ａが言っていることをＢが受け入れる確率」に関してある種の仮定を入れると、ベイズ推論の近似手法の一つであるメトロポリス・ヘイスティングス法（MH法）を実行しているのと等価になります。つまり、ロボットA、Bは、2人合わせて上図の生成モデルの表現学習をMH法によって実行しているのです。このことから、この研究はメトロポリス・ヘイスティングス名づけゲーム（MH名づけゲーム）と命名されました。

その後、MH名づけゲームの研究は、複数種類の感覚入力を扱うもの（Hagiwara+ 2023）、3体以上のエージェントが関係するもの（Inukai+ 2023）、一単語ではなく文によるコミュニケーション（Hoang+ 2024）、連続信号の創発（You+ 2024など）、マルチエージェント強化学習におけるコミュニケーション創発（Ebara+ 2023）などへと、多方面に発展しています。

集合的予測符号化（CPC）仮説へ

MH名づけゲームの定式化と、その構成論的な実証から明らかになったことは何でしょうか。厳密を期すのであれば、2019年の当初の研究から言えるのは以下であるはずです。

しかし、含意はこれにとどまらない可能性があります。名づけゲーム以外の相互作用でも、また（一部示されつつあるように）MH法に沿った形のコミュニケーションを仮定した場合でも、同様のことが成立していたとしたらどうでしょうか。これが、集合的予測符号化（collective predictive coding: CPC）のアイディアにつながります。

集合的予測符号化は、2024年の展望論文では以下のように提示されました。

ここでは「言語」に着目した記述になっていますが、集合的予測符号化は言語を含む記号一般を射程に入れるものです。MH名づけゲームの設定を敷衍すれば、私たちが発話をしたり文字を書いたりする行為は、私たちが集合的にベイズ推論を行うための手続きの一部であると見ることができます。いわば、人間集団というある種の「超エージェント」が、集合的に生成モデルを学習しているという描像です。

記号システム／言語システムを主役にすれば、その出自に関する次の仮説が得られます。

これが集合的予測符号化仮説（CPC仮説）です。

前回見た、エージェントレベルの予測符号化では、個人の経験により内的表象が学習されるプロセスであったのに対して、集合的予測符号化は、記号システムそのものが、人間を経由して外的表象（つまり記号システム）の表現学習を行っているのだとみることができます。

このように、従来の予測符号化とパラレルに扱えることから、前回紹介した自由エネルギー原理／能動的推論の自然な拡張によるCPCの定式化も可能となり、国内ではAIアライメントネットワークの林祐輔氏を中心に精力的に取り組まれています（その最初の成果がTaniguchi+ 2024の2.3節にみられます）。

集合的に世界を予測するために言語は生まれた？

本当に、言語／記号は集合的予測符号化の産物なのでしょうか。私たち人間集団は、個人としてできるよりもずっと多くのことを予測できます。たとえば、一週間後の天気や1年後の惑星の配置を予想することができます。また都市を形成し、法律を作り、貨幣を使うことで、人間にとって予測可能性が高い社会を営むことができています。こうしたことは、言語／記号という表象系がなければ不可能です。

そして重要なのは、一人ですべての言葉や記号を知っている人はいないという事実です。人間の脳で知りうる限界を超えて、世界の在り方をモデル化し、適切に行動するためには、一人一人の分散的な表象をより大きな体系にまとめ上げる必要があります。言語／記号とはそのまとめ上げのために出現したプロセスであり、人間が集団として世界を予測するための生成モデルを宿す媒体であるとみることができるのです。

おわりに：記号創発問題への解としての集合的予測符号化

ようやく、集合的予測符号化という、記号創発システム論の最新の展開にまで触れることができました。改めて振り返ってみましょう。記号創発システム論が扱ってきたのは、「人間はいかに内的表象を表現学習し、記号サインの意味を扱えるようになるのか？」、そして「外的表象としての記号システムはいかに創発するのか？」を問う記号創発問題でした。集合的予測符号化は、この問題に対する一つの解答であるとみなすことができます。分散的なベイズ推論という観点から、記号創発システムの成り立ちを記述・説明できるのではないかという提案です。

もっとも、これはあくまで一つの仮説的な解答の提案にすぎません。集合的予測符号化に、どの程度の説明力があるのかについては、今後の検証が必要になります。たとえば、ロボットやシミュレーションを用いた構成論的な研究も進むでしょうし、社会科学のデータを活用した実証的な研究も発展していくことが期待されます。

今後の展開の中では、現在の生成モデルを拡張する必要性が見えてくるかもしれませんし、集合的予測符号化の枠組みだけでは十分に説明できない現象が見つかるかもしれません。また、記号創発問題に対する別の解答として、集合的予測符号化とは異なる対立仮説が提案されることもあるでしょう。

こうしたさまざまな議論や試みを含めて、集合的予測符号化という考え方が、今後の学術的な探究における大きなフロンティアとなっていくことは間違いありません。次回以降は、今後の展望編として、集合的予測符号化という視点がどのような広がりを見せる可能性があるのかについて、近年の展望論文を取り上げながら概観したいと思います。

監修：谷口忠大教授
執筆：丸山隆一（記号創発アウトリーチチーム）
謝辞：R-GIRO記号創発システム科学創成PJの皆様

◆記号創発アウトリーチチーム 記号創発システム論に関連するコンテンツ発信を行なっています！ 質問・疑問、取材やメディア転載のご相談もお待ちしています。
・X：https://x.com/sym_eme_outrea
・YouTube：記号創発クロストーク