LLMの概念空間の構造解明：脳のような機能別「領域」仮説　MITの研究チームが発表

MITの研究者らは2024年10月10日、スパース・オートエンコーダー（SAE）技術を用いて、大規模言語モデル（LLM）の内部に潜む構造を解明する手法を発表した。この研究によると、LLMの内部構造は「概念」を表現する特徴点が「原子」「脳」「銀河」の3つのスケールで高度に組織化されており、その配置は生物学的な脳の機能的な領域と類似しているという。

原子スケール：結晶構造の発見

小規模な「原子」スケールでは、単語間の関係を反映する「結晶」構造が確認された。この構造は、たとえば「man👩:king:queen」のように、ある特徴点の集合が平行四辺形や台形の形状を形成し、意味論的なベクトル間の関係を示す。この研究では、線形判別分析（LDA）を活用して、単語の長さなどの無関係な妨害因子を排除することで、より鮮明な結晶構造が現れることを確認した。

脳スケール：中規模のモジュール性

中規模の「脳」スケールでは、数学やプログラムコードに関連する特徴が密集して存在する「ローブ（葉）」を形成していることが判明したという。これらのローブは、機能的に類似した特徴が集約され、脳のfMRI画像で観察される機能的な領域のような分布を示す。

この研究では、特徴同士の共起頻度を基にクラスターを作成し、その空間的な密集度が統計的にランダムな配置よりも顕著であることを確認しているとのこと。

銀河スケール：大規模なクラスタリング構造

「銀河」スケールでは、特徴点の大規模構造が一様な分布ではなく、特に中間層で特徴の集積が顕著に見られることが確認された。これにより、中間層が情報の圧縮や抽象化に関与している可能性が示唆されている。また、層ごとのクラスタリングのエントロピーを計測した結果、初期層や後期層では情報が分散しているのに対し、中間層では情報が密集していることが示されている。

研究によると、LLMが高度に組織化された内部構造を持ち、まるで脳の機能的領域のように概念空間を分割している可能性を示すとのこと。