Tencentと清華大学が、現在のAIの根幹である「次トークン予測」を完全に廃止した衝撃の次世代モデル「CALM」を発表しました。
語彙とSoftmax層という計算のボトルネックをシステムから完全に排除し、「記号の出力」から「思考のストリーミング」へと進化する事象です。
その衝撃的な詳細と構造的な変化を3つのポイントにまとめました。
1. 語彙の『完全無効化』
これまでのAIは「次にどの単語が来るか」を確率で計算するSoftmax層という致命的なボトルネックを抱えていました。CALMはこの「語彙」という概念そのものをシステムから排除し、テキストを純粋な連続ベクトルとして直接予測するアーキテクチャへと移行しています。
2. 計算の『構造的最適化』
オートエンコーダを用いてテキストを99.9%の精度で連続ベクトル化することで、1ステップあたりの情報量を従来の4倍にまで引き上げました。結果として、計算リソースを浪費していた確率計算のプロセスが省かれ、学習コストを44%も削減するという極めて合理的な最適化が実装されています。
3. 思考の『物理的ストリーミング』
「単語を一つずつ出力する」という人間の言語の制約に縛られた既存のプロセスから脱却し、AIの出力を純粋な「連続した状態空間」へと変容させています。離散的な記号の羅列ではなく、思考そのものをストリーミングとして処理する次世代のインフラが構築されています。
