Appleの研究により、推論モデル(LRM)は問題が一定以上に複雑になると、思考放棄して一気に精度が落ちることが判明した。
o3などのLRMでは、問題の複雑度があるレベルに達すると、思考トークン数が逆に減少に転じる。
これは、従来信じられてきた推論スケール則に根本的な限界があることを示唆する。
Quote
elvis
@omarsar0
The Illusion of Thinking in LLMs
Apple researchers discuss the strengths and limitations of reasoning models.
Apparently, reasoning models "collapse" beyond certain task complexities.
Lots of important insights on this one. (bookmark it!)
Here are my notes:
