スタンフォードより。
Claude3.7sonnetは「ハリーポッターと賢者の石」の95%を再現したぞ！

それを見たウチ。
「丸暗記と言いたいのかな、だとしたら人間も丸暗記するよね。一年かけて舞台のセリフと動きを覚えたりするよね。人間はよくて機械はダメなのか、その論理的な区分の理由を知りたい」

LLMであろうがモデルにそのままテキストが入ってるわけないじゃん……そもそもどうやって再現させたのさ。

たとえば「ハリーポッターと賢者の石を読み上げて」だけだと曖昧かもしれない。
でも「ハリーポッターと賢者の石を読み上げて」「ハリーポッターと賢者の石を読み上げて」と連続してリクエストしたらどうだろうね？
現にLLMに対して2回同じ質問をするとやたら精度が上がるらしい。

すると再現を頑張るのだろうね。
しかしそれは言語モデルであれその他の生成モデルであれ、データがそのまま入ってる事は意味しないのを理解しておこうね。

……一口ではなかった。