ポストする

新しいポストを表示

会話

AIDB
@ai_database
GPT-4などのLLMは、「AはB」だと知っている場合でも「BはA」とは分からないことが多いとの研究結果が報告されています。 この現象は『逆転の呪い』と呼ばれ、人間にも似たようなことが起こっていると指摘されています。 オックスフォード大学などの研究者らによる論文です。 ○ Lukas Berglund et al., "The Reversal Curse: LLMs trained on "A is B" fail to learn "B is A"" LLMが登場し、まるで人間のように言語を操る様子が人々を驚かせる一方で「どれだけ論理的なのか？」というシンプルかつ難しい疑問に注目が集まってきました。 つまり、訓練データをどの程度超えて正しく一般化できるのかが分からなかったのが現状です。 今回研究者らは、LLMが一般化において不得意な作業を明らかにしました。 ■『逆転の呪い』 LLMは、知識を構造化し、”帰結を主語にして同じことを言う”のが自動的にはできないとのことです。 つまり、自然言語によって表現された「A is B」という訓練データを勝手に処理して「B is A」にはしないということです。 意味をそのままにして文の中身を逆転させることができない呪いにかかっている、という意味で『逆転の呪い』と題されています。 ■検証結果 研究者らの観察研究によると次のことが分かっています。 ① 特定の有名人や事象に関する質問で顕著である ② GPT-3、GPT-4、Llama-1などで確認された 一方で、次のことはまだ分かっていません。 ① 逆転の呪いが論理的含意や空間的関係などにも適用されるかどうか ② この現象を解明するための手法や理論 ■人間との類似性 人間はアルファベットや詩などを逆から思い出すのが遅いという事実が指摘されています。 これらの現象から、研究者らは人間の記憶においてもLLMにおける「逆転の呪い」と似たことが起こっているのではないかと提案しています。 ■LLMの「逆転の呪い」を認識した上ですべきことの考察 ① 質問や指示を短く、明確にする ② 不必要な修飾語や曖昧な表現を避ける ③ 必要に応じて、具体的な例や条件を提供する ④ 信頼性が必要な部分は他でもチェックする ⑤ 質問を違う表現で繰り返して一貫性を確認する
画像
14.8万
件の表示
121
リポスト
34
件の引用
588
件のいいね
193
ブックマーク
193

Twitterを使ってみよう

今すぐ登録して、タイムラインをカスタマイズしましょう。
Appleのアカウントで登録
アカウントを作成
アカウントを登録することにより、利用規約とプライバシーポリシー（Cookieの使用を含む）に同意したとみなされます。
トレンドはありません。