The Devil is in the Errors: Leveraging LLMs for Fine-grained Machine Translation Evaluation（GPTにて要約）

要約

自然言語生成システムの評価の課題は、特に機械翻訳においてシステムが向上するにつれて増加しています。従来のBLEUのような指標は、もはや人間の判断と適合しなくなっています。人間の入力を用いて微調整された新しい自動評価指標は、評価が向上しますが、解釈可能性に欠けます。この研究は、大規模言語モデル（LLM）を使用して、人間の専門家を模倣する自動評価指標を作成する方法を探求しています。提案されたAutoMQM技術は、LLMに対してエラーの範囲を特定して分類させるよう促し、詳細なフィードバックを提供します。LLMはシステムレベルの評価者として優れていますが、セグメントレベルでの人間の判断との相関は低いです。人間の入力を用いてLLMを微調整することで、セグメントレベルの性能が向上します。AutoMQMは主要なエラーを正確に特定し、単一のスコア以上の包括的な評価を提供します。

ハイライト

• 🔄 伝統的な自動評価指標であるBLEUは、改善された機械翻訳の品質に対応できません。

• 📊 人間の判断に基づいて微調整された新しい自動評価指標は信頼性が高いですが、洞察力に欠けます。

• 🤖 人間の注釈を施した大規模言語モデル（LLMs）は、解釈可能な自動評価指標を作成するのに利用できます。

• 🔍 AutoMQM技術は、LLMにエラーの範囲を特定し分類させるよう促し、詳細なフィードバックを提供します。

• 🔁 LLMはシステムレベルの評価者として優れていますが、セグメントレベルでの人間の判断との相関は低いです。

• 🔄 人間の入力を用いてLLMを微調整することで、セグメントレベルの性能が向上します。

• 🌐 AutoMQMは主要なエラーを正確に特定し、スコアだけではない包括的な評価を提供します。

本研究では、LLMsを使用した評価プロセスが提案され、自動評価指標による機械翻訳の品質評価が特に強調された。さらに、人間の注釈と無関係な評価指標と比較して、LLMsの性能が向上することが示された。しかしながら、LLMsが特定のスコアに過剰にフィットする可能性があるため、評価プロセスの改善が必要であることが指摘された。

Detailed Summary for The Devil is in the Errors: Leveraging LLMs for Fine-grained Machine Translation Evaluation by Monica

00:00 LLMを使用した機械翻訳の自動評価について

• 自然言語生成システムの評価が向上するにつれ、自動評価尺度の信頼性が低下している

• 人間の判断と一致しなくなっているため、新しい自動評価尺度が登場している

• LLMを使用したAuto MQMは、翻訳のエラー箇所を自動的に特定し、MQMフレームワークに従ってエラーを分類し、品質スコアを導出することができる。

04:06 機械翻訳の評価は、多くの正しい翻訳候補が存在し、事前に予測できないことから困難であり、MQMフレームワークは、機械翻訳評価のためのゴールドスタンダードであるが、自動評価指標は、しばしばこのフレームワークの情報を無視する。

• 機械翻訳の評価は、多くの正しい翻訳候補が存在し、事前に予測できないため、課題である。

• MQMフレームワークは、機械翻訳評価のためのゴールドスタンダードであり、多次元品質メトリックスを採用している。

• 自動評価指標は、しばしばMQMフレームワークの情報を無視し、最終的な品質スコアのみを利用する。

08:13 大規模言語モデルを使用した品質スコアの予測について説明。

• Auto MQMに似たテクニックは、GPTベースの評価者の改善に役立つが、言語モデルのスコア提供に依存する。

• LLMsを使用した翻訳エラーの特定と分類に関する先行研究があり、自然言語説明も提供されるが、7億パラメータのモデルに限定されている。

• WMT Wordレベル品質推定共有タスクは、スパンレベルの注釈を単語レベルタグに変換して使用する。

• 大規模言語モデルのプロンプティング機能について説明。

12:20 LLMを使用した機械翻訳の評価について説明。ICLの選択プロセスが性能向上に重要であり、LLMを人間の判断データでファインチューニングすることも可能であることがわかった。

• LLMは多目的であり、評価を含む自然言語処理タスクに使用できる。

• ICLの選択プロセスは性能向上に重要であることがわかった。

• 人間の判断データでLLMをファインチューニングすることも可能であることがわかった。

• 評価スコアだけを予測するメトリックは解釈が困難であるため、生成的分類法が提案された。

16:26 LLMを微調整することで、翻訳品質評価を改善することができる。

• 翻訳品質評価を改善するために、LLMのファインチューニングの可能性を探る。

• 2つのオブジェクティブを比較して、LLMをファインチューニングする。

• Auto MQMを紹介し、MQMフレームワークに基づいて翻訳のエラーを同定し、カテゴリ分けする。

• Auto MQMタスクの意味のある結果を得るためには、コンテキスト学習が必要である。

20:34 高リソースペアにはMQM評価を、低リソースペアにはダイレクトアセスメントスコアを使用し、回帰と生成分類の2つの方法でfine-tuningを行い、モデルサイズの影響も検証した。

• 高リソースペアにはMQM評価、低リソースペアにはダイレクトアセスメントスコアを使用

• 回帰と生成分類の2つの方法でfine-tuningを行い、モデルサイズの影響も検証

• メトリックメタ評価には、システムレベルの精度、セグメントレベルのKendallのTauを使用

24:40 本節では、予測スパンの評価方法について説明し、ゼロショット言語モデルの評価を行った結果を報告する。

• s-starの部分集合である主要なエラーのみを含むestar_mageを定義する。

• 予測されたスパンの評価には、SPとMisterが使用される。

• ほとんどのゼロショット言語モデル評価器が学習済みメトリックよりも優れた性能を発揮するが、セグメントレベルでは結果が混在する。

• Palm-2モデルは、人間の判断と高い相関を持ち、同じ文の代替翻訳の評価においても、学習済みベースラインに匹敵する性能を発揮する。

28:48 LLMベースの評価者は、特定のスコアに過剰適合する傾向があり、一般的な評価タスクには適用できないことが明らかになった。

• コンテキスト内の例のスコアがスコア分布に強く影響することがわかった。

• 低リソース言語の評価者は、学習済みメトリックよりも劣るが、システムレベルの精度は約90％に達する。

• 自動MQMを使用した場合、コンテキスト内の例の数が増えるにつれて、評価者の性能が向上することがわかった。

以下、個人的なメモ

1. どんなものなのか？

この研究では、大規模言語モデル（LLMs）を用いて機械翻訳の細かい評価を行う方法について説明しています。具体的には、人間の評価者が識別しラベル付けしたエラーのスパンを使用して、専門家のような詳細なフィードバックを提供する自動評価指標を作成しようと試みています。これは、最近の研究に触発されたアイデアで、LLMsが自動評価指標として使用でき、単一の品質スコアを生成することができるというものです。

小学生への説明と例え話: これは、大きなコンピュータ（LLMs）が、人間が作った翻訳（言葉を別の言語に変えること）がどれだけ良いかを評価する方法についての話です。人間が翻訳を見て、「これは間違っている」とか、「これは大丈夫だ」とかを言うのと同じように、コンピュータもそれを評価できるようにしようとしています。これは、あなたが宿題をした後に先生がそれを見て評価するのと同じようなことです。でも、この場合、あなたの先生はコンピュータなのです。

2. 先行の研究と比べて何がすごいのか？

先行研究では、LLMsが自動評価指標として使用でき、単一の品質スコアを生成することが示されましたが、その研究の主な焦点はスコア予測であり、注釈付きデータの使用を考慮していませんでした。また、これらの研究は豊富なリソースを持つ言語に焦点を当てていました。これに対して、本研究では、LLMsが機械翻訳の評価において、参照翻訳がある場合とない場合の両方でどのように機能するかを大規模に調査しています。

小学生への説明と例え話: これまでの研究では、大きなコンピュータは、翻訳が良いか悪いかを1つのスコア（たとえば、100点満点で70点など）で評価できることがわかっていました。しかし、それらの研究は、コンピュータがどの単語やフレーズが問題を引き起こしているのかを調べることはありませんでした。それは、あなたがテストで70点を取ったとき、先生がただ「あなたのスコアは70点です」と言うだけで、どの問題が間違っていてどの問題が正しかったのかを教えてくれないようなものと同じです。でも、この新しい研究では、コンピュータにどの単語やフレーズが問題を引き起こしたのかを特定するように教えてみました。これはあなたの先生が「問題3と5が間違っていて、問題2と4が正しかったよ」と教えてくれるのと同じです。

3. 技術や手法の肝はどこか？

この研究の主な技術的貢献は、人間の注釈を含む詳細なフィードバックを提供する自動評価指標を作成するために、LLMsと人間の注釈を組み合わせる方法を探ることです。これにより、開発者はシステムの限界をよりよく理解し、それを改善するための洞察を得ることができます。このアプローチは、AutoMQMと呼ばれ、LLMsに翻訳のエラーのスパンを識別し、これらのエラーをMQMフレームワークに従って分類するように指示します。品質スコアは、識別されたエラーから自動的に導出されます。

小学生への説明と例え話: この研究では、大きなコンピュータ（LLMs）が翻訳の間違いを見つけられるようにする新しい方法を考えました。それは、コンピュータに「この部分は間違っているよ」と教えて、それがどの種類の間違いかを調べるようにする方法です。これは、「この文章の中でスペルミスがある単語を見つけてみて」と先生があなたに言うのと似ています。そして、コンピュータはその情報を使って、全体がどれだけ良いか悪いかをスコア化します。これは、あなたがスペルミスを見つけて、それがあなたのエッセイ全体の品質にどのように影響するかを判断するのと同じです。

4. どうやって有効だと検証したのか？

この研究では、LLMsの能力を評価するために大規模な研究が行われています。主に、高リソースと低リソースの言語ペアを対象とした評価が行われました。これらの検証作業では、翻訳の品質を評価するために人間の評価者が使用したMQM評価とDA（直接評価）スコアが使用されました。また、AutoMQM、PaLM、PaLM-2などのさまざまなモデルと手法も検証の一部として使用されました。

小学生への説明と例え話: この研究では、新しい方法がうまく機能するかどうかを確認するために、たくさんのテストを行いました。それは、あなたが新しい数学の問題解決の方法を学んだときに、それが本当にうまく機能するかどうかを確認するために、たくさんの異なる問題でそれを試してみるのと同じです。この研究では、英語からドイツ語、中国語から英語、英語からロシア語など、さまざまな言語のペアでテストを行いました。さらに、「低リソース」言語（つまり、それらの言語のデータがあまりない言語）でもテストを行いました。

5.議論はあるか？（特定の場合のみなのか？汎用性があるのか？）

LLMsを用いた機械翻訳評価の手法は、高リソース言語だけでなく、低リソース言語にも適用可能であることが示されました。しかし、これらのモデルは、参照翻訳がある場合とない場合の両方で、どのように機能するかが大規模に調査されています。また、この研究では、LLMsが機械翻訳の評価において、参照翻訳がある場合とない場合の両方でどのように機能するかを大規模に調査しています。一方、AutoMQMという手法を用いて、LLMsが人間の評価者のように詳細なフィードバックを提供する自動評価指標を作成する試みも行われました。

小学生への説明と例え話: この新しい方法は、英語からドイツ語、中国語から英語、ロシア語から英語のような、たくさんの言葉のペアに対してうまく動くことがわかりました。また、たとえば英語からグジャラート語やカザフ語のような、あまり多くの情報がない言語のペアに対してもうまく動くことがわかりました。これは、あなたが新しい数学の問題解決の方法を学び、それが足し算だけでなく、引き算やかけ算、割り算にも適用できることを発見したときのようなものです。そして、あなたがその新しい方法を使って、問題の答えだけでなく、なぜその答えが正しいのかも説明できるようになったとき、それはさらに素晴らしいことなのです。これは、この新しいコンピュータの方法が、翻訳がどれだけ良いかをスコア化するだけでなく、どの部分が問題で、それがどのような種類の間違いであるかも特定できるようになったことと似ています。