論文内に秘密の命令文、AIに「高評価せよ」　日韓米など有力14大学で

「査読」という一般には馴染の無いシステムについて説明します。 研究成果がでると、それを国際会議 (ICMLなど)や国際論文誌 (ネイチャー、サイエンスなど)などで発表します。全員が発表できるわけではなく、同じ分野の研究者複数人に採点してもらい、基準点以上だと採択され、そうでないと落とされます。これが査読です。当落は死活問題で卒業や昇進、予算獲得に影響を及ぼします。いま、不誠実な査読者が問題になっており、内容をちゃんと理解していないAIによると思われる査読が溢れます。一方で査読者への負担も議論されています。例えば難関国際会議AAAIでは第1段階としてAIに査読させるというトライアルを開始します。

査読をAIにやらせる査読者がいる、という現状を改善できないなら、いっそのこと第一次スクリーニングはAI査読で、そのかわり何回でもチャレンジできる、というシステムにしてはどうでしょうか。私の研究室では評価用プロンプトを使って、投稿前に論文の改善点を洗い出していますが、論文の質を高めるためのツールとして有効だと感じています。

学術論文が成果として扱われる学問分野は、経済効果に直接的な寄与しない領域においては極論すれば、音楽や絵画等と同じ芸術分野であると言えます。さらに、芸術分野と違い、一般の方々に認知、評価されることは少ないですから、学術論文は査読という評価により、その分野の専門家に任されます。これまではこういった各分野の専門家による”性善説”での評価により、学術論文並びに執筆者が学術的に認められてきましたが、その巨塔がAIの出現により崩れようとしています。 対策とルール整備に追われるとその分野は結果として陥落していきますので、学術領域では学術論文以外の別の評価指標を考えていく必要があるとも感じています。

今回は学術論文で行われたという点で新しいですが、海外企業の採用の世界では、2、3年前から、面接に呼ぶようAIに指示するという「レジュメハック」が話題となっていました。既にこれを検知する方策も出回っていますし、このホワイトフォント手法を一度やると”ブラック”リストに載るので逆効果ともいわれています。 しかも、最終的には、プロの人間による個別の審査や試験がカギとなるので、AIハックの最終的な効力は数％程度というデータもあります。 とはいえ、今後は、こうした人の目を介した最終評価もAIに何らかの影響を受けるようになる世界も遠くないでしょう。早期のルール作りが望まれます。

有名私立大学の教授が授業の資料に、同じ手法でプロンプト（命令文）を潜ませてネットで話題になったことがあります。生成AIに読み込ませてレポートを書かせると、授業とは関係のない内容が出力されてしまうというワナです。そのままコピペした学生もいて、レポートは不合格になったそうです。生成AIの活用への教育的指導なら許されますが、論文の査読に有利に働くように仕向けるのは大きな問題です。競争が激化する中、査読をボランティア行為に頼っていることも背景にあるのでしょう。 　ひとつ付け加えると、同じプロンプトでも答えが違うことが多々あるように、必ずしも潜ませたプロンプトが実行されるわけではありません。

人間には読めない秘密の命令文を文書に埋め込み、言語モデルの出力を操作する手法は、「プロンプトインジェクション攻撃」と呼ばれるサイバー攻撃に類似したものです。以前、大学生が課題レポートを生成AIで作成したか否かを検知できるよう、課題ファイル中に秘密の命令文を罠として組み込んだケースが話題になりました。ただし近年の大規模言語モデルはプロンプトインジェクション攻撃への耐性が強くなり、こうした手法ではだまされづらくなっています。 生成AIを使って作業を効率化したい人、それを怠惰とみて副作用を問題視する人、その怠惰を利用して評価を高めたい人。生成AIをめぐり、ルール無きコンゲームが繰り広げられてます。