プロンプトが苦手な人でも便利に使える言語生成AI「GATE」　米MITが開発：Innovative Tech

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　米マサチューセッツ工科大学などに所属する研究者らが発表した論文「Eliciting Human Preferences with Language Models」は、大規模言語モデル（LLM）に対する入力のテキストプロンプトに不慣れな人でも有効に活用できる方法を提案した研究報告である。この方法では、システムとの対話を通じてユーザーの好みやニーズを引き出し、それを基に最適化したプロンプトを生成する。

GATEの概要

　LLMを使用する際、プロンプトによって特定のタスクを指示できる。しかし、プロンプトの作成は、特に初心者にとっては難易度が高い。これは、ユーザーが自分の要求を完全に明確に把握していない場合や、それを的確に言葉で表現するのが困難な場合があるためだ。

　この問題に対する解決策として提案されたのが、モデル自体がユーザーから情報を引き出す「GATE」（Generative Active Task Elicitation）という学習フレームワークである。このフレームワークを利用すると、モデルは自由形式の質問と回答を通じてユーザーとテキストベースで対話を行い、その好みやニーズを探ることができる。そして、その情報をもとに効果的なプロンプトを生成する。

　ユーザーはシステムの質問に対して、「はい」「いいえ」あるいは文章で回答していく。以下は一例である。

ユーザー　面白いゲームが作りたいので、デザインしてください。

GATEシステム　ゲームを作る際に、どのようなプラットフォームやジャンルを考えていますか？ 例えば、モバイルゲーム、PCゲーム、アーケードゲームなどが考えられます。

ユーザー　モバイルゲームを考えています。特にパズルゲームが好きなので、それに関連したものが良いです。

GATEシステム　了解しました。パズルゲームを作成する場合、ゲームの目的やルールは既に考えていますか？それとも、インスピレーションを得るための例や提案が欲しいですか？

ユーザー　実は、まだ具体的なルールは決めていません。何か新しいコンセプトの提案があれば聞きたいです。

GATEシステム　了解しました。新しいコンセプトの一つとして、時間を操作する要素を取り入れたパズルゲームはいかがでしょうか？　プレイヤーは時間を逆行させたり、一時停止させたりして、パズルを解決することが求められます。このコンセプトは、独自性を持たせつつ、プレイヤーに新しい挑戦を提供することができます。

ユーザー　それは面白そうですね。もう少し詳しくそのゲームの仕組みやルールを教えてもらえますか？

GATEシステム　もちろんです。ゲームのステージはいくつかのブロックや障害物で構成され、プレイヤーの目的はゴール地点にたどり着くことです。しかし、通常の方法では進めない場面が多々あります。そこで、時間を逆行させることで以前の状態に戻したり、時間を止めて物を動かしたりすることで、障害物をクリアしてゴールに到達することが目指されます。

ユーザー　それでお願いします。

• 最終的なプロンプト：時間を操作して、障害物がたくさんあるステージを進み、ゴールを目指すモバイル用のパズルゲームをデザインしてください。プレイヤーは時間を巻き戻したり、一時停止したりして、ステージをクリアすることができます。

調査する3つの領域と実際の会話の一部

　モデルの能力を評価するために「コンテンツの推薦」（ユーザーが読みたいオンライン記事を予測する能力）「道徳的判断」（与えられたシナリオが適切かどうかを予測する能力）「メールの検証」（提供されたメールアドレスの有効性をユーザーの意見と照らし合わせて評価する能力）の3つの領域でのテストを実施した。

　その結果、GATEは他の学習モデルに比べ、人の好みをより正確に理解できることが明らかとなった。特に、コンテンツの推薦とメールの検証の領域で高いパフォーマンスを達成した。

Source and Image Credits: Belinda Z. Li, Alex Tamkin, Noah Goodman, Jacob Andreas. Eliciting Human Preferences with Language Models