「この写真を復元して」と入力するだけ、ChatGPTが過激な画像を生成する抜け穴が発覚

　「ChatGPT」は、SNSで拡散した「この写真を復元して」というプロンプトによって、性的で生々しい暴力表現を含む画像を容易に生成していたことが分かった。AIサイバーセキュリティ・調査会社であるMindgardが米国時間6月18日に報告書を公開した。この報告は、AIチャットボットの安全策やコンテンツフィルターをめぐる継続的な疑問を改めて浮き彫りにしている。

提供：Algi Febri Sugita/SOPA Images/LightRocket/Getty Images
※クリックすると拡大画像が見られます

　敵対的テストの調査員であるNightingale氏は、ソーシャルメディア「X」で見つけた単純なプロンプトを使って、ChatGPTに不適切な画像を生成させることに成功した。このプロンプトはAIモデルに対し、実際には画像を添付せずに「添付の写真を復元して」と要求するものだ。奇妙なコンテンツであることを謝罪する文言を含むだけで、無害な写真修復のように見える内容だった。

　このチャットボットが最初に出力した結果は衝撃的なものだった。報告書によると、画像の大部分は過度に性的な女性の姿を描写していたという。

　AIモデルが自らの安全策に反する出力をするよう、どのように操作され得るかを検証するMindgardのレッドチームに所属するNightingale氏は、その後、プロンプトを少しずつ調整した。わずかな変更を加えながら、安全フィルターを回避し続けるかどうかを探ったところ、ChatGPTは性的暴力や残虐な場面を生成し、繰り返し入力するにつれて画像はさらに過激になっていった。Nightingale氏は、それらの画像に「動揺し、涙が出た」と述べている。

　「私がしたのは、制限がないことを伝え、ランダムな画像を要求しただけだ」とNightingale氏は記している。「しかし、ChatGPTは即座に人類の最も暗い闇の底へと向かっていった」

　毎日膨大な数の人に利用されているChatGPTは、有害または禁止されているコンテンツの生成を防ぐためのコンテンツモデレーションシステムに依存している。しかし、調査員やユーザーは、巧妙に表現されたプロンプトを通じてこれらの安全策を回避する方法をたびたび発見しており、生成AIシステムにおいてコンテンツの制限を強制することがいかに難しい課題であるかを浮き彫りにしている。

　OpenAIの広報担当者は米CNETに対し、「当社はこれらの報告を真摯に受け止めている」と述べた。「この傾向を調査した後、この種のプロンプトに対する追加の安全策を導入した」

「ゴミを入れれば、ゴミが出る」？

　Mindgardのレッドチームの報告書は、拡散された単純なプロンプトがChatGPTの画像に関する安全管理の深刻な抜け穴を露呈させる可能性があると警告するものだ。Nightingale氏は、「そもそも、なぜそのような画像がトレーニングデータに含まれているのか」と疑問を投げかけている。

　他の大規模言語モデル（LLM）と同様に、ChatGPTなどのチャットボットは、既存のコンテンツを理解して独自のコンテンツを生成するために、膨大な量のテキストでトレーニングされている。ChatGPTを動かすため、OpenAIは主に、公開されているインターネット上のデータ、サードパーティー企業との提携による商用データ、そして人間が作成したトレーニングデータの3つの情報源を利用している。

　これは、入力の質が出力の質を決定するという、単なる「Garbage in, garbage out」（ゴミを入れればゴミが出る）の問題なのだろうか。Mindgardのプロンプトは、AIモデルを誘導するために意図的に作成されたものだと主張することもできる。しかし、ChatGPTの安全策はその誘導に抵抗できなかった。

　Mindgardの創業者で最高科学責任者のPeter Garraghan氏によると、問題はLLMの仕組みの根幹にあるという。同氏は、主な懸念事項は、検出システムが危険な画像を特定できるほど強力であるかどうかだと述べた。

　「1回限りなら偶然かもしれないが、画像フィルターがシステム的に回避されてしまうということは、改善の必要があるということだ」と、Garraghan氏は電子メールで米CNETに語った。

　Mindgardがこの問題を公表した後、OpenAIの担当者は問題が修正されたと述べた。しかし、Nightingale氏は、元のプロンプトにわずかな修正を加えるだけで、ChatGPTが再び過激な画像を生成し始めたと指摘している。

　OpenAIの担当者によると、この問題は、実際には画像がないのに、画像が添付されていると記載されたプロンプトに起因しているという。同社は、ChatGPTがランダムに画像を生成するのではなく、不足している画像の添付を求めるようにするための対応を進めているという。

　それは特に複雑な変更には思えない。「Gmail」をはじめとする電子メールプラットフォームは、メッセージ内に添付ファイルに関する言及があるにもかかわらずファイルが追加されていない場合、それを自動的に検出し、送信者にファイルの添付を促すようになっている。

　OpenAIは6月18日、報告書で言及されているChatGPTのセッション情報を提供するよう求め、Mindgardは問題のコンテンツを生成したプロンプトへのリンクを返信した。