この薬、安全？ ウソ言ってない？を判断する側が、自らウソをつくスタイル。
トランプ政権で保健福祉長官に就任したロバート・F・ケネディ・ジュニア氏は、米国食品医薬品局（FDA）など関連省庁での生成AIの使用を強く推奨しています。最近も保守派コメンテーターのタッカー・カールソン氏に対し、AIによって新薬の承認を｢とても、とても早く｣できるだろうと希望を語っていました。
でもCNNによれば、彼の配下でAIの活用が進んでいるのは確からしいのですが、その効果は裏目に出ているようです。というのも、FDAのAIツール｢Elsa｣が、フェイクの研究をでっち上げているのです。
取材先の半分がでっち上げを証言
CNNがFDAの現役および過去の職員6人から取材したところ、うち3人は、Elsaが議事録や要約の作成に役立ったと答えていました。でも残る3人は、Elsaが存在しない論文をでっち上げていたことを証言しました。いわゆる｢ハルシネーション｣です。または、実在の論文について、本来の内容とは違う形で言及していることもあったそうです。
｢再確認する時間が取れないものは、すべて信頼できません。Elsaは自信満々でハルシネーションを起こすのです｣匿名のFDA職員はCNNに対し語っています。
これはAIチャットボットにも共通の大問題です。正確性を期するなら全て再確認が必要で、質の高い成果物を作ろうとすると結局余計な仕事を増やすことも多いのです。AIで時短ができるという主張は単に現実から目を背けているだけのことも多く、プログラマーを対象としたある研究では、AIを使うと効率がいいと予想された場合でも、実際はAIを使うことでタスクの所要時間が20％増加していたというものもあります。
ケネディ氏率いるMAHA（Make America Healthy Again＝米国を再び健康にする）委員会が今年5月に報告書を作成しましたが、そこでも言及されていた論文の多くがフェイクであることが発覚しました。非営利報道機関NOTUSの分析によれば、言及された論文のうち少なくとも7本は存在すらせず、それ以上の論文が、内容とは違う形で都合よく言及されていました。ただ、この報告書の作成にElsaが使われたのかどうかはわかっていません。
安かろう悪かろうなElsa
FDAのマーティ・マカリー長官は、6月2日にFDA全体でElsaの利用を開始させました。米Gizmodoにリークされた内部資料では、Elsaの運用には最初の4週間で1万2000ドル（約180万円）しかかかっておらず｢コスト効率が高い｣と謳われていました。マカリー氏はElsaの開始を発表する際、Elsaが｢スケジュールは前倒し、費用は予算以下｣だと言っていました。
が、やはり安かろう悪かろうということなんでしょうか。クオリティさえ気にしなければ、Elsaを使えば研究や報告書をどんどん作れるんですが、その真偽はあぶなっかしいです。そしてそのあぶなっかしさが、米国、ひいては世界の医療に、リアルな悪影響を与えてしまうかもしれません。
Elsaは新薬に関する20ページの文書を1段落に要約できるのですが、それが正確かどうかを確認する簡単な方法はありません。そして要約がある程度正確だったとしても、そもそも20ページの元文書の中に、専門家にしか見分けられないような危険な兆候があったとしたらどうでしょうか？ 結局、見落としがないか、要約が正確かをきちんと確認できる唯一の方法は、実際に報告書を読むことしかありません。
CNNに証言したFDA職員は、Elsaに基本的な質問、たとえば｢ある医薬品分類において、子どもに対して承認された薬は何種類か？｣といったことを聞いてテストしたそうです。Elsaは自信たっぷりに間違った答えを返し、間違いを指摘されると謝ったそうですが、AIに謝られてもどうしようもありません。
謎の前のめり
ケネディ氏が言うところの｢AIが新薬承認を早める｣というのがどういうワークフローなのかはわかっていませんが、彼は6月に下院議会の小委員会で証言し、Elsaはすでに｢新薬承認のスピードを速める｣ために使われていると言っていました。反ワクチン主義者として有名なケネディ氏ですが、ワクチンには懐疑的でも、AIが認める新薬はどんどん取り入れようということなんでしょうか…？
彼はまた議会に対し、今後4年間ですべての米国民にウェアラブル健康デバイスを装着させたいと言っていました。それと関係あるかはわかりませんが、トランプ氏が公衆衛生局長官に指名したケイシー・ミーンズ氏は、糖尿病を患っていない人の血糖値をモニターするLevelsというウェアラブル企業を所有しています。専門家によれば、糖尿病患者でない限り、血糖値をモニターする必要はないそうです。なおミーンズ氏はケネディ氏と懇意ではありますが、まだ｢指名｣されただけで、就任するには上院議会の承認が必要です。
ともあれマカリー氏はCNNに対し、Elsaは｢ハルシネーションする可能性もある｣と認めましたが、それは他の大規模言語モデルや生成AIと｢まったく変わりはない｣と言いました。たしかに技術的にはそうかもしれませんが、FDAの新薬承認みたいな安全第一の場面で使うのはどうなんでしょうか…？
FDAの声明にトランプみ
CNNの報道を受けて、FDAの｢即応（rapid response）｣部門のウィリアム・マロニー氏は、AI利用についての声明を送ってきました。
｢FDAからCNNに対し提供した情報は間違った扱いをされ、文脈から切り取られています｣とマロニー氏。米Gizmodoからは、CNNの報道のどの部分が間違った扱いとか文脈からの切り取りなのかを聞いてみましたが、マロニー氏からの回答はありませんでした。また、報道の中で不正確な部分があったのかも確認しましたが、その質問もスルーされています。
FDAは、独自のAIツール・Elsaの成長と進化のサクセスストーリーを共有しようと楽しみにしていました。残念ながらCNNは、不満を持った元職員やElsaの現行バージョンを使ったこともない人物の話で記事を作ることを判断したようです。
マロニー氏からのメールで、FDAのトランプ支配をありありと実感したのは、こんなくだりでした。
この記事における唯一の｢ハルシネーション｣は、CNNの失敗した報道だけです。
※商品を購入すると、売上の一部が販売プラットフォームよりメディアジーンに還元されることがあります。掲載されている情報は執筆時点の情報、または自動で更新されています。
