AIを使う医者は診断ミスが16％減るというOpenAIの研究結果

ミスが発生する可能性がある場合にのみ作動する医療向けAIシステム「AI Consult」に関連する調査で、このAIシステムを使う医者は使わない医者と比べて診断ミスが16％減少したことがわかりました。OpenAIが調査結果を報告しています。

Pioneering an AI clinical copilot with Penda Health | OpenAI
https://openai.com/index/ai-clinical-copilot-penda-health/

OpenAIは、ケニアで医療サービスを展開しているPenda Healthと提携し、診察中にミスが発生しそうな重要なポイントを見つけると医者に伝えるというAIシステム「AI Consult」を複数の医療機関に提供しました。

臨床医は同じ日にあらゆる年齢層のあらゆる疾患を持つ患者を診察するため、広範な知識が求められますが、この複雑さにより医療過誤が頻発します。AI Consultはこれを助けるもので、医者が使う電子健康記録システムに統合され、診断ミス、薬剤の誤投与、患者への指示ミスなどを指摘します。

OpenAIは、15のクリニックで行われた3万9849件の診察をピックアップし、AI Consultがどのように役立っているのかを調査しました。全体のうち、AI Consultが利用されたのは2万0859件、利用されなかったのは1万8990件でした。この調査に108名の医者が協力し、5666件のランダムに選択された診察と、その文書を評価し、誤りを特定しました。

評価基準は「病歴」「検査の適切性」「診断の正確性」「治療の正確性」の4つでした。このうち4つとも、AIを利用した医者は利用しなかった医者よりもミスを起こす割合が低かったそうです。全体的に、AI Consultを導入したおかげで年間2万2000件の診断ミスと2万9000件の治療ミスを防止できたことが示されました。

AI Consultを利用した医者は「患者のケアの質が向上した」「適切な臨床判断を下すのに役立った」「学習ツールとしても最適だった」などと述べたそうです。

Penda Healthは、AI Consultの導入にあたりマンツーマンの指導を行い、適切な使い方を教育しました。これにより、導入初期は重要ではないとして見逃されがちだったエラーメッセージを医者が積極的に確認するようになりました。

また、一般的なトレーニングを受けたAI ConsultをPenda Healthの文化に合わせるよう、AIの追加訓練とフィードバックも実施していました。例えば、初期設定では子どもの血圧を測っていないときにエラーメッセージが表示されていましたが、Penda Healthでは子どもへの定期的な血圧測定を実施していないため、このエラーメッセージを消去したといった具合です。

これらの結果からOpenAIは、AIと現実世界のシステムを統合するに当たり今後課題となってくるのは、モデルの性能ではなく、実際のユースケースとのギャップを埋めることだと指摘しています。

OpenAIは「モデルと実装のギャップを埋めるためには、医療AIエコシステム全体での協調した取り組みが不可欠です。AIシステムを継続的に研究し拡大していく中で、AIが標準的な医療の信頼できる一部となること、この取り組みがAI活用を推進するためのインスピレーションと実践的な指針となることを願っています」と述べました。