黒人の医療ニーズを低く見積もるアルゴリズム、その原因は「現実世界の不平等」にあった

重い病気にかかった患者がどんな治療を受けるかを、米国ではアルゴリズムの判断に一部頼って決めている。こうしたなか、19年10月25日に『サイエンス』誌に掲載された研究によると、数千万件単位の医療を左右するアルゴリズムが、黒人患者と比べて白人患者を体系的に優遇する結果をもたらしていたことが明らかになった。

ある米国の大規模医療機関の記録を分析したところ、糖尿病や腎臓疾患などの複雑で慢性的な疾病のある人向けの医療サーヴィスについて、白人患者が優先的に受けられるようソフトウェアのアルゴリズムが作用していることがわかったのだ。

黒人患者の医療ニーズを低く算定

この論文では調査対象となった病院の名は明らかにせず、「大規模な学術病院」とだけ記載している。この病院は米国内のほか多くの医療機関と同様に、特に複雑多岐にわたるニーズをもつプライマリーケア患者をアルゴリズムの助けを借りて見極めているという。

こうした現場で使われるソフトウェアは、複雑な慢性疾患の患者に対して手厚い追加サポートプログラム（個別の診療予約や看護チームなど）を薦めるようにできていることが多い。

今回、研究チームはこの医療機関で扱った約5万件の医療記録を分析し、アルゴリズムが黒人患者の医療ニーズを有意に低く算定している実態を突き止めた。アルゴリズムの計算に従って特にケアが必要な患者を選定すると、病状が同程度の場合、黒人患者より白人患者が優遇される傾向にあることが明らかになったのだ。

さらに、アルゴリズムがリスクスコアを同等と評価した黒人患者と白人患者を比較したところ、黒人患者のほうが血圧の数値が高い、糖尿病をうまくコントロールできていないなど、重度の健康問題を抱えていることが判明した。人種が理由で、追加サポートプログラムの対象から外される患者が出ていたのだ。

なおこの病院では、リスクスコアが一定数以上になる患者について、自動的に追加サポートプログラムの対象とするか、医師による個別の検討を実施する措置をとっていたという。

研究では、このアルゴリズムがもたらすバイアスにより、追加サポートを受ける黒人患者の割合が本来は約50パーセントいるはずのところ、実際には20パーセント足らずと半分以下にまで削減されていたと推測している。本来受けるべきだったケアを受けられなかった患者は、のちに緊急治療室へ運ばれたり入院を余儀なくされたりする可能性が高くなったと考えられるだろう。

「結果には明確な差が現れていました」と、今回の研究を実施したカリフォルニア大学バークレー校の研究者で医師のジアド・オーバーマイヤーは話す。この研究には、ほかにシカゴ大学とブリガム・アンド・ウイメンズ病院、マサチューセッツ総合病院（いずれもボストン）の医師らが参加している。

現実世界の不平等がアルゴリズムに反映された

論文は、アルゴリズムを提供した企業を明記していない。だがオーバーマイヤーいわく、同社は問題を認めて対応を進めているという。

オーバーマイヤーは、このアルゴリズムが7,000万人の患者に使われており、保険会社の系列会社が開発したと7月の講演で説明している。これを踏まえると、開発したのは医療保険大手ユナイテッドヘルスの子会社にあたるオプタム（Optum）だと考えられる。同社は自社製品について、コストを含む患者のリスクを予想するシステムで、「7,000万人以上の人々の命のマネジメント」に利用されていると記している。

オプタムに対し、このソフトウェアが同社の製品であるかを尋ねたところ、文書で回答が寄せられた。同社はそのなかで、医師はアルゴリズムにより算出された数字だけに基づいて患者にかかわる判断をすべきではないとの見方を示している。「ユーザーにも注意喚起していますが、こうしたツールは個々の患者のニーズを判断する医師の知見・知識に代わるものであるとみなすべきではありません」

今回調査したアルゴリズムでは、患者の健康リスクを算定する際の材料として、人種そのものは含まれていなかった。それでも偏った結果を生んでしまった事実からは、たとえ人種に関して中立なはずの手法であっても、現実社会にある不平等を反映するデータに適用すれば、やはり差別的な結果を再生する現実が伺える。

ソフトウェアの狙いは、患者の将来的な健康コスト［編註：健康問題に関連するコスト。医療費をはじめ広くは生産性の低下なども含む］を予測することにあった。健康コストは、つまるところ患者が抱える健康上のニーズの代用として使われていたのだ。

ソフトウェアのアルゴリズムは、患者が黒人でも白人でも、適正な範囲内で正確にコストを予測できるはずだった。ところが実際には、ヘルスケアを受けられる機会の不均衡という、米国社会の実態を再現するかたちになってしまった。今回の件は、社会の現実をそのまま反映するデータと最適化アルゴリズムを結びつける危険性を示すケーススタディであると言えるだろう。

研究対象となった病院はこのアルゴリズムを使い、込み入ったケアを提供する患者の選定根拠として、リスクスコアを採用した。つまり、将来的により多くのコストがかかりそうな患者が選ばれたのであり、実際の健康状態は考慮されていないことになる。

そして、米国では低所得者層は概して健康にかけるコストが低い。保険加入率が低いほか、医療機関にかかるための時間や交通手段、安定した仕事などをもたない人の割合が高いことが背景にある。そう指摘するのは、非営利団体Black Women’s Health Imperativeの代表を務めるリンダ・ゴーラー・ブラントだ。

黒人は白人よりも収入が低い傾向があるため、コストだけを考慮するアルゴリズムの判断では、病気の状態が同程度であれば白人より黒人の患者のほうが低リスクとみなされる。「患者が黒人であることが理由であるわけではなく、黒人としての体験が理由なのです。白人の貧困層やヒスパニック系を見れば、同様のパターンになっているでしょうね」とブラントは指摘する。

不平等は診察予約システムにも

ブラントは先日、ある調査報告を共同で発表した。一部の医療機関が患者の予約管理に採用している、いわゆる「スマートスケジューリング」ツールにも、同様の問題がある可能性を指摘したのだ。

こうしたツールは運用上、これまで予約を入れても来なかった過去のある患者を「オーヴァーブッキング枠」に入れようとする。研究では、オーヴァーブッキング方式を採用した場合、医療機関側は診療時間を有効に使えることが示されている。米国科学・工学・医学アカデミーが19年に開いたワークショップでも、退役軍人省関連の患者管理システムを扱ったオーヴァーブッキング枠が取り上げられている。

ブラントがサンタクララ大学とヴァージニア・コモンウェルス大学の研究者らと共同で実施した調査では、ソフトウェアを使ったオーヴァーブッキング方式が黒人の患者に不利に作用する可能性が指摘されていた。

黒人層は移動手段や仕事、育児関連の制約がある傾向が高く、予定通りに診療に行けないケースが出てくるからだ。このため、アルゴリズムの判断でオーヴァーブッキング枠に入れられる確率が上がり、結果的に病院で長く待たされてしまうことになる。

オーバーマイヤーは今回の研究を受け、統計上のリスクスコアを使った同様のアルゴリズムが、米国のヘルスケア業界でほかにも不均等な結果を招いていないか懸念を抱いているという。

こうしたソフトウェアやシステムがどう作用しているかを監査するために必要なデータは、外部からアクセスすることが難しいとオーバーマイヤーは言う。実際、患者の優先順位づけをするこの種のソフトは、米食品医薬品局（FDA）のような規制当局の管轄から外れているのが現状だ。

それでも黒人患者を不利にせず、込み入ったニーズをもつ患者をすくい上げるソフトを構築することはできる。オーバーマイヤーらの研究チームは、アルゴリズムの開発業者と協力し、将来の患者にかかるコストと今後1年間に持病が再発する回数を予測できるヴァージョンを開発・テストした。すると、白人患者と黒人患者の間にあった偏りは80パーセント以上削減されたという。

ブラック・ウーマンズ・ヘルス・インペラティヴの代表であるブラントは、こうした取り組みがもっと広く行なわれるようになってほしいという。患者にサーヴィスを提供する医療機関にとって、アルゴリズムは重要な役割を担うからだ。

ただし、健康面、医療面における不平等をもたらす根本的な原因への対処も忘れてはならないと、ブラントは指摘する。介護休暇や職場環境の改善、医療機関のより柔軟な診療体制など、社会の制度を整備し、是正していく必要も当然ある。

「ミドルクラス以外の人でも必要ならいつでも病院へ行け、それが当たり前にできる仕組みを整えなければなりません。

人工知能の思考過程を可視化する、「AI監視ツール」を生み出すスタートアップ企業たち

Apple Cardに発覚した“性差別”問題から、「性別を見ないアルゴリズム」に潜むリスクが浮き彫りに

フェイスブックのAIにも「認知バイアス」による偏見が潜んでいた

TEXT BY TOM SIMONITE

TRANSLATION BY NORIKO ISHIGAKI