「AIが神格化した世界」はディストピアか？　AIの誤判定で“3万人超”の人生狂わせたオランダ政府の事例

　レナーテさんのケースでは、彼女が「不正受給者である疑いが強い」というブラックリストに自分が載っていることをつかんだのは、児童手当の返金要求があった10年から実に9年後の19年のことだった。その間彼女は「不正」という判断を一方的に受け入れるしかなく、身の潔白を訴えても当局から聞き入れられることはなかった。

　しかし前述の通り、彼女と同じ誤認の被害にあった人物が、数万人単位で発生していたと見られている。中には彼女や、他に裁判を起こした人物と同様、「何かおかしい」と当局に訴えた人々も少なくなかったはずだ。それでもオランダ政府は誤りを認めず、長期にわたって問題が放置され、犠牲者を拡大する結果となった。

　もし訴えを正式に受け付け、審査するプロセスを整備し、それに備えて「なぜある人物が不正受給者だと判断されたか」を言語化し閲覧可能する仕組みを用意していれば、問題の発覚まで10年近くかかることはなかっただろう。

　そうでなくても、人間はAIが下した判断をうのみにしたり、それに異議を唱えられなくなったりする傾向があることが分かってきている。例えば、20年に発表された研究結果によれば、皮膚がんの診断を行うAIを実際の医師に使ってもらったところ、AIの診断結果に誤りが含まれていたとしても、それを受け入れてしまう医師が多く見られたそうである。

　またウォールストリートジャーナル紙は、既にAIを活用している医療現場で、患者の診察を行うアルゴリズムの判断結果に異議を唱えた医療行為者が、処分を受ける事例が生まれていると報じている。1つの判断がダイレクトに人の生死を左右する現場ですら、AIの意見に無批判に従ったり、それを疑うのを抑制したりするような慣行が見られるのであれば、より軽度な判断を行う現場であればなおさらだろう。

　こうしたAIの権威化、あるいは「神格化」を回避するには、その判断に容易に異議を唱えられる仕組みを用意しておくしかない。定期的にAIの判断を振り返り、精査する仕組みも大事だろう。そこで問題が見つかった際、被害者を救済できるよう、各種の記録を残したり一定の予算を確保しておいたりすることも必要になる。

　「そこまで対応をしていては、せっかく効率化や自動化を実現するために導入したAIの処理が度々中断されて、目指した効果が得られなくなる」と反対する声もあるかもしれない。確かに効率性は犠牲になるだろう。しかしAIが下す判断の重さによっては、効率性を優先することで犠牲になるものは極めて大きくなる。

　前述のオランダのケースでは、犠牲になったのは数万人単位の被害者の生活だった。中には家族が引き裂かれたり、自ら命を絶ったりしたケースもある。それほどの対価を払うものを正当化できる効率性など、極めてレアケースのはずだ。

　ちなみにオランダの事件は、政府に対する批判も生み、21年に当時の首相だったマルク・ルッテ氏が辞任する大きな要因となったといわれている。家族と引き裂かれるという問題のレベルとは比べものにならないが、不十分なガバナンスの下に導入されたAIは、組織のトップの首も危うくする。