1. トップ
  2. 新着ニュース
  3. IT
  4. IT総合

「AIが神格化した世界」はディストピアか？　AIの誤判定で“3万人超”の人生狂わせたオランダ政府の事例

ITmedia NEWS / 2023年7月3日 8時5分

　ところが19年、この不正認定が誤りであったことが明らかになった。実はオランダ政府は、児童手当の不正受給を効率的に把握し、払い過ぎていたお金を回収する（彼らも厳しい予算の中で迅速に国民を支援する必要があった）ために、AIによる不正検知に取り組んでいたのである。

　そのアルゴリズムに不適切な点があり、レナーテさんのような家族を生み出してしまっていた。別の報道によれば、その数は3～7万人ともいわれ、レナーテさんのケースのように親元から引き離されることになった子供は1000人以上、さらには自宅の売却を余儀なくされたり、自殺したりする人も出たという。実際にレナーテさん以外にも、彼らと同様の裁判が合計6件起こっている。

●オランダ政府はなぜ誤認定を起こしたか？

　なぜこのような不手際が発生したのか。原因についてさまざまな分析が行われているが、その一つとして指摘されているのが、アルゴリズムに偏見が含まれていたことである。

　オランダでは外国から移住してきた人々、外国籍を持つ人々による各種手当の不正受給が発生しており、「Bulgarenfraude」（ブルガリア人による不正）などという名前が付けられる事件も発生している。これは、医療費や家賃の補助を目的とする給付金を不正に受け取ったとされる事件だ。

　不正を判断するアルゴリズムには国籍や民族がパラメータの一つとして組み込まれており、それが偏見を生み出す原因となったようだ。オランダ当局に対する監査を行ったプライスウオーターハウスクーパース（PwC）の報告によると「非西洋人的な外見」が判断要因として使われるケースまであったそうである。

　人種や民族などを何らかの予知のパラメータとすることは、必ずしも不適切な行為ではない。医療診断のように、身体的な違いが判断を大きく（そして正確に）左右する一因となる場合があるからだ。

　しかし、さまざまな要因が複雑に絡み合う社会問題においては、人種や民族をパラメータに含める際、それがバイアスを生まないよう慎重に対応する必要がある。実際にオランダのケースでは、その慎重さが十分でなかったために、大規模な誤認を生むAIをつくり出してしまったわけである。

●AIの“神格化”を回避せよ　「異議を唱えられること」の重要性

　この一件から得られる教訓は「AIのバイアスには注意せよ」だけではない。もう一つ大切なのは、AIが下した判断に異議を唱えられる仕組みを用意しておくことだ。

ITmedia NEWS
CCPA Notice
あなたにオススメ

この記事に関連するニュース

トピックスRSS

もっと見る

ランキング

もっと見る