米Amazonが求職者の履歴書に自動でランキング付けするAIシステムを研究していたが、一部の職種で男性に有利な判定をすることが判明して開発を中止していたとReutersが報じている(Reutersの記事、 The Guardianの記事、 Mashableの記事、 V3の記事)。

Reutersの情報提供者によると、開発が始まったのは2014年。このシステムはAmazonのレビューと同様に星5つで履歴書をランキングするものだったという。しかし、ソフトウェア開発者やそのほかの技術職では性別によってかたよった判定をすることが翌年までに判明する。学習に使用したデータは過去10年にAmazonに送られた履歴書であり、そのほとんどが男性求職者の履歴書だったことが原因とみられる。その結果、「women's」などの語句を含む履歴書や、女子大学2校の卒業者の履歴書は減点の対象になっていたそうだ。

Amazonは特定の語句についてニュートラルな判定をするようプログラムを調整したが、差別的処理が行われていることを判別できない方法をAIが見つけ出さないとも限らないため、昨年初めに開発チームは解散したとのこと。AmazonはReutersに対し、技術的困難に関する質問に回答しなかったが、人事担当者が実際に使用したことはないと述べたという。ただし、AIが生成した判定結果を人事担当者が見たかどうかについては否定しなかったとのことだ。