ニューヨークにあるゴールドマン・サックスの本社。CHRISTOPHER LEE/BLOOMBERG/GETTY IMAGES

アップルが今年8月に米国でサーヴィスを開始したクレジットカード「Apple Card」が、大きな課題に直面している。発行時に付与される利用限度額が、男性より女性のほうが低いらしいことにユーザーが気づいたのだ。

この情報はTwitterで広まり、影響力のあるテック関係者らがApple Cardのことを「とんでもない性差別主義」「本当に最悪どころじゃない」などと非難している。物腰の柔らかいことで知られるアップル共同創業者のスティーヴ・ウォズニアックでさえ、丁寧な言い回しではあるが、このカードには女性蔑視の傾向が潜んでいるかもしれないと書き込んでいる。

TwitterのタイムラインにおいてApple Cardに対する批判が高まるなか、ウォール街の当局も動いた。金融規則に違反していないか、調査して判断することを明らかにしたのだ。

性別をデータとして使用していない？

アップルの反応は、さらなる混乱と疑念を招くだけだった。同社の誰ひとりとしてアルゴリズムの正当性を証明できないどころか、どう機能しれいるのかさえも説明できなかったようなのだ。一方、Apple Cardの発行元であるゴールドマン・サックスは、すぐにアルゴリズムには性差別の要素は含まれていないと主張したが、証拠を示すことはできなかった。

そしてついに、ゴールドマンは鉄壁の防御と思えるような理論を持ち出した。アルゴリズムは第三者によって潜在的なバイアスの可能性を精査されているだけでなく、そもそも性別をデータとして入力していないと説明したのだ。顧客の性別を知らない銀行が、どうやって性差別できるのか──というわけだ。

これは二重の意味で誤解を招く説明である。第一に、性別を「分析対象としないように」プログラムされている場合でも、アルゴリズムが性差別を行うことは完全に可能である。第二に、性別などの重要な項目を意図的に分析しないようにすると、企業がその変数に関するバイアスを発見・防止したり、逆バイアスをかけたりすることを困難にするだけである。

第一の点については、より明白である。性別を分析対象としないアルゴリズムであっても、性別と相関するデータを取り込んで利用する限り、女性に対するバイアスが生じてしまう可能性がある。このような「代理変数」がさまざまなアルゴリズムで望ましくないバイアスを引き起こすケースがあることは、多くの研究で証明されている。

ある研究によると、使用しているパソコンがMacかWindows PCかといった単純なデータから、信用力を予測できることが示されている。自宅の住所のようなデータが、人種の代理変数として機能する可能性もある。同じように、買い物をする場所は性別と重なる情報であると考えられている。

ウォール街の元クオンツ・アナリストであるキャシー・オニールは、著書『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』で、金融だけでなく教育や刑事司法、医療の分野においても、代理変数によって恐ろしくバイアスのかかった不公平な自動化システムが生み出されたケースが多数存在することを説明している。

「性別データを使わなければいい」という危険な誤解

そもそもデータを入力しないければバイアスを排除できるという考えは、「非常に一般的だが危険な誤解である」と、サンフランシスコ大学教授のレイチェル・トーマスは語る。トーマスはAIに関する知識を広めるプロジェクト「Fast.ai」の共同創設者でもある。

一般消費者向けの商品を扱う企業が消費者に関する重要な意思決定をアルゴリズムに頼るようになるにつれ、そして人々がこの慣習に疑念を抱くようになるにつれ、ここで指摘された問題は企業にとって大きな頭痛の種になるだろう。

すでにアマゾンは、採用で利用していたアルゴリズムに潜む性差別が発覚し、使用を停止している。グーグルは「Google 検索」における人種差別的なオートコンプリートで批判を受け、IBMとマイクロソフトの顔認識アルゴリズムは女性より男性、ほかの人種より白人の認識に優れていることが判明している。

つまり、バイアスが入り込んでいないことを確認するには、アルゴリズムを慎重に監査する必要があるのだ。ゴールドマンは今月、自社のアルゴリズムには監査が行なわれていることを明らかにしている。しかし、顧客の性別が収集されていないという事実は、監査の効果を低減させるだろう。トーマスによると、アルゴリズムにバイアスが潜んでいないことを確認するには、企業は逆に「性別や人種などの保護された属性を積極的に測定」しなければならないからだ。

アルゴリズム監査の重要性

ブルッキングス研究所が今年5月、アルゴリズムにおけるバイアスの検出と緩和に関する有益なレポートを公開している。このレポートでは、アルゴリズムに入力されるデータだけでなく出力も調査することで、女性と男性の扱いが概して異なるか、男女間のエラー率に違いがあるかを確認することが推奨されている。

だが、性別がわからなければ、こうしたテストを実施するのは極めて困難になる。監査担当者が既知の変数から性別を推測し、それに関するバイアスをテストを実行することは可能かもしれない。しかし、これは100パーセント正確ではないうえ、特定の人がバイアスを受けているかどうかを示すことはできないと、オニールは説明している。

またブルッキングス研究所のレポートは、アルゴリズムの導入後にはシステムを監視して意図せざるバイアスを発見するために、技術の専門家だけでなく法律専門家も雇うことを勧めている。

金融ビジネスにおいては、アルゴリズムを用いた意思決定によって性別や人種などの情報を利用することが、信用機会均等法によって禁止されている。だが、この事実がかえってこれらの企業が重要な情報を収集することを妨げ、問題の悪化につながっている可能性があると、ブルッキングス研究所のレポートの共同執筆者でミシガン大学情報学部教授のポール・レズニックは指摘する。

「有意義なアルゴリズム監査を実施することは簡単ではありません」と、レズニックは語る。「しかし、監査を行うことは重要なのです」

※『WIRED』によるアップルの関連記事はこちら。

RELATED

SNSの「おすすめ」が自殺を助長する：アルゴリズムによる悲しみを増やさないために、いま取り組むべきこ…

提供開始された「Apple Card」は、財布のない未来を先取りする

Amazonのアルゴリズムは、こうして「ディストピアな書店」をつくりだす