データ分析の失敗が社会にもたらす害悪──『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』

あなたを支配し、社会を破壊する、AI・ビッグデータの罠

個人の信用度、職務遂行度、性格診断、投資モデルなど我々は様々なデータを元に分析モデルを作り上げて、その結果を元に昇進を決定したり採用を決定したりクビを決定しているわけだが、それがてんで間違っていたり意図的に誤用、あるいは悪用されていたらどうなるだろうか──といえばひどいことになるのは当たり前の話である。

『モデルによって審判が下されれば、たとえそれが誤りであろうと有害であろうと、私たちは抵抗することも抗議することもできない。しかも、そのような審判には、貧しい者や社会で虐げられている者を罰し、豊かな者をより豊かにするような傾向がある。』著者は、そうした有害なモデルを「数学的破壊兵器(Weapons of math Destruction:WMD)」と呼び、カテゴライズすることで警鐘をならしてみせる。

本書では一冊まるっと「これは数学的破壊兵器だ」「あれも数学的破壊兵器だ」といって教育、宣伝、犯罪、採用活動、クレジットカードなどの信用などそれぞれの領域でいかに人々がこの数学的破壊兵器の猛威の中にいるのかを紹介していき、最後に、では今後目指すべき方向性とはどこにあるのだろうかを論じてみせる。近年機械学習や深層学習などの技術を企業が採用する例も増えてきているが、これらの技術は性能はあげればあげるほどどのように最終的な結論、分析結果をアルゴリズムが弾き出したのかを説明することが難しいというジレンマを抱えるようになってもいる。

そうすると、たとえば採用の際の履歴書を評価するアルゴリズムがあったとして、そこに新しい履歴書を読み込ませたら、その人の3年後離職確率、予測貢献度などを弾き出してくれるかもしれないがその理由についてはプログラムを組んでいる人間も全然わからないということが普通に起こる。それが正しいのであれば企業側としては最初は問題ないのかもしれないが(このシステムのテストは長期にわたる必要があるだろう)、応募者もバカじゃないのでそんな選別が行われていると知ったらすぐに「履歴書判定アルゴリズム」に気に入られるような書き方をするようになるだろう。

　大学入試と同じで、こうしたプログラムの導入により、履歴書の作成準備にお金とリソースを割ける人が最終選考に残ることになる。そういう手順を踏まない人は、どれだけ履歴書を送ってもブラックホールに吸い込まれるばかりだということに、いつまで経っても気づかない可能性がある。ここでも、富と情報を持つ者が優位に立ち、貧しい者はますます失うのだ。

と、このあたりが本書で一貫していく「数学的破壊兵器が虐げられている者を罰し、豊かな者をより豊かにする」理屈の付け方の一例になる。実際、そういう傾向はあるだろう。とはいっても、じゃあそうしたアルゴリズムがなければ就活における貧富の格差は広がらないのかと言えば、まったくそんなことはない(今だってちゃんとした面接対策とそれ以前の準備に時間とお金をかけられる立場にいる人の方が有利なのはなんにもかわんないだろう)ケースが多いと思うんだけど、言いたいことはわかる。

もう少し適切な例を出すと、2009年にシカゴ市警は犯罪予測プログラムの開発費として200万ドルの資金提供を受け、予測アルゴリズムを開発した。開発チームが手がけたのは犯罪多発地区の抽出で、暴力犯罪を起こす可能性が高そうな人物約400人を選び出してリスト化し、殺人にかかわる可能性の高さでランク付けしたのだという。

統計学的にみれば犯罪多発地区に住む人間、犯罪者の知人など近くにいる人間は類似の行動を取る可能性が高い。だから、高校を中退した22歳のロバートは2013年、玄関の呼び鈴に答えてドアをあけると、そこには警官が立っていた──何もしてないのに──ということが起こってしまうのである。これなんかは「犯罪多発地区」に住み、「知人に犯罪者がいたから」というだけの話で、完全にとばっちりだ。

おわりに

本書は他にも10以上の具体的な数学的破壊兵器にまつわる話が紹介されていくが、同じような状況と理屈が展開するので紹介自体はこんなところでやめておこう。

最近でも中国が自国民を信用度でランク付けし行動を制限する目論見をたてており、数学的破壊兵器的な視点が必要なのは間違いない。たとえ結果的な整合性であったとしても継続的なアルゴリズムのテスト、貧しい人々がアルゴリズムによって無造作に弾かれることがないような配慮、公平性のためにどこまでモデルの精度を追求するのかという議論など、現状から改善・気をつけることができるポイントは数多くある。

その点に関しては完全に同意なのだが──ケチをつけるとしたら、「数学的破壊兵器」っていうのはちと言葉が強すぎるように思う。この世に存在する現象にわかりやすい名前をつけてカテゴライズすることで問題が見通しやすくなることはあるので、名前をつけるのはいいんだけど「破壊兵器」の単語はとりわけ強い言葉である。しかも数学的破壊兵器と呼ばれるものは意図的に状況を破壊したくて用いているわけではない(兵器として運用されていない)ものが対象のほとんどなのだから、インパクト目当てにつけられた不適切な言葉なんじゃないの、と思ってしまって印象が悪い。

最終的には『すべての数学的破壊兵器が極悪非道であるとは限らない。』などと言い始めるし、だったら最初から破壊兵器なんてひどい名前つけないほうがいいんじゃないのか。言っていることとしては頷くところの多い一冊なのだが。