BILLY H.C. KWOK/GETTY IMAGES

Twitterユーザーたちが9月、奇妙なラベル付けがされた自分の写真を投稿し始めた。そこには「顔」といった当たり前すぎてかえって当惑するようなラベルが貼られている一方で、なかなかつらい真実を再認識させられるラベルもあった。ちなみにわたしは「何の影響力もない人物」。とるに足らない、“誰でもない”人間であると宣告されたのである。

それはともかく、もっと問題のあるラベルもたくさんあった。「強姦の容疑者」や「債務者」といった表記、そして「黒人」だけでなく「ニグロ」や「ネグロイド」というラベリングまで見られたのだ。

これらはすべて、「ImageNet Roulette」というプロジェクトによるものだった。アーティストのトレヴァー・パグレンと研究者のケイト・クロフォードによる取り組みで、人工知能（AI）に欠陥のあるデータを与えることの危うさを示すことが狙いである［編註：このプロジェクトはすでに終了している］

偏見が含まれる2,395ものラベリング

プロジェクトの“標的”は、AI分野における重要なリソースのひとつである「ImageNet」だった。ImageNetは1,400万件の画像が登録されたデータベースで、自律走行車から顔認識まであらゆるものに使われているディープラーニング（深層学習）の可能性を引き出すものとされている。

このほど話題になったImageNet Rouletteのラベリングのアルゴリズムは、ImageNetに登録された画像によって訓練されていた。ImageNetに登録されていた人物の写真は2,395ものカテゴリーによってラベリングされており、そのラベルは「だらしない女（slatterns）」から「ウズベク族（Uzbeks）」まで多岐にわたる。

「ImageNetの“中身”をこじ開けて、そこに登録された人物写真に人々の目を向けたかったのです」と、パグレンは語る。公開されるやいなやネット上で注目された今回の実験は、多く課題を浮き彫りにした。そもそも、なぜこんなラベルがつくられたのか。また、なぜそれが残っていたのかという疑問だ。

「ImageNet Roulette」のスクリーンショット。『WIRED』US版のエディターである著者の画像は、「ImageNet」によって「心理言語学者」とラベリングされた。IMAGE BY GREGORY BARBER/IMAGENET ROULETTE

これらの疑問への答えは、未熟な科学だったAIが日常的なツールへと急速に進化したことに加えて、大量のデータのなかにバイアスになりかねない情報が潜んでいることに根ざしている。そしてこの問題は、最近になってAI分野の研究者たちから注目され始めている。

そこにはImageNetの開発者たちも含まれる。開発者たちは自分たちがつくったデータベースの欠陥について十分に認識しており、この1年以上は「人」関係のラベルにおける問題の解決に取り組んできたのだという。開発者たちは、人物の写真が研究者たちに利用されることはめったにないとしながらも、データセットから「バイアスの除去」を進めているのだと語る。

アルゴリズムのルーツは80年代にあり

こうしたバイアス除去の取り組みの一環として、1,400万枚あった画像の大半が2019年1月、スタンフォード大学のサーヴァーから削除された。ImageNetの運営チームによって侮辱的とみなされるカテゴリーが見直され、画像分類の多様化が進められた結果だ。

さらに運営チームは、「非視覚的（nonvisual）」と判断したカテゴリーを削除する計画だ。これは不思議なことではない。画像認識の文脈における何らかの“不正”や潜在的なバイアスがなければ、いったいどうやってアルゴリズムが人物の写真を「バハマ人（Bahamian）」や「債務者（debtor）」であると認識するのだろうか。なお、ImageNetの運営チームは今年8月、こうした改善の手法を説明した文書を査読のために提出している。

それでも今回の問題は、ほとんど忘れられたようなデータ元から、いかにバイアスが拡散しうるのかを物語っている。ImageNetの場合は、そのルーツは1980年代半ばにプリンストン大学で取り組まれていた「WordNet」というプロジェクトにあった。WordNetは、心理学者と言語学者が「概念的な辞書」を提供するための取り組みであり、そこでは言葉がそれぞれ関連する意味の階層構造によって整理されていた。

この仕組みに基づけば、例えば動物から脊椎動物、犬、ハスキー犬へと導かれるかもしれない。途中で分岐して、ネコ、トラネコへと進むかもしれない。このデータベースは「メリアム＝ウェブスター大学辞典」より幅広い範囲をカヴァーしており、謎のデザートから時代おくれのスラングまでが含まれていた。

「当時は社会において適切と考えられていた多くの言葉が、いまでは完全に不適切とみなされるようになっています」と、ウォータールー大学で計算機科学を研究する教授のアレクサンダー・ウォンは指摘する。

タスク全体の規模が大きいことに原因？

プリンストン大学の研究者として2009年当時、ImageNetの開発に携わった李凱（カイ・リー）や李飛飛（フェイフェイ・リー）といったAIの権威たちは、WordNetと同じような階層構造が画像にも適用できれば、物体の識別と分類の手法をAIに教えるうえで有効なツールになると考えた。そして実際に作成を目指したのである。

それは壮大な野望だった。WordNetをひな形にして、名詞の視覚的なライブラリーをつくろうというのである。しかし、画像に注釈を付けていく作業には時間とコストがかかった。特にプリンストンの学部生たちにアルバイトとして任せていたのが問題だった。

最終的にはアマゾンのクラウドソーシングサーヴィス「Mechanical Turk」を利用して、外部の人材を活用して作業規模を拡大することになった。画像に写っている物体の認識や不適切なものの削除は、これらの外部の人々が担うことになった。

ImageNetの研究者は、侮辱的だったり無神経だったりするカテゴリーが含まれていたのは、タスク全体の規模が大きいことに原因があると結論づけている。最終的に候補となった画像の数は1億6,000万枚にもなり、それを50,000人が評価したのだ。

データセットにおける問題

また研究者たちの指摘によると、「人物」の写真のうち実際に使われたものはごく一部だったという。というのも、ImageNetで参照されるデータとは、通常は「ImageNet Challenge」で使われる縮小版データセットのことだからだ。ImageNet Challengeとは、画像に写るオブジェクトを検出・分類するAIを研究者たちのチームが構築し、その能力を競うコンテストのことである。

100万枚強が用意される画像に対して、本来ならオブジェクトの種別は20,000種類ほどある。ところがコンテストでは、1,000種類に限定されていた。そのうち「人物」のカテゴリーには、スキューバダイヴァー、新郎、野球選手という3つしかなかった。こうした限定されたデータセットを使って訓練されたモデルのうち最良のものは、通常ほかの研究や現実世界のアプリケーションで使われている。

今回話題になったImageNet Rouletteを開発したパグレンは、ImageNetからバイアスをなくす取り組みについては前進だが、10年にわたってデータが吟味されていなかったことが明らかになったと語っている。「データを構築した人々は、中身についてまったく考えていなかったようです」とパグレンは指摘する。なお、ImageNetのチームは、バイアスをなくすプロジェクトについて、機械学習をより公平なものにする「進行中の取り組み」の一環だとしている。

これらの不注意な点についてImageNetにおけるバイアスを研究したウォータールー大学のウォンは、構築当時の研究者らは、オブジェクトを検出するアルゴリズムを機能させる基礎の部分に集中していたからだろうと指摘する。

ディープラーニングが大成功したことは、AIの研究者たちにとっても驚きだった。「いまやAIは実用段階に入っています。そしていま、その社会的な影響に人々が目を向けているのです」とウォンは言う。

画像の削除が論争の的に

ImageNetの開発者らは、当初の品質管理が十分に効果を発揮できていなかったことを認めている。すでに説明した通り19年1月にはImageNet Challengeの画像を除くすべての画像が削除されたが、それまでは完全なデータセットがネットに残っていた。今後改めて公開されるものは、人物の画像が当初の半分以下になる予定だ。

また、侮辱的な画像やカテゴリー分類についてはユーザーが警告できるようになる。「侮辱的であるかどうかの定義は主観的であり、絶えず変化するものです」と、ImageNetのチームは述べている。

画像の削除は、それ自体が論争の的になった。「大量の画像データが、いきなり1月になって消えたことには驚きました」と、パグレンは言う。「これは歴史的に重要なデータベースなのです」

パグレンは、これらのデータはダウンロードされた状態であちこちのサーヴァーや家庭のコンピューターに残されていると指摘する。このため元データを削除したところで、かえってバイアスの再現や研究が難しくなるだけだと、彼は言う。

人物以外のカテゴリーの対応にも課題

バイアスをなくすプロジェクトの一環としてデータが削除されたことを知って、研究者たちですら驚いた。ウォータールー大学のウォンの下で学ぶ大学院生のクリス・ダルハンティは今年、ImageNetのチームに連絡してデータの提供を求めたが、返答はなかったという。

ダルハンティの考えによると、データが削除されたのは、ImageNetのサイトの老朽化が進んだことによる技術的な問題が影響している可能性があるという。なお、ImageNetのチームはデータ削除の判断に関する質問には回答しなかったが、再度入手できるようにする可能性についてはほかの研究者たちと議論すると答えている。

パグレンとクロフォードはImageNet Rouletteに関する論文において、ImageNetからの画像の削除は、ほかの機関による同じような対応にも似ていると指摘している。例えばマイクロソフトは、「MS-Celeb」というデータベースを19年6月に削除している。これは『フィナンシャル・タイムズ』による調査報道のあとのことだ。

ImageNetによるバイアスをなくす取り組みについて、ウォンは「よい第一歩である」と言う。その一方で彼は、ImageNetがさらに計画を進め、人のカテゴリー以外のバイアスにも目を向けることを期待している。ウォンによると、「人ではない」画像の約15パーセントにおいて、実際にはフレーム内に人が含まれている。

これにより、ラベル同士の不適切な結びつきにつながる可能性があると、ある研究チームは指摘している。例えば、「黒人」と「バスケットボール」を関連づけたり、コンピューターを若い白人男性と結びつけたりといった具合だ。こうしたバイアスは、「人物」のラベルに含まれるモデルより、さらに広く使われるモデルに組み込まれてしまう可能性が高い。

中立的な方法は存在しない？

パグレンは、バイアスをなくす試みは成功しないかもしれないと指摘する。「情報を整理する中立的な方法なんて、ありません」と彼は言う。彼とクロフォードは、ほかの最近のデータセットを例に挙げる。このデータはセンシティヴなラベルに対して、さらに多くのニュアンスが含まれたアプローチがとられている。

またパグレンによると、IBMは顔の寸法を測定することで、顔に関してより「多様性」をもたらそうと試みているという。この試みが人による判断を改善することをふたりは期待してはいるが、そこには新たな問題が生じるとも指摘している。例えば、肌の色も測定したほうがいいのだろうか、といった疑問だ。その答えは、変わっていく社会の価値観を反映するものになることだろう。

「どのような分類のシステムであっても、そのときしか通用しないものになるでしょう」と、パグレンは言う。彼は、こうした領域においてAIがまったくの無知であることを示す展示会を企画した。まずは「これはリンゴではない」とラベリングされたマグリットのリンゴの絵からだ。果たしてAIのアルゴリズムに、この絵を理解させることはできるのだろうか。

※『WIRED』による人工知能（AI）の関連記事はこちら。

RELATED

グーグルは「中立性」を謳うが、画像検索からは「性差別」が浮き彫りになる

政治的対立を生むGoogle検索、そのアルゴリズムが抱える根深い問題

人工知能が「偏見」を学んでしまった──画像認識で「白人男性」より「黒人女性」の識別率が低かった理由