IMAGE BY ELENA LACEY

人工知能（AI）を専門とするスタートアップのClarifaiで働いていたリズ・オサリヴァンは2019年1月、上司に宛てた嘆願書を書いていた。その目的とは、同社が米国防総省と結んだ契約に、倫理上の制約を設けることを要求すること。当時『WIRED』US版は、ドローンが撮影した画像を機械学習で解析するという物議を醸す国防総省のプロジェクトに、Clarifaiが携わっていることをすでに報じていた。

そこでオサリヴァンは、攻撃や殺傷の対象を自律的に判断する兵器の開発に同社が貢献することはないと約束するよう、最高経営責任者（CEO）のマシュー・ズィーラーに強く要求したのだ。

ところがオサリヴァンによると、ズィーラーはその数日後の社内会議で嘆願をはねつけ、自律型兵器の開発に貢献することに問題があるとは考えていないとスタッフに告げたのだという。この件についてClarifaiにコメントを求めたが、回答は得られなかった。

オサリヴァンは自らの態度を明確にする決断をした。「辞職したんです。その週末はずっと泣いて過ごしました」と、彼女は言う。それでも週が明けた月曜には、事前の計画通りテクノロジーにおける公平性と透明性に関する学会へと旅立った。

そこで出会ったのが、米金融大手のキャピタル・ワンでAIプロジェクトを率いた経験をもつ、アダム・ウェンチェルだった。やがてふたりは、企業に対して導入後のAI制御をサポートするというビジネスにチャンスがあるかどうか、話し合いを始めた。

AIの思考過程をさかのぼることができるのか

オサリヴァンとウェンチェルは現在、スタートアップであるArthurAIの共同創業者に名を連ねている。

ArthurAIは、機械学習システムのパフォーマンスを監視するエンジニアへの支援ツールを提供している。このツールを使用すると、金融向けシステムがバイアスのかかった貸付や投資の判断をしているなどの問題を検知しやすくなる。ArthurAIは、AI時代におけるデジタルの安全性向上のためのツール開発によって利益を目指す、数ある企業の1社なのだ。

研究者やテック企業は、AIが間違いを犯すことに警戒を強めている。黒人の顔を対象とすると精度が低くなる顔認識アルゴリズムもそのひとつだ。マイクロソフトとグーグルは現在、自社のAIシステムによって倫理的あるいは法的な問題が生じる可能性を投資家に注意喚起している［日本語版記事］。

金融、ヘルスケア、政府といったあらゆる分野にAI技術が普及しつつあるなか、新たなセーフガードも同様に広めていく必要があるとオサリヴァンは言う。現在、ArthurAIの商業オペレーション部門のヴァイスプレジデントを務める彼女は、「AIシステムがいかに強力なものなのか、そしてその利点を活かすには責任ある方法が必要だという認識が広がりつつあります」と語っている。

ArthurAIや同様のスタートアップ企業は、最近のAIブームの原動力となっている機械学習の問題点に挑んでいる。機械学習モデルは人間が書く通常のコードとは異なり、融資判断を行うなどの特定の問題に対して、過去のデータからパターンを抽出することで自ら適応している。その適応や学習の過程で行われる多くの変更を、人間はそう簡単に理解することはできない。

「機械自身にコードを書かせているようなものなので、人間が論証するように設計されているわけではないのです」と、スタートアップのWeights & Biasesの創業者でCEOを務めるルーカス・ビーワルドは言う。同社は機械学習ソフトウェアのデバッグ作業を行うエンジニアをサポートするためのツールを提供している。

関連記事：進化し続けるAIのこと、あなたはどこまで知っている？：WIRED GUIDE 人工知能編

ブラックボックスを脱するために

研究者たちは一部の機械学習システムを、「ブラックボックス」と呼んでいる［日本語版記事］。開発者でさえ、システムがどのように作動しているのか、あるいは特定の決定がなぜなされたのかを、必ずしも正確に説明できるわけではないからだ。

とはいえArthurAIなどの企業は、このブラックボックス化の問題を完全に解決できると謳っているわけではない。機械学習ソフトウェアの行動を観察・可視化することで、精査しやすくするツールを提供しているのだ。

機械に巨額の投資を行ってきた大手テクノロジー企業も、自社での使用目的で同様のツールを開発している。フェイスブックのエンジニアは、求人広告表示のアルゴリズムがさまざまなバックグラウンドをもつ人々に対して正しく働くことを確認するために、「Fairness Flow」というツールを用いている。

しかし、大型のAIチームをもたない多くの企業は、こういったツールを自社開発することに消極的だ。そのため、Weights & Biasesのような企業に頼ることになるだろうとビーワルドは話す。同社の顧客であるトヨタ自動車の自動運転技術の研究所では、新しいデータを使って機械学習システムのトレーニングを行う際にWeights & Biasesのソフトウェアを用いて監視と記録を行っている。

これにより、エンジニアはシステムをより信頼性の高いものに調整しやすくなり、のちに何らかの不具合が発生した際も調査を迅速にできるようになると、ビーワルドは言う。2,000万ドル（約21.6億円）の資金を調達した同社は、独立系のAI研究機関「OpenAI」も顧客のひとつだ。OpenAIは、ロボティクスのプログラムにツールを使用しており、10月末にはルービックキューブを（ときどき）解くことできるロボットハンドを披露した［日本語版記事］。

技術開発を進める企業たち

ArthurAIのツールは、金融取引であれオンラインマーケティングであれ、導入後のAIの監視と保守において企業をサポートすることに重きを置いている。同社のツールを使えば、機械学習システムのパフォーマンスが時間の経過とともにどのように変化しているかを追跡することが可能になるのだ。

例えば、システムのトレーニングに用いたデータと市場の状況に差が生じることで、融資の提案を行う金融向けシステムが特定の顧客を対象から除外し始めたときなどに警告を発する。性別や人種によって差別的な影響のある与信判断を下せば、違法行為となる可能性もあるからだ。

また、2018年にサーヴィスの一環として、AIの透明化ツール「OpenScale」をローンチしたIBMや、1,000万ドル（約10.8億円）の資金を調達したスタートアップのFiddlerも、同様にAIの検査ツールを提供している。

IBM基礎研究所の主席科学者ルチール・プリによると、KPMGは「OpenScale」を用いて顧客のAIシステム監視をサポートしている。またテニスの全米オープンでも同ツールを使って、自動的に選択されたプレイヤーのハイライト映像が、性別やランキングの面でバランスがとれているかが確認された。一方のフィドラーは、金融情報企業のS&Pグローバルや、消費者金融のAffirmとの提携を結んでいる。

AI導入の後押しになる？

ArthurAIのCEOであるウェンチェルは、AIをモニタリング・監査する技術が、ヘルスケアなどのテクノロジー以外の分野にAIを深く浸透させるうえで役立つと語っている。彼は、AIシステムの信頼性に対する合理的な警戒心が、金融業界におけるAI導入の足枷になっていることを目の当たりにしたのだ。

「多くの組織が、意思決定のために機械学習を導入したがっています。しかしそのためには、正しい決定が行われているのか、そしてバイアスのかかった決定がなされていないかということを把握する手段が必要なのです」とウェンチェルは言う。ArthurAIの共同創業者には、同じくキャピタル・ワン出身のプリシラ・アレクサンダーと、メリーランド大学でAIを研究するジョン・ディッカーソン教授も名を連ねている。

また、同社はAIが考古学の分野で足場を築くうえでもひと役買っている。ハーヴァード大学の研究機関「ダンバートン・オークス」では、戦争で接近不能となり、危険に晒されているシリア古代建築の写真をカタログ化するプロセスを、コンピューターのアルゴリズムでどれだけ速められるかを調べるプロジェクトが進められている。

そして、このプロジェクトにおいても、ArthurAIの技術が用いられているのだ。ArthurAIのソフトウェアは、機械学習ソフトウェアが特定のラベル付けをした写真の、どの部分がその決定に影響したのかを注釈をつけて示すようになっている。

ダンバートンでエグゼクティヴ・ディレクターを務めるヨタ・バツァキは、これが機械学習ソフトウェアの長所と限界を明らかにすると同時に、自動化があまり進んでいない領域においてAIが受け入れられるうえで役立つだろうと話す。「機械学習モデルがどのように解釈したのか、いかにして“考えて”いるのかを評価することは、図書館員やその他の学者からの信頼を得るうえで欠かせないのです」

ハーヴァード大学の研究機関「ダンバートン・オークス」では、ArthurAIのソフトウェアを使用して、シリア建築の写真のカタログを作成する機械学習ソフトウェアの開発を進めている。PHOTOGRAPH BY ARTHURAI/DUMBARTON OAKS

適切な“規制”が技術者たちを安心させる

オサリヴァンは、いまもAIの規制を求める活動を続けている。非営利組織「Surveillance Technology Oversight Project（監視テクノロジーに対する監視プロジェクト）」の技術責任者を務めているほか、自律型兵器の国際的な禁止を求める「Campaign to Stop Killer Robots（キラーロボット反対運動）」の活動メンバーのひとりでもある。

とはいえ、オサリヴァンやほかのArthurAIの共同創業者は、政府あるいは国防を担う省庁であっても、AIの使用を全面的に禁止すべきだとは考えていない。同社は創業当初、米空軍を顧客に抱えていたこともある。

それはオクラホマ州ティンカー空軍基地で、B-52爆撃機用エンジンに影響を及ぼすサプライチェーン上の問題を予測するソフトウェアのプロトタイピングを6カ月間行うという契約内容で、サプライチェーン上の不要な支出や遅延を減らすことを目的としたものだった。

この種の取り組みは、機械に人間の生命や自由を奪う力を委ねることとはまったく異なるものだと、オサリヴァンは言う。ArthurAIは受託するすべてのプロジェクトについて、潜在的な影響を検討したうえで、正式な社内倫理規定に従って取り組んでいる。

「極端な使用事例については、やはり規制するか、決して日の目を見ることがないようにすることが必要です。それでも米国政府には、AIで改善できる領域が山ほどあります」と、オサリヴァンは語る。「制約が設けられていれば、わたしだけでなく、ほかの多くのテクノロジー関係者が、この分野でより安心して仕事ができるようになるはずです」

※『WIRED』によるAIの関連記事はこちら。

RELATED

Apple Cardに発覚した“性差別”問題から、「性別を見ないアルゴリズム」に潜むリスクが浮き彫り…

フェイスブックのAIにも「認知バイアス」による偏見が潜んでいた

AIが企業のリスク要因に？ グーグルとマイクロソフトが年次報告に記載した真意