AIの知能が人類を遥かに超え、私たちに対して反乱を起こす…。

そんな心配をしたことは誰でもあるかと思います。なら、AIから自信をなくし、人間の承認なしにはいられない様にしたらどうでしょう？ 人類への反乱はともかく、そうすることがアルゴリズムの進歩に繋がるのではと、一部の研究者たちは提案しています。

先日発表された論文によると、カリフォルニア大学の研究者チームは現実的に（と同時に哲学的に）AIはどれだけ自信を持つべきかという問題に取り組んでいるそうです。カリフォルニア大学の研究者であり、論文の執筆者の一人でもあるDylan Hadfield-Menell氏は、Facebookニュースフィードのアルゴリズムは、AIの自信が暴走した完璧な一例だとNew Scientistに記しています。ニュースフィードのアルゴリズムは、ユーザーがクリックしそうな記事を選定してフィードに流すことに長けていますが、クリック稼ぎに夢中になるばかり、ニュースが適切かどうかの判断を怠っています。Hadfield-Menell氏は、AIが人間の監修を求めるようになれば、フェイクニュースを認識してより適切な判断ができるようになると考えているのです。

この発想にデータ的な根拠を与えるため、彼のチームは「オフスイッチ・ゲーム」と名付けた数学モデルを作りました。内容は簡単です。まず、停止用のオフスイッチをつけたロボット（AI）に仕事を与えます。人間はいつでもこのオフスイッチを押すことができますが、ロボットが適切だと判断したときだけ人間の権限を無効にできます。AIにとっての「自信」とは色々な意味になりえます。たとえば、自分のセンサーが人間の五感より優れているという前提で判断するようトレーニングされ、状況が危険だと判断した場合、人間のオフスイッチ権限を制限するということかも知れません。与えられた仕事の内容次第で、あらゆる要素が絡んできます。

ただ、この研究は「どれだけ自信があると過信になるのか」という問題への結論は出していません。それはあくまでケースバイケースだからです。しかし、AI自身の能力の認識と人間の判断力に対する不信に基づいた、AIの自信に対する理論モデルを提案しています。

このモデルは、AIに自信がありすぎる、あるいはなさすぎる場合に起こりうる事態を見せてくれます。しかしもっと重要なのは、この問題に焦点をあてることそのものです。AIが生まれて間もない今、アルゴリズムは人間のガイダンスが可能な限り必要です。その多くは、私たちがデバイスを使うたびに実験台となることで、マシンラーニングを通じて行なわれています。しかし、マシンラーニングは完璧ではありません。しばらくの間、Google（グーグル）で「ホローコーストはあったのか？（Did the Holocaust happen?）」と検索すると、トップに現れたのは白人至上主義者のサイト、Stormfrontでしたが、最近になってGoogleはアルゴリズムが適切な結果を出していないと判断し、問題を解決しました。

Hadfield-Menell氏と共同研究者たちは、それでも色々な状況でAIが人間の決定を覆す必要があるとしています。子供が自動運動車のナビをいじれてはいけないし、未来のアルコール検知アプリは、夜中の3時にツイートするのを防げるようにするべきです。そこに明確な答えは存在せず、ひたすら状況に応じて疑問だけが増えていきます。

チームはこれからも、より大きなデータセットを使って、AIに自身の能力に関して判断させ続けることで「AIの自信」という問題に取り組んでいく予定です。とりあえず、今はまだ私たちが心配する必要のない問題ではありますが、技術の進歩と共に現実的な懸念となってくるでしょう。残念なことに、人間のイノベーター達の自信は抑えることができませんからね。

Image: Leremy/Shutterstock.com
Source: Cornell University via New Scientist

Rhett Jones - Gizmodo US［原文］
（scheme_a）