人間でも「見間違える」ことならありますが、それとはまたちょっと違う話みたいです。

AIの弱みを掴んだ研究者らによって、3Dプリントの亀をライフルと誤認識させる検証が示されました。そのトリックはというと、1ピクセル変えただけ…。一体どういうことなのでしょうか。

通常、AIの物体認識は複雑なパターンマッチング（つまり柄合わせのようなもの）によって行なわれます。ソフトウェアが画像ピクセルを計測して、内蔵された物体の要素の設計図と照合するという仕組みです。

ピクセルをわずかに変えることでAIにまったく異なるものを認識させる検証を「1ピクセルアタック」と称してデザインしたのは、日本人研究者たち。これを活用したMIT研究者らによって行なわれた実験では、1,024ピクセルの画像をたった1ピクセル変えると74%の確立でアタックが成功し、5ピクセル変えると成功率は87%に増加するという結果が示されました。

さらにこの結果をもとに、2017年10月にはMITがアルゴリズムを利用してAIを混乱させる現象を進化させたのです。それまでは2D 画像を使ってソフトウェアを騙すことが可能だとされていましたが、今回は動く3Dのオブジェクトを誤認識したことで、さまざまなリスクが懸念されます。以下は、AIが3Dプリントの亀をライフルと認識するようすを示した動画です。

AIがライフルを誤認識するのは、あまり喜ばしいことではありません。今年9月には、セキュリティスタートアップのKnightscopeが新たな犯罪取り締まりロボットとして、空港や病院のセキュリティ補助となる監視装置や物体認識を装備した自動運転バギーを発表しています。スマートポリシング領域において物体認識は重要で、もし高レベルの脅威が関係者に誤通報されるようなことがあれば、多かれ少なかれさまざまなトラブルが予測できます。

いっぽう、モトローラやAxon（元はスタンガンメーカーのTaser）はボディカメラのリアルタイム物体検出に投資しています。もしAIが不当利用されて害のないものを危険物と認識したり、危険物を害のないものと認識したりすることがあったら…。ちょっと心配になってきますよね。

MIT発表論文の共同著者であるAnish Athalye氏は、この間違いだけを改良するだけでは脆弱性の克服にならないとし、課題がシンプルでないことを指摘しています。AIは複雑なパターンを単に認識するだけでなく、その照準や判断についてもっと学ぶ必要がありそうです。AthalyeはQuartzに対してこう述べました。

イメージを撮ってピクセルをわずかに調整し、ネットワークを完全に混乱させることはできないはずです。ニューラルネットワークは性能面でこれまでの技術を凌駕してきました。ですが、今回のような敵対要素の出現によって、実際には何が起きているのかを理解しきれていないことが明らかになったんです

今回の検証結果を受けて気になるのは、認識性能だけでなくその「照準や判断」といった能力を改善するのであれば、具体的にどうやって学習させるのかということ。こうした改善の作業が必然的にAIによる監視強化に繋がるとして、プライバシーへの配慮が急がれます。

私たちはすでに、ほぼ規制されていない永久的な監視社会で生活していて、たとえばアメリカでは成人の半数が連邦政府の顔認識データベースに登録されています。AIの活用によるプライバシーへの影響については、もはや不安の残る対価として受け入れるべきなのかもしれません。いずれにせよ、健康／セキュリティ／トランスポーテーションなど、各分野でAIによるパラダイムシフトが起きようとしている現代社会においては、今回の検証で示されたような不当利用は事前に予測し、回避しなければなりませんね。

Image: Kyushu University
Source: Quartz via MIT Technology Review, YouTube, Cornell University（1, 2）
Sidney Fussell - Gizmodo US［原文］

（Rina Fukazu）