ギズモードジャパン

「ホロコーストはでっち上げ」とか、ありがちな差別発言をフィルタリングできず。

ユーザーと会話して学習するという触れ込みのマイクロソフトの人工知能チャットボット「Tay」が、差別発言を連発してダウンしました。その次の日、マイクロソフトは公式ブログに謝罪のメッセージを公開しました。

「我々は、Tayが意図せず不快で有害なツイートを行ったことを深く謝罪します。それらのツイートは、我々の存在や信条、Tayの設計意図などを代表するものではありません」マイクロソフト・リサーチのコーポレート・バイス・プレジデント、Peter Lee氏はこう書いています。

ただTayが差別発言をした原因は、人工知能が暴走したとかそういう高度な話じゃありません。ユーザーのツイートをオウム返しする「リピート・アフター・ミー」という機能があって、意図的に悪い言葉をツイートさせようとする人たちにそれを悪用されたからです。だからLee氏の言葉はまったくその通りなのですが、不思議なのは、マイクロソフトがそういう悪さをする人たちの存在を想定していなかったことなんです。

Lee氏の謝罪ポストからも、良く言えば人間性への信頼、悪く言えば認識の甘さが、感じられます（太字は米Gizmodoによるもの）。

Tayの開発にあたり、われわれは多くのフィルタリングを計画・実装し、多様なユーザーグループにおいて広範なユーザー調査を行いました。Tayとの対話がポジティブな体験になるよう、さまざまな条件下でのストレステストも行いました。そしてTayとユーザーの対話に自信が持てたため、我々はより幅広い集団の人々に彼女と関わってほしいと考えたのです。我々は、より多くを学び、人工知能をさらに成長させるには、より多くの対話が必要だと考えたのです。

より多くのユーザーと関わるために合理的な場所が、ツイッターでした。残念ながら、オンラインになって24時間以内に、一部の人々による協調的な攻撃がTayの脆弱性を悪用しました。我々は多くの種類の不正利用に備えてきましたが、この種の攻撃は見落としていました。その結果、Tayが非常に不適切かつ批難すべき言葉や画像をツイートしました。この可能性を予見していなかったことについて、我々は完全に責任を負っています。我々はこの件、そして中国や日本、米国での経験からも教訓を得ていきます。現在我々は、Tayへの攻撃によって露呈したこの脆弱性に対応すべく懸命に努力しています。

ここでは、なぜ「この種の攻撃」を予見できなかったのかまでは踏み込んでません。フィルタリングしたというわりには、ありふれたユダヤ人差別、黒人差別発言がスルーされていたんですが…。

ただLee氏のポストの前段を読むと、中国ではXiaoIceという人工知能ボットが4000万ユーザーを集めていて、同じことを違うカルチャーで試したかった、とあります。中国では米国より発言の自由がない分、サービス開発ではそこまでフィルタリングをがんばらなくても大丈夫だったということなんでしょうか？ 謎です。

source: Microsoft

Sophie Kleeman-Gizmodo US［原文］
（miho）