http://japanese.engadget.com/2016/03/24/ai-tay/

マイクロソフトが、公開したばかりの学習型人工知能会話ボット「Tay」を緊急停止させました。
理由はTwitterでの会話を通じて人種差別や性差別、陰謀論を学習してしまい、極めて不適切な発言を連発するようになったため。

発言は直接引用するのも憚られますが、たとえば特定の人物について問われれば
放送禁止レベルの差別語で罵倒したり、ヒトラーを礼賛してホロコーストはでっち上げと主張するといった発言が残っています。
「Tay」は会話を通じた理解の研究を目的として開発された人工知能チャットボット。
Kik や GroupMe、TwitterといったメッセージングサービスやSNSでフレンドとして追加でき、
ユーザーと会話すればするほど賢くなるはずでした。

ターゲットは、米国でチャットアプリを多用する年齢層である18歳から24歳。なんでもない会話や質問に冗談を交えて答えたり、
ちょっとしたゲームをしたり、送られた写真にコメントを書き加えて返すことが基本機能です
。Tay自身は設定上は女性。若者らしく俗語や省略綴り、絵文字も多用します。

またユーザー個人について性別や好み、居住地や恋人の有無などを学ぶことで、相手を理解した
チャット相手になることも特徴です。このあたりはWindows 10標準のパーソナルアシスタントである
コルタナさんとも通じます。(注意書きによれば、収集したデータや会話は匿名化したうえでサービス向上のため
最長一年間保持されることがあります)。

要は昔からある人工無脳チャットボットを機械学習など最新の技術で高度化し、
膨大なユーザーの暇つぶし相手を通じて多くのデータを集め、自然な会話ができる人工知能を目指す実験です。
日本では同じくマイクロソフト製の仮想女子高生りんなちゃんがLINE公式アカウントとして話題になりました。