人工知能は自分がシャットダウンされることを予測できたとしたら、それを拒む
世界トップレベルの囲碁の棋士として知られるイ・セドル九段を倒した人工知能「AlphaGo」。
その開発元であるGoogle傘下のロンドン拠点のラボ「DeepMind」が、オックスフォード大学のFuture of Humanity Institutteと共同で、人工知能が “暴走” し、人間のコントロールを免れる方法を学習できないようにするためのフレームワークを開発したと表明した。
DeepMind社の研究員 Laurent Orseau（ローレン・オルソー）氏と、オックスフォード大学のFuture of Humanity Instituteに所属する哲学者 Stuart Armstrong（スチュアート・アームストロング）氏を中心とするチームによれば、
人工知能はいつでも適切に動作するとは言い難く、それを取り扱う者がなんらかの悪影響がおよぼしてしまうことを防ぐため、定期的に処理する必要があるかもしれない
とのこと。また、オルソー氏は、
人工知能がその時々の状況に応じて振る舞いを変えることができるようになり（中略）、自分がシャットダウンされることを予測できたとしたら、それを拒もうとするはず
とBusiness Insider誌の取材に対して答えた。
これを踏まえ研究員らは、今回のフレームワークを生み出したという。人工知能を取り扱う者が、定期的かつ安全に、人工知能の学習を遮断する機能を追加することに加え、人工知能がその遮断を免れる方法を学習できないようにするものだ。
研究員らによると、今のフレームワークでは強化学習の一種である「Q学習」のアルゴリズムは効果的に停止できたものの、別の「サルサ」は修正を施さないと停止できない場合もあったという。
すべてのアルゴリズムに停止措置が適応できるようになるかは現段階では不明
と研究員も認めた。
人工知能の “暴走” を完全に食い止めるために必要なこと
人工知能、あるいは人工知能を搭載したロボットの “暴走” を完全に食い止めるには何が必要かーー。
『Catalyst』では以前、道徳的に判断し行動することができる人工知能やロボット、いわゆる「Artificial Moral Agent （アーティフィシャル・モラル・エージェント）」という研究分野に注目する名古屋大学大学院 情報科学研究科 科学哲学研究室の久木田水生准教授を取材した。
久木田氏によると、道徳的なエージェントとして人間と共生する人工知能やロボットを開発するためには、「責任」を課さなければならないと指摘。
人工知能やロボットがなにか重大な問題を起こしたとしても、人間のように責任を取ることができなければ、「ロボットはあくまでもロボット」ということになるからです
人工知能やロボットに責任を取らせるためにはどうすればよいか。久木田氏は、
人間が罪を償う際に感じる「痛み」を実装することと、その痛みを感じるための前提となる「セルフインタレスト（自分にとっての利益・大切なこと）」を実装することが必要
という。しかし、それを可能にする技術は今はまだ存在しない。
参考：過熱するAIロボットブーム。本当に世界を変えたい起業家に必要な冷静さとは
技術が未成熟の今こそ倫理的観点からの監視が必要不可欠
完璧な技術が存在しないからこそ、人工知能の開発にとって倫理的観点からの監視は必要不可欠である。その思いは、今回の開発チームも共有しているようだ。
The Future of Humanity Instituteのトップを務めるNick Bostrom（ニック・ボストロム）氏は、人工知能は100年以内には人間の能力を超えると考えている。そして、人工知能が人間からのコントロールから逃れようとすることは十分にあり得るとも。過去には、
人工知能が時間をかけて知性で人間に追いついたとしたら、その後、人間を追い越すまでたいして時間はかからないだろう。人間の能力をはるかに超えたスーパーインテリジェントな人工知能は、われわれ人類が他の動物に比べて強い力をもつのと同様にパワフルな存在と言える。なぜなら、人類が動物に対して優位に立っているのは、筋力が強いからでも歯が鋭いからでもなく、知性で圧倒しているからだ
とコメントしている。
一方のDeepMind社も、自分たちが研究を進める最先端のテクノロジーに、社会にとって悪いインパクトを与えるリスクがあることを十分に承知している。
共同創業者であるDemis Hassabis（デミス・ハッサビス）氏、Mustafa Suleyman（ムスタファ・スリーマン）氏、 Shane Legg（シェーン・レッグ）氏は、DeepMind社をGoogleに売却する前に、同社が人工知能の倫理委員会を設置し、技術的進展を監視することを条件として提示していた。
われわれは社会にイノベーションをもたらすための技術だけでなく、倫理的観点に立った技術の開発も、今後注視していくべきだろう。
人工知能開発に求められる「倫理的観点」を知りたい読者にはこちらの記事もオススメ