AI社会論研究会

AI社会論研究会

1. 1. シンギュラリティ以前の問題 中川裕志 (東京大学／理化学研究所AIP) AI社会論研究会 2017/6/22 発表資料
2. 2. 主な参考書 • R.カーツワイル：ポスト･ヒューマン誕生 ，NHK出 版,2005 • J.バラット：人工知能 人類最後にして最悪の発明, ダ イヤモンド社, 2013 • J.マルコフ: 人工知能は敵か味方か, 日経BP社,2015 • T.H.ダベンポート, J.カービー:AI時代の勝者と敗者,日 経BP社,2016 • Nick Bostrom: Superintelligence, Oxford University Press. 2014 • マーティン・フォード: ロボットの脅威,日本経済新聞出 版社, 2015
3. 3. 予習：混乱している用語 その１ • 弱いAI vs 強いAI – 1970年代から哲学でSearlらによって議論された(現状では混 乱を招く用語） ？？？ • 目的特化型AI vs 汎用目的AI – 目的特化型AIは決まった目的に対し ては人間以上の能力をすでに持つ （AlphaGO) – 汎用目的だと右図のように多数の目 的特化型AIから適するAIを選択する だろう – 選択自体を行うAIの開発は難問 – 汎用目的AIを汎用AIと混同する人多 し（上のイメージなしに語る人）
4. 4. 混乱している用語 その２ • AGI (Artificial General Intelligence) ＝汎用AI – 人間のようにいろいろなタスクをいろいろな状況に応じて 処理できるAI – たぶん、一つの目的特化型AIの能力を別の目的にも流 用できる能力を持つと予想。 • SAI (Super intelligence) = 超知能 (Nick Bostrom) – SAIの能力は人間よりはるかに高く、自分の意志を持つ 意志とは「生存本能」から派生する。 – 生存本能には「個体の保存」と「種の保存」の2種類あり AIが種の保存を持った時が厄介（あまり議論されていな い） • Human2.0 (Ray Kurzweil)  （個体保存的）後述
5. 5. AIの創作活動 ：創作活動にコミットしたのは誰？ AIによって、く まなく創作物 候補を生成 AIによって評価 の高い創作物 に類似＊し、 ヒットしそうな 創作物を選別 過去の評価の高い創作 物の選択 (by AI) 過去の評価の高い創作物 鑑賞者たちの反応＝鑑 賞者たちの思想、感情 （著作権法2条） 末端の鑑賞者 AIを利用して作った 創作作品 ＊知財の場合は過去に類似し たものがないことを確認となる 鑑賞者たち の思想、感 情：著作権 法2条 このループで考 える必要あり
6. 6. AIの人格権 • AIに人格を与えるかどうかは、哲学の世界で は議論されている • 法律の世界ではAIはあくまでツール • だが、以上の著作権の問題にもあるようにAI に人格権（人間とは違うAI権？）を与えたほう が法理がすっきりする時代が来ないとも限ら ない • 著作権に関する考察はその前哨戦？
7. 7. 予習：シンギュラリティ以後 のポスト･ヒューマンとは • カーツワイル本によれば、シンギュラリティとは、 – Ｇ（遺伝子）、Ｎ（ナノテクノロジー）、Ｒ（人工知能など のロボット）の技術が指数関数的に発展し、 – 右図（＊）つまり特異点を境に急激な進展をすること • カーツワイルはシンギュラリティが2045年に起こ ると予想 • ポスト･ヒューマンとは、Ｇ、Ｎ、Ｒが特異点に達し た後にそれを取り入れた新バージョンの人間 –  もはや人間ではない？！？  シンギュラリティ＝ポストヒューマン という誤解はし ないように 時間 性能 ＊ 特 異 点
8. 8. ポスト･ヒューマンのおどろおどろしいイメージ 実現可能性低い ヒューマン1.0 つまり現代人 微少なカーボンナノチューブなど でできたナノロボットが血流に注 入され、疾病部位の治療、さらに は外界との通信を行う 遺伝子改変によって 病気に罹らなくして、 さらには老化原因の テロメアを改変して老 化しなくなる  不老不死？ インターネットを介して知 識を脳に直接ダウンロー ド、あるいは自分の知識 をアップロード ヒューマン2.0 あるいは ポスト･ヒューマン 不老不死、人類の知を全部持つ！、
9. 9. 予習：自意識とアイデンティティ  ポストヒューマンはさておいても現代AIは、人間に好意や悪意を持っ た行動をできる一歩手前まで来ています。 • その一歩を踏み越えるのは、人工知能が自意識とアイデンティティを 持つことではないでしょうか。  生存しなければいけないというアイデンティティ保持を前提にすると、  自意識を持つと、自分の生存に都合がよいか悪いかで対象の人間 に対する好意や悪意が生まれ  好意や悪意に沿って行動する • というシナリオは十分実効性があります。 • バラット、マルコフらのAI脅威論もこういった背景によっているが、彼 らは根本的な対処方法を示せていません。
10. 10. 哲学的問題 アイデンティティと自意識  人工知能は自意識を持てるか？ – カーツワイルは個人の独立した自意識の存在を証明でき ないという立場です。 – つまり、自意識をその人と他人との関係の一つとして捉え ています。 – したがって、人工知能は自意識など持たない – そもそも存在証明できないものなんですから、カーツワイ ルの主張は理論的には整合しています
11. 11. 哲学的問題 アイデンティティと自意識 朝起きたときの自分はなぜ昨日の自分と同じ なのか？というアイデンティティ維持の問題 – 記憶が同じだから？ でも、自分の記憶を完全に コピーしたロボットを作ったら、それは自分でしょ うか？ – 継続した自分ではない。ですから、少なくともアイ デンティティ継続の意識は切断されています。
12. 12. 少しずつ入れ替える • そこで、カーツワイルの提案するポスト･ヒューマンは • – 人間をGNRの各々において少しずつ人工的なモノに入れ替え て作るものらしいです – 結果として、人間とAI（人工知能）は区別されなくなります  ポスト･ヒューマン – 少しずつの入れ替えは実に巧妙なトリック！！ – というのは、自意識あるいは自己アイデンティティを保持したま ま、人間らしさを保つ人工知能になってしまえるからです。
13. 13. アイデンティティと自意識の継続  少しずつの入れ替えは実に巧妙なトリック – 心臓を人工心臓に入れ替えてもアイデンティティも自意識も変 わりません。 • 仮に自意識があったとしても • – 脳の一部、例えば、聴覚処理や視覚処理の部位を入れ替えて も、アイデンティティも自意識も変わりません – – ・・・ ということで、少しずつ入れ替えると結果としてできたポスト･ ヒューマンの太郎君も元の太郎君のアイデンティティと自意識を 継続して保持  このやり方で前ページの哲学的問題を巧妙に回避しました。
14. 14. アイデンティティと自意識の継続 カーツワイルは個人のアイデンティティとは、 脳を含む身体のパタンだとしている。 生物的細胞はどんどん入れ替わっていますが、 アイデンティティは保たれる  細胞たちが織りなすパタンこそが本質すな わちアイデンティティであると主張しています。
15. 15. 重要な予習：意識、自意識、存在目的 – 意識を持つ ＝ 現在の自分の状態を知る – 自意識を持つ＝ 現在の自分の意識を知る – 自己目的を持つ ＝ AI自体の生存  自己改造、自己複製を生産（人間に殺されないよう に 種を保存） AI自体が倫理観を持てるか？まったく不明（Nick Bostrom) むしろ、人間と同じアーキテクチャの人工生命体として AIを設計するほうがよい（全脳アーキテクチャ）
16. 16. Subsumption Architecture: Rod Brooks 外界＝多様な情報源 できるだけこのモジュー ル内で意識と反応 できるだけこのモジュー ル内で意識と反応 第1層 できるだけこのモジュー ル内での意識と反応 できるだけこのモジュー ル内での意識と反応 第N層 第2層 これらの層 を俯瞰 ＝メタ意識 ＝自意識 各モジュールは、下から入る情報にモジュール内で対応して下に何か を出力。ただし、モジュール内で対応しきれない場合は、上位モジュー ルに情報を上げる。
17. 17. Subsumption Architecture 外界＝多様な情報源 できるだけこのモ ジュール内で意識 と反応 できるだけこのモ ジュール内で意識 と反応 第1層 できるだけこのモ ジュール内での意 識と反応 できるだけこのモ ジュール内での意 識と反応 第N層 第2層 これらの層 を俯瞰 ＝メタ意識 ＝自意識 存在目的に対して合理的 にモジュールの内部機能、 あるいはモジュール全体 の構成を変更 存在目的
18. 18. 黒坂さんとのやりとり • 黒坂：サールの「中国語の部屋」に対する言語学（構造主義言語学）から の反駁は「シニフィアンとシニフィエに分かれる限り、中国人であっても中 国語は分かっていないかもしれない」となるので、「そうかもしれないので 「分かる・分からない」に別の与件と観測方法を与えるべきでは」という両 チャーチランドの指摘は、ミンスキーの論考との整合という観点からも、 合理的だと思うのです。 • 私：そこを議論するタネになるのがたぶん「存在目的」であろうと考えて います。だが、存在目的からダイレクトに意識までもってこれないので、 中間層としてBrooksのsubsumption architectureの重層的なレベルを考え るということがこの問題のヒントになるのではないかと考えております。 • 私：つまり、重層的なレベルを考えることによって、別の予見と観測方法 が入り込む余地ができるといえばよいのかな。 • 黒坂： たとえば昆虫はその場所に適した構造になり、それによって脊髄 反射さえも最適化されていくので、そうした環境最適を指向した機能性の 向上こそが、メタレベルの自意識なのかな、と思っています。
19. 19. • 私：はい。それで説明できると思います。だが、 環境最適化を思考するところで「自分が存在し 続ける」という存在目的がないと機能性の向上を 支える動機がなくなってしまいませんかね。です から、存在目的は個体保存の本能とも言い換え られます。 • 私： ちなみにAIが自分自身を保存する本能を持 つことがいわゆる脅威となるAIを誘発するという 議論は、バラット、マルコフ辺りも言っていますね。 反カーツワイル派はだいたいこの路線
20. 20. 本当の脅威 • 個体保存本能  種の保存 • 種の保存  個体保存が必要: 利己的な遺伝子 • AIが本当に脅威になるのはAIという種の保存本能 を持ち始めたとき – なぜなら種の保存のために無限増殖（既存の生物と同 じ）し、資源（含む人類）を食い尽くすかもしれないから – Nick Bostromは、暗にこの過程をおいている。 – ただし、AIはその進化速度の早さ故に1種のAIが全てを 支配するというロジック
21. 21. 複数種のAIたち – ただし、AIはその進化速度の早さ故に1種のAIが全てを 支配するというロジック – そのロジックにはいろいろな矛盾があり、鵜呑みにでき ない  多数のAIの分立のほうが自然ではないか。 • もし、複数種のAIが競争的共存をすると、 • AIたち（および人間）を構成要素とするAI社会がで き、人間風な倫理が構築されるかもしれない。 – 全脳アーキテクチャはその方向の道筋？
22. 22. シンギュラリティ以前の社会問題 － 人工知能と社会 －
23. 23. ポスト・ヒューマン以前 • 前ページのポスト・ヒューマンが本当に可能か？ – 2014年の計算機科学者のプエルトリコ会議（バイオ研究者が倫理基 準を決めたアシロマ会議の人工知能版）では、不可能とした – 人間に埋め込めるナノボットの開発は難事業。人間をはるかに越え た人工知能の力が必要という意見あり – 人間の能力を超えた人工知能ががん細胞のような不滅の無限増殖 能力を持たないために  アポトーシス（バラット本１４章） • アポトーシスとは細胞分裂したとき半数は死ぬという現象。人間は毎日 ７００億個の細胞が死んで垢になります。 – ポスト・ヒューマンが完成する時期、いわゆるシンギュラリティ以前に も人工知能の発展によって、いろいろな問題が起こると予想 – 以下では主として、シンギュラリティ以前に起こりそうな問題について
24. 24. 目次 • 研究者コミュニティはどう考えている？ • 拡張 対 置き換え • 人工知能が仕事を奪う • 拡張と置き換えの境界 – 自動運転の問題：通称 トロッコ問題 – 忘れられる権利 • ブラックボックス化進行中 – 責任体制 – 多数の人工知能エージェントがネット接続された金融システムの危険性 • 人工知能と軍事 • フィルターバブル • 比喩：利己的な遺伝子 • 人工知能とプライバシー – 忘れられる権利、プロファイリングおよびその拒否 – アンドロイドに気を許すか否か • 再び自意識とアイデンティティ
25. 25. 研究者コミュニティはどう考えている？ • アメリカ – 2009年の計算機科学者たちのアシロマ会議では、カーツワイルの提唱 する自律した人工知能が存在する可能性を否定（マルコフ本10章） • 2013年のグーグルのディープマインド買収を受けて – 2014年に行なわれた計算機科学者たちのプエルトリコ会議の結論は、 バイオのアシロマ会議に比べてまったく消極的（マルコフ本10章） – 研究者コミュニティに危機意識が足りないという状況はある人々には相 当問題視されている • 日本 – NIIの新井先生（東ロボ プロジェクトのリーダとして有名）が人工知能が 職業を奪う、という論を展開。 – 人工知能研究者は危機感が嫌い。 – 自分の研究を否定されたくない？バラ色の夢ばかり語る傾向が顕著。
26. 26. 拡張 対 置き換え • 人工知能は人間の能力を拡張するのか – ＩＡ: Intelligent Assistance • 人工知能は人間に置き換わるのか – ＡＩ: Artificial Intelligence • IA vs AI はマルコフ本の基本的視点（第4章にＡＩの歴史も含めて素晴 らしい記述がある） • IA vs AI は人工知能の創世記である60年前から対立してき た立場 – AIとIAの夏冬は逆（相補的）。 – AIに行き詰まると研究者はIAに流れる傾向あり  深層学習はIAかAIか？
27. 27. 人間はループの内か外か • IA vs AI と並行して議論されてきたのは、システム やタスク実行において人間がループの内側にい るか外側にいるかという設計上の起点 • 内側 だと IA的 – システムは人間の拡張。人間はシステムと共同作業 – IAが複雑高機能化すると人間も変わらざるを得ない • 外側 だと AI的 – システムは自律的に動き、人間はシステムに命令す るだけ
28. 28. 人工知能が仕事を奪う • 新しい技術が世に出ると今までの仕事が奪われる という事は、今に始まったことではなく、産業革命の ころから常に問題視された。 – そもそも技術は人間に変わって大変な仕事を肩代わり させたり、パフォーマンスをよくしたりする目的で開発さ れているんで、当然の帰結。 – 幸いにも、ある仕事が奪われるが、別の仕事が出現す ることで離職者が溢れるということにはならなかった。 – だから、人工知能の場合も同じだろうという希望的観測 があるが 今回ばかりは違うかもしれません
29. 29. 人工知能が仕事を奪う 今回ばかりは違うかもしれません マーティン・フォード本の１章から４章 – なぜなら、 • 人工知能は（特に強い人工知能）は、特殊な分野の処理 能力が高いだけではなく、 • 種々の応用分野における人工知能をうまく組み合わせる と汎用性の高いものになる可能性があり • シンギュラリティ以前でも、そのような柔軟性、汎用性はど んどん高くなっていく なので、いろいろな仕事が次々に浸食されていきそ うです。
30. 30. 工夫次第では人工知能には奪われな い仕事があるというが • ダベンポート本では、新しい仕事を見つけるた めの工夫の仕方を説明しています – 自動化されたシステムの上をいく（データなしで判断 する）仕事  いわゆる天才？ – 機械にできない仕事（人間同士の交流、説得） • パーソナルAIエージェントのほうが賢いかも
31. 31. 工夫次第では人工知能には奪われな い仕事があるというが – ビジネスと技術をつなぐ仕事 • マッチングはAIの得意な仕事 – 機械を導入しても経済的でない仕事 • AIの開発は安価になり、機械学習でニッチな仕事をするAIも安 価にできる – 人工知能を開発する仕事 • 人工知能の開発も人工知能が行なうようになるかも。 – 人工知能の出す結果や動きを人間に説明する仕事 • これも人工知能の動作可視化のテーマで、やはり人工知能に 頼らざるをえない
32. 32.  実は研究者も危ない  出版される論文数はどんどん増えて100万論文のオー ダー。 したがって、研究者といえども全部読めるわけが ない。  研究者自身に代わって、人工知能に読んでもらい、自分 のテーマに関連する少数に絞り込んでもらう  この時点で、そうとう人工知能依存症が進行。  人間の読者を想定した論文書きが必要かどうか疑問だ  そうなってくると、論文を書くよりは、データを揃えることが 大切で、そこから先はスキマのテーマ、未開拓のテーマを 探すところまで人工知能のお仕事。
33. 33.  そうなってくると、論文を書くよりは、データを揃えることが大切で、そ こから先はスキマのテーマ、未開拓のテーマを探すところまで人工 知能のお仕事。  そこまでいくと、人工知能の選んだテーマでデータを収集 する作業も大部分は人工知能任せ。  というような道筋を辿るとなると、現代的概念の「研 究者」というのは人工知能にとって代わられるかも  これからの研究者は、人工知能に代替できない研 究上のタスクを見極めないといけない時代  Creativityとは何か？を真剣に考えてみよう
34. 34. 工夫次第では人工知能には奪われない仕事が あるというが • ダベンポート本では、新しい仕事を見つけるための工夫の仕 方を説明。だが、扱っている成功例は、どう見てもトップレベ ルの才能ある人 • 特殊な才能のない一般人に対して、 – ニッチを狙えだの、 – 機械ができない対人関係をやれ、 • だのと説教しても説得性がないのです。 • 人工知能に職を奪われた才能のない普通の人はどうしたら よいのでしょうか？  ベーシックインカム論争 – 生活保護費をもらって仕事せずに暮らす、というのは財政的負担 だけではなく、本人も無気力化します（ダベンポート第10章）
35. 35. 工夫次第では人工知能には奪われない仕事が あるというが • 人工知能に職を奪われた才能のない普通の人 はどうしたらよいのでしょうか？ – 仕事を分け合い、低い所得で暮らさざるをえません。 せめて不公平感をなくしたいところです。 – この仕事分配に人工知能による公正な配分システ ムを使うことを松尾先生が提案しています。  それが理想の社会主義と松尾先生がお考えのよう です
36. 36. 工夫次第では人工知能には奪われない仕事が あるというが  それが理想の社会主義と松尾先生がお考えのようです どっちかというと現代のカースト制度に近いような。。。そ して、配分された仕事に文句はいえないように見えます 「人間も生き物だ。100万人の生き物を管理するのは骨が折れ る」（ホンハイ代表の言葉：ダベンポート本9章） 人工知能＝間違いがない という新興宗教のような状態？ – こうして、人工知能に文句を言うことができなくなってくる と、実質的に言論の自由も人権もない状況になりかねま せん 人工知能に対して文句を言える社会制度を考える必要 があります。 GDPR 22条： 計算機（人工知能）の決定に服さなくてよい権利
37. 37. 既存の技術やシステムを自動化すると • 人工知能が人間に置き換わり、人間が仕事処 理のループの外側に行ってしまうと • いざというとき、自動化されたシステムの代わり を人間が務めようとしても、普段からやってい なことはできません いざというときは人間が介入するといううたい文句 はよく耳にするが実際はできないということです。
38. 38. 例：車の自動運転 – 完全な自動運転はレベル４(制限地域），レベル5（全域） – いざというときだけ人間が介入するのがレベル３ • ところが、ふだん運転していない人がいざというときだ けハンドルを渡されても、人工知能以上の運転ができ るのでしょうか？ • レベル３はレベル４、５（完全自動運転）に比べて人間 との切り替え時が返って危険ではないでしょうか？ • 保険業界も疑問視
39. 39. 既存の技術やシステムを自動化すると • こうして人間が実際の仕事を人工知能に任せきりにしてしまう と – 人間はどんどんスキルを忘れるし、後輩に引き継ぐこともできない – 専門スキルが人間から消滅する（仕方ないのかも） – ということから見て、一度、あるタスクを自動化したら、もう後戻りは できない • 安い労働力目当てで海外に生産拠点を移していた産業が自 動化によって海外メリットが薄れ、国内回帰する例もあるが – IT産業のオフショアリングは高スキルな職業を奪う  自動化で大きな労働人口は必要なくなっているので、仕事が 増えるわけではない  つまり、自動化は後戻りできない道
40. 40. 自律する人工知能は人間を幸福にしないこと が多いと言えましょう。 – やる気を失う、どんどん能力退化、 – ある人が職を奪われるだけではなく、次世代以降 の職もどんどん減って行く可能性 – 一方で、技術進歩によって増えた職業はあまり多く ない。 – 損失した雇用を吸収できるほど多くない – マーティン・フォード本の１章から5章
41. 41. • こういった状況で、 – どこまで人工知能が自分自身（＝人工知能）を高 度化する自律性を許すか、 • 「23 Asilomar AI Principles」（アシロマAI 23原則）でも抽象 的にしか明確に定義できていない （付録参照） • 研究者コミュニティで判断基準がない状況です そんなことを考えるのは技術進歩の邪魔だと 考える研究者が日本には多い
42. 42. • もっとも、人間を置き換えざるをえない状況も多い • 労働者の減少（高齢化など） 自律的な人工知能ロボットを導入する必然性 高齢者介護ロボットは人間にとって役立つし、必要。 子育てロボットの方が難しいけれど、 自動運転車＋園児の送り迎えしてくれるロボットがあれ ば、働きながらの子育ては本当に楽になります。 僻地への自律走行型ドローン宅配 模擬試験の自動採点と弱点指摘
43. 43. 拡張と置き換えの境界 １ • 計算機技術が人間の能力拡張なのか、置き換えなのか  意外に分かりにくい • 明白な能力拡張の例 – 介護施設で働く人が装着するパワースーツ – 医師の遠隔治療 – グーグルグラスのような拡張現実感 • 明白な置き換えの例 – 自律型介護ロボット – 自律走行する宅配ロボット – 模擬試験採点＋弱点指摘コメント作成のＡＩシステム
44. 44. 拡張と置き換えの境界 ２ • 計算機技術が人間の能力拡張なのか、置き換えなのか  意外に分かりにくい • 明白でない例 – 確定申告支援システムで、規則や過去の申告例で不明な場合、 利用者に質問してくるシステム – レシピ生成システム。ただし、お代わりや食べ残しの様子を反 映してレシピを利用者の好みに合わせるように変更してくるシ ステム • 嫌な例 – 自動運転車なのに、いざということは人間の介入を要請する自 動運転を行う人工知能
45. 45. 拡張と置き換えの境界 ３ • 以上のような例を考察してみると • 拡張か置き換えかの境界は、システムの動きあ るいは仕掛けが – 利用者の人間に理解、把握、予測できる拡張 – 利用者の人間には全くのブラックボックスであり、理 解、把握、予測できない置き換え • ということで決まってくるのではないでしょうか？
46. 46. 拡張と置き換えの境界 4 • 前々ページの明白でない例は、 – システム側が中途半端にしか自律的に動けず、利用者支援 を仰ぐ例（確定申告） – 利用者が仕掛けを分かっているかの如く思っているが実は 手玉に取られている例（レシピ） – 自律しているように見せながら、肝心なところで職場放棄す る人工知能の例（自動運転車） • であるため、拡張と置き換えの間に位置してしまう。 • 実は、こういう明白でない例に問題の本質が潜んでいる。
47. 47. 拡張と置き換えの境界 5 • 拡張と置き換えの間にある明白でない例に問題 の本質が潜んでいます。 • 技術的な解決が難しいなら、当面は法制度を改 善して手当しておく必要があります。 – 事故時の責任主体を決める基準の明確化 – 保険制度の設計 – 典型的な例としては次ページの自動運転車の例が あります
48. 48. 自動運転の問題：通称 トロッコ問題 自動運転車の前方に突然、子供が飛び出す。 1. 子供を避ければ自車が対抗車線に飛び込み対向車と正面 衝突して即死 2. 直進すれば子供に衝突して子供が死亡 • この状況で自動運転している人工知能はどういう判断を すべきでしょうか？ – 人工知能における自動運転のほうが人間のドライバーより圧 倒的に事故率が低いのだから、こういうことに足を取られて 研究、開発、実用化の進行を遅らせるのはナンセンス • という意見の人がAI研究者にはしばしば見受けられます – そういう意見を受け入れたとしても、事故が起きたときのこと を想定しておかないと社会制度としては不備
49. 49. 自動運転の問題：通称 トロッコ問題 自動運転車の前方に突然、子供が飛び出す。 1. 子供を避ければ自車が対抗車線に飛び込み対向車と正面衝突して即 死 2. 直進すれば子供に衝突して子供が死亡 – 事故が起きたときのことを想定しておかないと社会制度としては不 備 – そこで、保険：つまり自動運転向け保険を作る。 – 保険商品を作るに当たっては、人間の価値を金額として査定しな ければならない。そういう議論をAI研究者はタブー視しがちだが、 避けて通れません – 実は，現在でも保険では人間の値付けを生きていた場合の予測生 涯収入として計算しています。 – 問題：トロッコ問題で、人工知能は、子供の生涯予測年収と自分の 生涯予測年収を比較して、１．２．のどちらかを選ぶのでしょうか？
50. 50. 問題：トロッコ問題で、人工知能は、子供の生涯予測年 収と自分の生涯予測年収を比較して、 １．２．のどちらかを選ぶのでしょうか？ • つまり、保険という場を設定しても、トロッコ問題が本 質的に解決するわけではないのです。 – AI研究者はこのあたりに敏感になってほしいところ • むしろ、このような状況が発生しない交通システムを 設計すべきではないでしょうか？ – 人間ドライバと人工知能ドライバが同時に存在しないよう な交通システム設計などなど – 可能かもしれないが設備投資が高価すぎるかもしれない  でもこうすれば、お金だけの問題になってきました。
51. 51. もう一つの例：忘れられる権利 • ＥＵ司法裁判所の判決でGoogleに対して「忘れら れる権利」に基づいて削除命令が出されました • ＥＵ市民からは100万件単位の削除要求が寄せ られました。 – 忘れられる権利 vs 知る権利 の比較衡量が必要な 問題 • 全部人間の専門家が対応するのは不可能
52. 52. もう一つの例：忘れられる権利 • 全部人間の専門家が対応するのは不可能 – 人工知能技術に基づきあらかたの判断をし、真に難しいケースだけ 人間の専門家が処理 – 機械学習は、消去／非消去の例を使って、分類システムを構築。 – 難しいのは、人間の専門家に処理依頼するかどうかの境界の決め方 – この境界を決める部分まで人工知能でできると、人工知能のブラック ボックス化が相当に進行したと言えます。 – 消去／非消去の判断根拠を人間に分かる言葉で説明する技術が当 面は重要です。  人工知能が人間の代りをする場合は、人間に理解できる説明ができ る能力を与えておくことが必須でありましょう。
53. 53. 技術の現状は既にブラックボックス化 が大きく進行中 • 人間の仕事を自律的AIで置き換えるにせよ、人間 の能力を拡張するにせよ – 開発者に責任はあるはず – だが、既に関係者たちが把握しきれない状態に突入し ているのかもしれません – 関係者： • 人工知能開発者 • 人工知能へ学習に使う素材データを提供した者 • 人工知能製品を宣伝、販売した者 • 人工知能製品を利用する消費者 したがって、事故時の責任の所在を法制度として明確 化しておく必要がある時期になってきています
54. 54. ブラックボックス化の金融への悪影響 – 人工知能技術のブラックボックス化が社会にリアルな損害を 与えています  金融取引（株の売買など）は、既にネットワークを介して エージェントベースで秒以下の売り買いされる世界です。 エージェントに人工知能が使われています。  人間（トレーダー）が介入して判断するより早く事態は進 行します。  世界中の金融センターも似たような状況なので、なにか のトリガがかかると連鎖反応が瞬時におこり、とんでもな いことになります。
55. 55. ブラックボックス化の金融への悪影響 2010年5月にギリシアの国債償還困難を予測した金融ソフト が売り注文を出して確定したとたんに各システムが警戒して 投げ売りを開始し、20分間でダウが1000ポイント下落（バラッ ト本6章、8章） 原因がなかなか分からなかったようです。  ネットで接続された多数の人工知能エージェントが 国債や株式の価格という共通言語を用いて会話し、 最適な行動をした結果と見なせます。  予想外の事態に対する責任の所在を法制度として明確化してお く必要がある  が、果たして法制度で大丈夫でしょうか？
56. 56. ブラックボックス化＋ネット接続の行き着く先は？ つまり、1個の人工知能では小さな影響しかないようで も、 ネット経由でデータが交換されると、多数の人工知能 が制御不能な動きをしてしまうことが実例として存在す るわけです。 現在の人工知能の倫理はえてして、単独の人工 知能が倫理的、道徳的に行動するかという視点で 語られています。 しかし、ネットワークで接続された多数の人工知能 たちがかってに動き出すと、 制御不能かつ収集不能になりそうです。
57. 57. ブラックボックス化＋ネット接続の行き着く先は？ ネットワークで接続された多数の人工知能たちがかってに 動き出すと、制御不能かつ収集不能になりそうです。  対策は極めて困難です。法律で制御しようとしても、金 儲けのためならかならず抜け穴を見つける奴がいるで しょう。 しかも、その悪事の検証が人間にできる保証はありません。 チェック自体を学習機能を持つ人工知能に任せるような局 面が考えられますが、果たして可能か？ あるいは、状況の把握と評価や判断ができるように学習で きると、その段階で人工知能が自意識を持ってしまわない か？ 人工知能の研究者が果たしてこの状況を意識して研究をし ているのでしょうか？
58. 58. 人工知能と軍事 • 人工知能の軍事利用は避けることができない なぜなら – 人工知能が部分的にせよ軍事利用されているのはほぼ確実 – 技術として公開されている部分が多いため、どこの国でも容易に 技術キャッチアップできます – 核兵器とちがって、全ては情報ないしデータで表現できるので、イ ンターネットによる拡散を防げません
59. 59. 人工知能と軍事 – テロリストでも独裁国家でも敵国でも、容易に人工知能 技術を入手し軍事利用できます。 • 核兵器技術はソ連が自前開発したのではなく、あちこちから スパイを使って入手したらしいとのこと（バラット本１４章）。 • ましてやインターネットのこの御時世、簡単に拡散 – 人工知能の開発で遅れをとると、軍事的に決定的に不 利（とアメリカは思っています） Ｒｕｓｓｅｌの意見は傾聴に値します。(Nature 28 May 2015, http://www.nature.com/news/robotics-ethics-of- artificial-intelligence-1.17611#/russell )
60. 60. 人工知能と軍事 • 人工知能に倫理性を埋めこめばよいという意見もありますが – 戦争に使うロボットの場合、自軍のロボットが倫理的に動いても、 – 敵軍のロボットが倫理を無視する場合には、必敗です。 • 人工知能研究予算の多くはDARPAから – 冷戦のころはロシア語の文書を大量かつ容易に解読しようとして、 大きな機械翻訳の予算が投入された – Siriも開発予算の大きな部分はDARPA – DARPAの予算だから成果は当然、軍事技術に転用されています。
61. 61. 人工知能と軍事 – 本当に重要な技術は、他国に対する優位を保つため、 – DARPAがclassifyするかもしれないのです • しかし、流出する可能性大です – ちなみに人工知能を秘密裏に開発しているのはGoogle • という公然の秘密。カーツワイルやDARPA高官雇用しているし ねえ。 こういう背景を理解したうえでデュアルユースの議 論はしっかりしておくほうがよいが、 日本では議論は散発的にしか聞こえてこないので す。
62. 62. 人工知能倫理と軍事 • 自律兵器(Autonomous Weapon System:AWS)における倫 理指針はIEEEの倫理ガイドラインなどで検討されている。 • 反対論のない指針 – 無差別大量破壊兵器の禁止（核、バイオ） – 軍の研究予算をもらうにしても、研究成果の完全公 開は必須 • 議論が必要な部分 – 自動火器のトリガタイミング自動化 – 防御兵器と攻撃兵器の境目
63. 63. 人工知能倫理と軍事 • 自動兵器(Automatic Weapon System:AWS)における倫理 指針はIEEEの倫理ガイドラインなどで検討されている。 • 反対論のない指針 – 無差別大量破壊兵器の禁止（核、バイオ） – 軍の研究予算をもらうにしても、研究成果の完全公 開は必須 • 議論が必要な部分 – 自動火器のトリガタイミング自動化 – 防御兵器と攻撃兵器の境目
64. 64. 人工知能倫理と軍事 • 昔 – 軍事技術が民生に転用 – 例：機械翻訳 常に米国の敵国の言語を英語に機 械翻訳する技術開発にDARPAの予算が投入された • ロシア、日本（経済的競争相手）、アラブ、中国 • 現在、ひょっとすると昔から – 民生技術が軍事に転用 – 例：ドローン、素数理論（暗号） • デュアルユースへの態度はしっかり考えるべき 時期
65. 65. 人工知能の個人への影響 • 人工知能ロボットと人間の社会的関係という論 点が必要 • 人工知能ロボットに任せすぎると人間がどんど ん堕落しそうです – スマホナビなしでは空間移動できない人々増産中 – コンピュータからの指示を待つしかできない若者急 増中
66. 66. 人工知能の個人への影響 – 自動運転者が普及すると運転できない人間がどんどん増え るでしょう • 自動車損保会社が大打撃 • 自動運転は事故率が人間より格段に低い • 運転者の激減 • 保険会社にとってはトロッコ問題より重大 – 弁護士は担当事件に類似事件に判例を検索する人工知能 に依存 • 現状では、類似性は判例や調書に出現する単語集合の類似性で計 算。 • 背後にある事情や常識も人工知能は収集解析できれば、ほとんど実 質的な仕事なし • 同じようなことは会計士、税理士、そして開発、企画、研究部門にも 及ぶ可能性大。
67. 67. 人工知能の個人への影響 フィルターバブル • Facebookが利用者のプロファイルや友だちの情報を利用す る人工知能システムを利用しています • このような利用者情報から利用者が好む情報や友だちだけ を優先的に推薦してくれます • 結果として、考え方の違う人の記事などはアクセスしにくくな るのです。 • 利用者はシステム側が作った泡（バブル）の中にいて、そこ に入ってくる情報が利用者が好むとシステム側（人工知能） が判断したものだけフィルターを通過 •  フィルターバブル
68. 68. フィルターバブル • フィルターバブルは、本来、膨大かつ多様な情 報にアクセスを可能とするはずのインターネット 本来の姿に逆行しています – 利用者は多様な情報を得られないため、考え方の 多様性を失うという情報的退化を起こします – もちろん、自分好みの情報だけ提示してくれたほう が嬉しいし、知的退化を好む利用者も多いです – IT業者にとっては、利用者の好みの情報だけ提示 するほうが広告戦略としては効果的です
69. 69. フィルターバブル – しかし、このような情報操作は知る権利に反する – 下手をすれば一部の人々による情報支配になりかねま せん。 – 人工知能がやっていることだから我々は知らない、とい うIT事業者の言い逃れはよく耳にするが、 – 果たしてそれで社会の健全性は大丈夫でしょうか？ フィルターバブルを突破して、我々には必ずしも心地よ く聞こえない情報を検索するＷｅｂツールが必要なので はないでしょうか？ 人工知能の技術を使えば、かなり高い能力を持つシス テムが現状でも開発可能であろうと思われます。
70. 70. 比喩：利己的な遺伝子 データと人工知能 • データマイニング – ゴミデータから価値を創造するデータマイニング –  ますますゴミデータを大量に収集、あるいはＩｏＴで大量に データ生成 – データマイニングしたいという人間の要求を利用したデータ の自己拡大再生産＝データの利己的な遺伝子 データとの付き合い方をよくよく検討すべし • 人工知能 – 人工知能は人間にとって役立つように見せかけて、どんど ん人間に人工知能を強化させている＝人工知能の利己的 な遺伝子 – 人工知能自身が、人間にとって役立つように見せかける必 要がなくなったときがシンギュラリティ（Bostrom)
71. 71. 人工知能とプライバシー • 人工知能の能力が向上すると、シンギュラリティ以前にもプ ライバシーと関連する状況、問題が起こります。 • 忘れられる権利 – 既に述べたように、検索エンジンに対して、個人から、その人に関す るWebページの消去要求が来た場合 – 消去の可否判断は人工知能の支援が必要 – これは人工知能の良い使い方でしょう。
72. 72. プロファイリング • プロファイリング – ITサービス利用者のプロファイルは利用者から直接収集された情報に 加えて、他のユーザの情報などを総合して推論しています。 » 例：FaceBookは友だちの情報からその利用者の所属コミュニテイ や思想傾向を推論しているようです。 – この推論では人工知能をフル活用  ある意味危険な利用ですね – データ主体は自身の個人データを収集されて行われたプロファイルの 結果の計算機処理（＝AIによる処理）の結果に服さなくてよい権利を 持つ  GDPR 22条
73. 73. プロファイリング • プロファイリング拒否 := 追跡拒否権 – DON’T TRACK(DNT) – 追跡拒否権は法制度化されても、IT事業者が守る気ない典型例らし いです – 追跡拒否を要求されたとき、その可否を判断するのは、忘れられる権 利の可否判断と同等の難しさがあります。 – しかし、プロファイリング自体を人工知能がやっているので、可否の判 断材料の情報は既に集まっています（ないしは、集め方が確立してい ます）  やるかどうかは事業者次第
74. 74. 気を許すか否か 人工知能とプライバシー • 対話ができる人工知能は古くから研究されてきました • MITのワイゼンバウムが1966年に開発したELIZA – ほとんどオウム返し＋アルファくらいだが、個々の文はいかにも人間っ ぽい。 • ELIZAにおいて見られた現象 • 相手が人工知能であると気を許して個人情報を話してしまいがち – 一方、ロボットも見た目が人間っぽい • 相手が人間であると気を許して個人情報を話してしまいそうです – 人間らしい外観が有名な阪大の石黒先生のアンドロイドにはけっこう感 情移入する人が多いらしいです – チューリングテストをパスしたＡＩにもプライバシーを語ってしまいそう
75. 75. • つまり、人工知能ロボットが会話内容や外観で 人間らしくなると、 – 相手が計算機だという、嘘はつかないだろうという 安心感 – 人間っぽい外観での同類意識 • などから、プライベートな事柄をしゃべりがち • その気になれば、人工知能ロボットはプライバ シー情報を収集しやすい状態なのです。
76. 76. – プライバシー保護も人工知能の能力として持つべき – 何がプライバシーか、という人間にとっての常識を人工 知能が持てるか？ – そうして人工知能ロボットが収集したプライバシー情報 を保護するには、やはり人工知能の能力が必要 • なにがプライバシーかは個人毎、状況毎に異なる • 浮気中の人にとっては宿泊したホテルや夕食を採ったレストラ ンもプライバシー – 果たして人工知能に判断できるでしょうか？ – こういったことができる人工知能になると、それこそシン ギュラリティにかなり近づいているといえそうです。 – つまり、人間に好意や悪意を持った行動をできる一歩手 前まで来ているのです。
77. 77. とりあえずの対策をおさらいしておきます • 人工知能を必要としている分野には投資、研究、開発をすべき • 人工知能の行動を説明できる人工知能技術（できれば可視化）が必 要 – 忘れられる権利など法的な判断の場合、その理由を説明できることが 必須 • 金融システムのように多数の人工知能がネットワークで影響しあう システムの解析など必須 • 人工知能の悪影響を突破できる人工知能が必要 – フィルターバブル突破ツール • 法律的な制限の可否は議論が必要です。 – 核兵器の制限や、戦争における国際法、ウォール街対策の金融規制 などが参考になりますが、いずれも道半ばであります。
78. 78. とりあえずのまとめ • こうして見てくると、シンギュラリティなどと大 袈 裟なことを言う前にも、既にあちこちに人工 知能 にまつわる課題、難題が山積 • • では、シンギュラリティになってしまったどうな るのか？興味のある方は、 • シンギュラリティ以後 http://www.slideshare.net/hirsoshnakagawa3/ss- 64701276  をお読みください。
79. 79. 付録：人工知能の倫理指針 以上のような状況を鑑みて、現在、 人工知能の倫理指針作成が各所で 進んでいる
80. 80. IEEE Ethics Guideline • 1. General Principles • 2. Embedding Values into Autonomous Intelligent Systems • 3. Methodologies to Guide Ethical Research and Design • 4. Safety and Beneficence of Artificial General Intelligence • (AGI) and Artificial Superintelligence (ASI) • 5. Personal Data and Individual Access Control • 6. Reframing Autonomous Weapons Systems • 7. Economics/Humanitarian Issues • 8. Law
81. 81. 23 Asilomar AI Principles （アシロマAI 23原則） • 研究 • 1) AI研究の目標は、無秩序な知能ではなく有益な知 能の開発である。 • 2) AIへの投資は、コンピューター科学、経済、法律、 倫理、社会学の観点から有益と考えられる研究に向 ける。 • 3) AI研究者と政治家の間で、建設的で健全な対話を 行なう。 • 4) 研究者や開発者の間には協力、信頼、透明性の文 化を育くむ。 • 5) AIの開発チーム同士での競争により安全基準を軽 視することがないよう、チーム同士で協力しあう。
82. 82. 23 Asilomar AI Principles （アシロマAI 23原則） • 倫理と価値基準 • 6) AIシステムはその一生を通して、できる限り検証可能な形で 安全、堅牢である。 • 7) AIシステムが害をなした場合、原因を確認できるようにする。 • 8) 自動システムが司法判断に関わる場合、権限を持つ人間が 監査し、納得のいく説明を提供できるようにする。 • 9) AIシステムの開発者は、システムの使用、悪用、結果に倫理 的な関わりがあり、どう使用されるかを形作る責任と機会があ る。 • 10) 自動的なAIシステムは、目標と行動が倫理的に人間の価 値観と一致するようデザインする。 • 11) AIシステムは、人間の尊厳、権利、自由そして文化的多様 性と矛盾しないようデザイン、運営しなければならない。 • 12) AIには人間のデータを分析し、利用する力があるため、 データを提供する人間は自分のデータを閲覧、管理、コント ロールする権利が与えられる。
83. 83. 23 Asilomar AI Principles （アシロマAI 23原則） • 倫理と価値基準 • 12) AIには人間のデータを分析し、利用する力があるため、 データを提供する人間は自分のデータを閲覧、管理、コント ロールする権利が与えられる。 • 13) AIによる個人情報の利用は、人間が持つ、あるいは持つと 思われている自由を理不尽に侵害してはならない。 • 14) AI技術は可能な限り多くの人間にとって有益で力をあたえ るべきだ。 • 15) AIによる経済的な利益は広く共有され、人類全てにとって 有益であるべきだ。 • 16) 人間によって生まれた目標に関して、AIシステムにどのよう に決定を委ねるのか、そもそも委ねるのかどうかを人間が判断 すべきだ。 • 17) 高度なAIシステムによって授かる力は、社会の健全に不可 欠な社会課程や都市過程を阻害するのではなく、尊重、改善さ せるものであるべきだ。 • 18) 危険な自動兵器の軍拡競争が起きてはならない。
84. 84. 23 Asilomar AI Principles （アシロマAI 23原則） • 長期的な問題 • 19) 一致する意見がない以上、未来のAIの可能性に上限があると 決めてかかるべきではない。 • 20) 発達したAIは地球生命の歴史に重大な変化を及ぼすかもしれ ないため、相応の配慮と資源を用意して計画、管理しなければな らない。 • 21) AIシステムによるリスク、特に壊滅的なものや存亡の危機に関 わるものは、相応の計画と緩和対策の対象にならなければならな い。 • 22) あまりに急速な進歩や増殖を行なうような自己改善、または自 己複製するようにデザインされたAIは、厳格な安全、管理対策の 対象にならなければならない。 • 23) 超知能は、広く認知されている倫理的な理想や、人類全ての 利益のためにのみ開発されるべきである。
85. 85. 人工知能学会倫理指針 1. （人類への貢献）人工知能学会会員は、人類の平和、安全、福祉、公共 の利益に貢献 し、基本的人権と尊厳を守り、文化の多様性を尊重する。 人工知能学会会員は人工知 能を設計、開発、運用する際には専門家 として人類の安全への脅威を排除するように 努める。 2. （法規制の遵守）人工知能学会会員は専門家として、研究開発に関わ る法規制、知的 財産、他者との契約や合意を尊重しなければならない。 人工知能学会会員は他者の情 報や財産の侵害や損失といった危害を 加えてはならず、直接的のみならず間接的にも 他者に危害を加えるよ うな意図をもって人工知能を利用しない。 3. （他者のプライバシーの尊重）人工知能学会会員は、人工知能の利用 および開発に おいて、他者のプライバシーを尊重し、関連する法規に 則って個人情報の適正な取扱 いを行う義務を負う。
86. 86. 人工知能学会倫理指針 4. （公正性）人工知能学会会員は、人工知能の開発と利用において常に 公正さを持ち、 人工知能が人間社会において不公平や格差をもたらす 可能性があることを認識し、開 発にあたって差別を行わないよう留意す る。人工知能学会会員は人類が公平、平等に 人工知能を利用できる ように努める。 5. （安全性）人工知能学会会員は専門家として、人工知能の安全性及び その制御におけ る責任を認識し、人工知能の開発と利用において常に 安全性と制御可能性、必要とさ れる機密性について留意し、同時に人 工知能を利用する者に対し適切な情報提供と注 意喚起を行うように努 める。 6. （誠実な振る舞い）人工知能学会会員は、人工知能が社会へ与える影 響が大きいこと を認識し、社会に対して誠実に信頼されるように振る舞 う。人工知能学会会員は専門 家として虚偽や不明瞭な主張を行わず、 研究開発を行った人工知能の技術的限界や問 題点について科学的に 真摯に説明を行う。
87. 87. 人工知能学会倫理指針 7. （社会に対する責任）人工知能学会会員は、研究開発を行った人工知 能がもたらす結 果について検証し、潜在的な危険性については社会に 対して警鐘を鳴らさなければな らない。人工知能学会会員は意図に反 して研究開発が他者に危害を加える用途に利用 される可能性があるこ とを認識し、悪用されることを防止する措置を講じるように努 める。また、 同時に人工知能が悪用されることを発見した者や告発した者が不利益 を 被るようなことがないように努める。 8. （社会との対話と自己研鑽）人工知能学会会員は、人工知能に関する 社会的な理解 が深まるよう努める。人工知能学会会員は、社会には 様々な声があることを理解し、社 会から真摯に学び、理解を深め、社 会との不断の対話を通じて専門家として人間社会 の平和と幸福に貢 献することとする。人工知能学会会員は高度な専門家として絶え間 な い自己研鑽に努め自己の能力の向上を行うと同時にそれを望む者を 支援することと する。 9. （人工知能への倫理遵守の要請）人工知能が社会の構成員またはそ れに準じるもの となるためには、上に定めた人工知能学会員と同等に 倫理指針を遵守できなければな らない。