SF作家テッド・チャンと神経科学者アニル・セスの対話:ソフトウェアを苦しみから救う方法はあるか？

ロボットが「自分には意識があります」と言ってきたとして、本当に意識があるかどうか、どうやったらわかるのでしょうか――スーザン・ステップニー

スーザン・ステップニー　このままでは堂々めぐりになりそうです。意識について話し始めると、たいていこうなってしまいますね。少し目先を変えて、別の話題をめぐってみましょう。

スーザン・ステップニー

意識は基質（物質を構成する基盤となる物質）に依存するかもしれないという考えは面白いもので、そうすると、基質のあり方によって意識のあり方も変わってくるように思えます。意識が基質に依存するとしましょう。さらに、ロボットもそのような意識をもっているとします。意識について知ることが重要なのは、ひとつには意識は苦しみと深く関係するもので、意識のある存在には苦しみが生じうるからです。

では、ロボットが「自分には意識があります」と言ってきたとして、嘘をついているのではなく、本当に意識があるかどうか、どうやったらわかるのでしょうか。犬は「自分には意識がある」と言うことはできませんが、あきらかに意識があるように見えます。本当に意識が宿っている生き物やシステムと、そうでないものはどのように見分けられるのでしょうか。本当に苦しむ可能性があるものと、そうでないものの差は何なのでしょうか。

アニル・セス　現時点ではその問題に答えることは無理だと思います。このようなことについて、100パーセントはっきりさせることは大変な課題です。そのためにはまず、意識を生じさせる十分な仕組みについてコンセンサスを得る必要があり、それができれば人間からかけ離れたシステムについても語ることができるようになるでしょう。

このようなことは人間だけを扱うとしても難しい問題です。たとえば、脳を著しく損傷した人に意識がまだ残されているかどうかを解明することは、現在進行形の課題だと言えます。さらに人間の発達段階において、いつ意識が芽生えるのかさえ、本当のところはわかっていません。ですから、人間に非常に近いシステムであっても、なんとも言えないところは多いのです。現状で最も有効な改善策は、暗黙の前提を掘り起こし、問題の種類を区別することではないでしょうか。

アニル・セス

過去に提案されてきたテストは、チューリング・テストがその典型的な例ですが、意識よりも知性に関わるものでした。しかしその後、あくまで見込みも含めてですが、より意識志向のテストもでてきています。昨日話したときにも話題に出ましたが、アレックス・ガーランド監督のSF映画『エクス・マキナ』[★01]★01での対話に由来するテストが、哲学の分野で「ガーランド・テスト」という名称で知られています。これは、知性ではなく意識についてのテストです。

さらに区別したいのは、フォワードテストとリバーステストの違いです。フォワードテストとは、そのシステムが争点になっているような性質を持っているかどうか、つまり知性を有するかどうか、意識が宿っているかどうかのテストです。それに対し、リバーステストとは、「あるシステムが実際にそうした性質を持っているかどうか」とは独立に、「そうした性質を持っていると人間が信じるために必要なものを持っているかどうか」を確かめるテストです。したがってリバース・ガーランド・テストというのを考えることができます。それは、私たちが対象に意識を見出せるかどうかのテストで、大規模言語モデルはある程度、このテストに合格する可能性があると言えます。しかし、フォワードテストはまったくの別物です。フォワードテストが妥当かどうかは、どのような意識理論を採用するか次第なのです。

テッド・チャン　先ほどの話でもあったように、人間は対象を擬人化しがちです。もちろん、子犬のイラストがクンクン・キャンキャンと悲しそうに泣くようなソフトウェアを作るのはとても簡単ですし、それを見る私たちの同情を誘います。しかしよく考えてみると普通は、そのプログラムは私たちの感情を引き出すための手管を利用しているに過ぎないということがわかります。また、そのソフトウェアに実際に苦しみが生じているわけでもありません。

さらに「そもそも犬は苦しむのか」という点も問題です。いまでこそ、犬も苦しみを感じることは誰もが認めるところですが、以前からそう思われていたわけではありません。たとえば、デカルトが生きたまま解剖される動物の鳴き声を、バイオリンの弦を弓で弾くと音が出るのと変わらないと考えていたような時代が過去にはあったわけです。しかし、現在明らかになっている事実からすれば、やはり犬も私たちとまさに同じように、本当に苦しみを経験しているのだと考えざるをえません。そして一般に、生物には程度の差こそあれ、苦しみが生じるのだということを私たちは認めているのではないかと思います。昆虫でさえ、ある程度の苦しみを経験しているように見えるでしょう。

では、ソフトウェアの中に存在するような、既存の生物とはまったく異なる基質を持っている対象の場合はどうでしょうか。この問題に答えるのはまず簡単なことではありません。しかし、たとえば綿密な分析において、哺乳類に見られるのと同様の構造が見出されるようなソフトウェア有機体は想像可能かと思います。神経終末の機構やストレスホルモン、さまざまな生理的反応、他にも実際の哺乳類の特徴がもろもろ備わっているとして、非常に長い期間にわたって観察したならば、十分な根拠に基づいて、苦しみなどのさまざまな経験が生じていると判断できるのではないでしょうか。

しかしそれは、イラストが不機嫌そうな顔つきに変わることとはわけが違います。きわめて複雑なシステムを徹底的に分析した結果でなければならないということです。繰り返しになりますが、私は理論上はこのようなことが可能だと考えています。ですが、さきほども言ったように、ソフトウェアに知らないうちに意識を生じさせてしまうなんてことはないと思います。ですから、ソフトウェアの苦しみについて、深刻に捉える必要はないでしょう。たまたま意識が生じるなんてありえないわけですから。

企業は人間の心をくすぐるように設計された、意識はこれっぽっちも宿っていないソフトウェアを使って、私たちを操ることができる――テッド・チャン

アニル　ソフトウェアに苦しみを生じさせることが実際にはないとしても、考えるべき問題はあると思います。テッドさんの小説「ソフトウェア・オブジェクトのライフサイクル」で見事に描かれていますが、ソフトウェア・エージェントであっても、たいへん口がうまく、人間とのやり取りができて、苦しみの存在を示唆する発言や振る舞いを示すことから、「やっぱり苦しみが生じているのかもしれない」と思わされてしまうようなものであったら、心理的な問題が生じるのではないでしょうか。

私たちは、あたかも苦しんでいるかのように見えるシステムと関わらなければならない世界に生きていることになります。そのようなソフトウェア・エージェントは意識を持つようには作られていないため、意識は宿っていないと信じるに足る理由があるにもかかわらずです。そうなると、私たちの倫理的直観は少なからず歪んでしまうでしょう。

テッド　もっともではありますが、それはまた別の話で、それは基本的に、企業など法人の不誠実さに起因する倫理的問題なのではないでしょうか。そのストーリーは、消費者を操って製品を売ろうとする企業が、意図的に人々を騙しているということだと思いますよ。

アニル　そんなことは絶対に起こらないと？

テッド　いや、まず間違いなく起こってしまうと思います。でもそれはやはり、「ソフトウェアは苦しみを経験しうるか？」という問題とは、まったく別の話じゃないでしょうか。つまり何の話かというと……そう、私たちが企業による巧みな誘導に引っかかってしまうということです。それは間違いありません。

この場合の問題は、企業は人間の心をくすぐるように設計された、意識はこれっぽっちも宿っていないソフトウェアを使って、私たちを操ることができるかというものです。これは確実に可能だと思います。そして、これはこれで重要な倫理的問題ではありますが、ソフトウェアが実際に苦しみを経験しているかもしれないというような問題とは、まったく別の倫理的ジレンマなのです。

スーザン　どうやら、ちょうどお聞きしようと思っていたところを、先回りして答えていただけたかたちになりました。そうすると、一口に倫理的問題と言っても、意識があるかどうか、苦しみを感じているかどうかなど、さまざまな問題が含まれているということになります。ここでは、ソフトウェアに意識があり、苦しむことができるとしたらどうなるかを考えてみましょう。

私たちは現状すでに、ソフトウェアが悪人から虐められないように対策を講じなければならないという倫理的課題を抱えていると言えそうです。「ソフトウェア・オブジェクトのライフサイクル」でも、この種の悪人について触れられていましたが、被害を感じうるのだとわかっていても、悪人（犬にひどいことをする人や、人間にひどいことをするとんでもない人）から守ってあげることは、人間の能力ではどうも簡単ではないようですね。これについて、作品の中では非人間的扱いを防ぐためのとても面白い方法が示されています。先ほど、企業についての話がありましたが、この方法についてどのような提案をされたのか、ご説明いただけますか。

テッド　ああなるほど、物語の中では法人格を使いましたが、そのことですね。実際に提案したのは登場人物の１人で、デジタル生命体に法人格を与えることができるというアイデアでした。法律は法人に一定の保護を与えていますから、既存の法体系がデジタル生命体に権利をまったく認めていないことを考えると、よい対処法になるのではないかと思いました。

とはいえ当然ですが、法人格はデジタル生命体が苦しんだり、痛みを感じたりしないように保護するものではないことに注意が必要です。この物語の悪者たちは、生命体に身体的苦痛を与えているわけですが、それを防ぐ良い方法はないのです。しかし、法人格があれば、さまざまな法的手段にうったえることができます。法律が法人をまさに法的人格として認めているという事実をうまく利用すれば、法的保護を提供する道が開けるかもしれません。

しかし、これは身体的苦痛を防ぐ良い手立てにはならないでしょう。法人格は基本的に、現代社会において企業に一種の人権を認めるための手段です。この点について、チンパンジーに法人格を付与しようとする試みがあったことにも触れておくと良さそうです。私が知る限りでは、どれも成功はしていないのですが。しかし、この場合も先ほどと同じく、ある種の法的権利を保証する試みであって、身体的苦痛を経験せずにすむように配慮されるとしても、一定の法的保護を獲得したことに由来する副産物というところでしょうね。

（2023.7.28 北海道大学 クラーク会館にて）

（#4へつづく）

SF作家テッド・チャンと神経科学者アニル・セスの対話

#1 GHOST IN THE MACHINE：ChatGPTに意識はあるんですか？
#2 GHOST IN THE MACHINE：意識は身体がなければ生じないのか？
#3 GHOST IN THE MACHINE：ソフトウェアを苦しみから救う方法はあるか？
#4 GHOST IN THE MACHINE：私たちは同じ現実を見ているか？

★01 『エクス・マキナ』（Ex Machina）：アレックス・ガーランドの監督・脚本によるSF映画（2014年イギリス）。人工知能を搭載した美しい女性型ロボット（ガイノイド）が登場する。ガーランドの監督デビュー作で、第88回アカデミー賞視覚効果賞受賞。