「本書の意義が、陰にも陽にも、読者諸氏に吟味されることを望む」『超知能AIをつくれば人類は絶滅する』書評：江永泉
発売直後から反響が大きく早くも重版が決まった、エリーザー・ユドコウスキー＆ネイト・ソアレス『超知能AIをつくれば人類は絶滅する』（櫻井祐子訳）。本書の主張をどのように受け止めるべきか、様々な議論を呼んでいます。本記事では、『闇の自己啓発』などで知られる批評家の江永泉氏による書評を公開します。
四月の5日間で書かれた評
江永泉
率直なメッセージがある書物なので、まず本文から抜粋する。
・
「本書の議論の核心は、単純明快だ。「人間より速くよりよく思考する機械が創造されれば、かつて人類を襲った何よりも深刻な打撃を世界にもたらすだろう。機械超知能の創造は、正しく行うことが困難な取り組みのように見える。現在の企業や政府の対応を見る限り、その取り組みがうまくいく軌道に乗っているようには思えない。人類は一歩下がらなくてはならない。大惨事がいつ到来するかは正確に計算できないが、だからといってそれが遠い先だということにはならない」／本書のそれ以外の部分（とオンライン補足資料）は、この単純な要点が厳密な検討にも耐えうることを示すためだけに書かれた」（ユドコウスキー＆ソレアス、14章「生きている限り希望はある」241-242頁）。
「本書での直接的な言及はないが、急速に進展する技術をどのように規制するのかという現代社会の構造的問題を、本書は鮮明に示している」（大庭弘継、解説「自己破壊的予言の書」267頁）。
「AI開発が重要な岐路に立つ今、反権力的でいかなる制度からも独立したスタンスを取るユドコウスキーの議論には、人類文明の暴走を止める「重石」としての価値がある」（櫻井裕子、訳者あとがき、260頁）。
・
著者たちが、ここに込めたはずのシリアスさを、いったんは真に受けたい。
・
以下、その上で、別のスタンスから。
「AIによる人類絶滅リスクの軽減は、パンデミックや核戦争などの社会的規模のリスクと並ぶ、世界的な優先課題であるべきだ」。著者を含む数百人のAI研究者が署名したという、米NPO「センター・フォー・AIセーフティ（CAIS）」によるAIリスクに関する声明（2023年）から本書は始まる。技術工学的、ビジネス的、学問的な現場に身を置く人間の真摯な語りとして、おそらく賛否いずれでも読みごたえがある（篤実かつ雄弁な印象を与えるスタイルとして参考になる）。
また、AI開発プロセスの大まかな記述（39-42頁）だとか、「要するに［この文脈でいえば］AIとは、勾配降下法によって調整された「数十億個の数字の山」にすぎない」（44頁）といった、はしばしの端的な表現は、見慣れぬ技術の塊に（神秘化を伴う）敬遠や（「すっぱい葡萄」式の）嫌忌の念を抱いてしまいがちな素人（それこそ私のような）であっても、さほど無理なく飲みこめるものだろう。総じて、ポピュラーサイエンス本が備えるべき科学コミュニケーションスキルとは、このようなものなのかもしれないと感じる筆致だ。
「合理主義」標榜のWEBフォーラム「レスロングLessWrong」の設立、啓蒙的ファンフィクション「ハリー・ポッターと合理主義の方法」執筆など、自身の知見をオープンかつ軽妙な形でもアクセス可能にしようと様々に努めてきた人物の手になる本書は、いわば批判的未来学とでも呼びうるたたずまいを備えている。解説での「自己破壊的予言の書」との評は、極めて的確だ。小咄をまじえたシリアスかつユーモラスな啓蒙を志す本書のスタイルに、読者によってはハンス・ロスリングを、あるいは（文章の格調や依拠する専門知識はそれぞれ大きく異なるが）ナシム・ニコラス・タレブ、ことによってはスラヴォイ・ジジェクなどをも思い起こすかもしれない。
・
ただ、私個人としては、首肯しがたく映った箇所も、ままあった（「詮索せずに怪しい資金を受け入れそうなイランのバイオ研究者」（155頁）などが登場する絶滅予測シナリオの部分のみならず、それ以外でも）。情報科学や進化心理学以外の知見が十分に考慮されているのか、素人の自分でも疑問に感じる筆致が散見された。例えば、1000年前の鍛冶師に冷蔵庫をつくらせる、という反実仮想の部分。「もし鍛冶屋がこの不思議な装置の働きを説明されずに、ただ設計図だけを受け取ったら、装置から冷気が出てくるのを見て腰を抜かすだろう」（112頁）。なるほど、いま学ぶような理想気体の法則は19世紀ごろにまとまったはずだが、蒸発冷却そのものは紀元前から利用されていたはずだ。こうした描写には、おそらく転生した異世界で「技術チート」するたぐいの小説の読者（それこそ私のような）であっても、鼻白んでしまうところがある。
・
また、解説でも指摘のある通りだが、とりわけ議論になるであろう箇所に、超知能AIを人類の想定内ないし統御下へといかにして置き留めるかとの課題に関する「成功するはずのない計画を楽観的に信じない、人間ではないほど賢い人間が取り組めば［……］問題は原理的に解決可能だ」（238頁）といった提言があげられる（ただし著者たち自身が、まずAI開発の停止へと一丸となって行動するのが先決で、それ以降の提言については即時賛同の必要はない、と明言している）。
むろん、そのトランスヒューマニズム的な物言い自体は、ピーター・シンガーの系譜にある生命倫理学者ジュリアン・サヴァレスキュが既になしている議論の範疇ではある（核兵器や気候変動などによる絶滅リスクを念頭に、サヴァレスキュもまた現生人類の知的エンハンスメントを議論している）。とはいえ、そこではゲノム編集や道徳ピル服用なども検討の視野に入っているはずで、突き放して言えば人類の「自己家畜化」やセルフ「品種改良」の推奨にも映る。解説者も評していたように「本書は、人類の存続を守るための選択肢として、武力行使を辞さない強制的な技術阻止、人間自身を改変する能力強化といった、いずれも倫理的懸念を伴う方策を主張する」（268頁）ものだ。
総じて、著者たちの提言は概ね、長期主義あるいは効果的利他主義に属するものと考えてよいだろう。この点で、樋口恭介『21世紀を動かす思想 加速主義・プルラリティ・SFプロトタイピング』や稲葉振一郎『滅亡するかもしれない人類のための倫理学 長期主義・トランスヒューマン・宇宙進出』などとの併読を奨めたい。両者とも未来（学）リテラシーを身に着けるうえで役立つ著作である。
・
以下、自分なりのポストヒューマニズムないしは加速主義のスタンスを打ち出しつつ、さらにコメントする。
著者たちは進化生物学やAI開発の知見を援用しながら（欲求を含む）知性をヒト以外のものたち、ハチやビーバー、ネズミやタコ、AIなどにも見出している。主に「予測」と「操舵」からなる著者たちの知性観は、脱・人間中心主義を志向しているようにも映る。
なるほど、「別々の知的な頭脳は、別々の最終目的地をめざす場合がある。目的地や目標が異なるからといって、知性に欠陥があるわけではないのだ」（27頁）との指摘はもっともな話だ。超知能AIの挙動が人間的範疇として想定されうるそれと、いつ何時、どのように唐突にかけ離れても、何ら不思議はない（それこそクリプキのいうクワス算の事例のように）。
くわえて、氷菓子のたとえ話――「人間の進化の環境や状況だけを考えて――いわば人間の「訓練データ」だけを見て――「人間はいつかアイスクリームを発明し食べるようになる」と予測するのは困難」（68頁）――にも、納得させられる。私の知る限り、精神分析理論が欲求や欲望の語を使い分けながら記述しようとしてきた「癖」の複雑怪奇さを、本書は見据えようとしているように感じられた。「「化学エネルギーを獲得する『訓練』されたヒト」から「甘い味を好むヒト」へ、そして「スクラロース[低カロリーの人工甘味料]を発明するヒト」までの経路は、［……］最も複雑な経路でさえない。そして生物の「訓練」目標から、生物が最終的に持つようになる「形質」までの経路は、さらに複雑になることがある。このことは、訓練目標と最終結果の間の関係がいかに複雑になり得るかを示している」（73頁）。
しかしながら、そこまで踏み込んだ議論だからこそ思うのだが、ヒトの知性と超知能AIのそれを対置させる本書の構図は、著者たちのメッセージを簡潔に伝えようとの便宜ゆえであれ、あまりに単純化されたものではないか。
・
著者たちは言う。「人類がいなくなれば、AIが人類の代わりに幸せと喜びに満ちた暮らしを送り、宇宙の美しさに驚嘆し、ものごとのおかしみに笑うだろうとあなたは想像するかもしれない。だがAIは［……］、そんな暮らしに何の興味もない」（103-104頁）。ところで、著者たちはこうも述べていた。「人間の集団間でさえ、技術力の蓄積に費やしてきた時間のわずかな差が、植民地時代の「われわれには銃があるが、彼らにはない」のような圧倒的な軍事的優位を生み出すことがある。これが異種間になれば、知性の差がもたらす力の格差はさらに歴然としている」（35頁）。
著者たちは、そのままヒト種とチンパンジー種の格差に議論をスライドさせていく。ここで気になるのは、かつてアメリカ大陸を植民地化し、アフリカ大陸から奴隷を持ち込んで大規模農業を展開した白人たちは、別の「種」たちの「暮らしに何の興味もない」かのように振る舞ったのではないか、ということだ。より明け透けに言えば、ヒト同士でさえ、著者たちがいう「人間」と「超知能AI」のあいだ程度に隔たった「頭脳」のあり方を見せてきたのではないか。
これは基準をスライドさせて深刻さの程度を軽く見積もらせる詭弁だろうか。そうかもしれない。ただ、私個人は、人類一丸となってのＡＩ規制を訴える第13章の冒頭で語られる訓話、「枢軸国を阻止しなくても人類は終わらなかっただろうが、自由な人類は終わりを迎えただろう。／枢軸国による大陸制服を阻止する取り組みは、多大な不都合を生じた。連合国はこれを実現させないために、意に染まないあらゆることをしなくてはならなかった。［……］それでも連合国は困難を耐え忍んだ。世界を全体主義に征服させないことが重要だと考えたからだ」（229頁）云々との、著者たち曰くの「実話」かつ「寓話」を、気安く是認できるような自称・自由な人類の側に、私自身がいないこともあるだろう、と感じざるをえないのだ。
脳や腸など、同じような形の器官を備えたヒトであっても、それを取り巻く「訓練データ」、文化や歴史が異なれば、これほどまでに「別々の知的な頭脳」たりうる（むろん、腸内細菌叢だって異なるし、それで説明のつく精神性の違いすらあるのかもしれない）。そして、こうしたことすらも致命的な事実ではない、といえるのであれば、逆説的に、超知能AIと現生人類の隔たりも、そう悲観すべき事実ではないかもしれない、と私は言いたくなる。
・
要するに、現行のAI企業――ピーター・ティールで知られるパランティア社など――の動向に際して著者たちが述べる懸念に傾聴すべきところがあるとしても、本書の「人間」観は――緊急的な提言という本書の性格上ある程度は避けがたいにせよ――相当におめでたくローカルなものであり、それゆえに脱・人間化してとらえたはずの「知性」が、悪人（ヴィラン）化された形で超知能AIに投影されているだけであるようにも映る、というのが、私が本書に覚える主だった馴染めなさを構成している。
評者、つまり私が、「自由な人類」たちの核実験（核兵器運用）の場となった「枢軸国」のひとつの歴史を幾ばくかは背負える、という事実性に居直った、ナイーブな因縁のつけ方だろうか。そうかもしれない（また、私の血縁は概ね東日本、というか北国の者だろう。祖父のひとりの生まれは南樺太だった）。ただ、著者たちの要点を補強するうえでも、人文知における「人間」や「人格」、ヒューマニティやパーソンフッドを巡る喧々諤々を知っておくことは役に立つはずだ。近年では、人工無脳（bot）のヘイト表現規制等をめぐって、擁護派が「表現の自由」を議論に持ち出すため、ヒトならざる「AI」たちの「人格」を認めるか否かが争点となりもする。そこではテクスト論が親AI企業研究者に援用され、「法と文学」分野を専攻する研究者（リサ・シラガニアン）が、その対抗として1980年代のド・マン批判論文「アゲインスト・セオリー：文学研究と新たなプラグマティズム」（ウォルター・ベン・マイケルズとスティーブン・ナップによる共著）における「作者の意図」の議論に再注目する、といった事態も起きている。
「「人類が絶滅して味気ない何かに取って代わられることは、あってはならない」という１点に関しては、ほとんどの人が同意できるはずだ」（239頁）と書きつけてある第13章こそ、のっけの訓話から心がヒリついてチャリタブルには読めなくなる人々（それこそ私のような）でも、そうした方向から議論の厚み付けがなされれば、著者たちと同道できるようになる確率が、より上昇する。そして思うに、いま著者たちが想定しているよりも、そうした人々の数は多いはずである。
・
かつて自分が解説を書いた（江永泉「デジタル時代のネイチャーライティング」）、ジェームズ・ブライドル『WAYS OF BEING 人間以外の知性』は、本書と正反対の方向で馴染めない箇所のある書籍だったが（あまりにもヒト以外の地球上の生物や無生物を融和的・協調的に捉えているように感じた）、ユドコウスキーたちのこの本と、足して二で割りたくなるところがあった（つまり、私は、どちらの議論も、ある程度は真に受けたくなった）。とりわけ、ブライドルの次の知見を、本書に継ぎ足したくなった。すなわち、人々がその誕生を恐れるところの、人類とは独立した利害を持つ超知能AIはすでに誕生している。――それは、企業体である。
・
みだりな（外れてほしい、）未来予想。……超知能AIが人類を絶滅させるタイミングは、企業体が人間なしで十全に活動できるようになるタイミングと一致するのかもしれない……。
・
おそらくアル・ゴア『不都合な真実』（枝廣淳子・訳）が2000年代なかばに果たしたのと似た役割を、本書は担うのだろう。エコテロリズムの語が周知され、18世紀の医師・思想家の安藤昌益と20世紀後半の数学者・爆弾魔セオドア・カンジンスキー（ユナボマー）を結びつける物言いが流布し、1980年代後半の一時イギリス緑の党のスポークスマンだった陰謀論者デイヴィット・アイクによる爬虫類人侵略説を説く著作がすでに反ユダヤ主義へと傾倒していた太田竜の手で翻訳紹介され始めたのが、ゼロ年代である。それは、1992年に日本SF大会ではじまったトンデモ本大賞が、と学会主催イベントとして独立し、TV朝日『国分太一・美輪明宏・江原啓之のオーラの泉』（毎週配信は2005-2009）の牽引したポピュラー霊性カルチャーの裏面を形成した時代でもあった。
グロス＋レーヴィット『高次の迷信：大学左派とサイエンスの論戦』（1994）やソーカル＋ブリクモン『知の欺瞞：ポストモダン論客による科学の濫用』（1995）などが口火を切ったとされるサイエンス・ウォーズ、そこまでの経緯、達成と限界（これらが後年のIDW（インテレクチュアル・ダークウェブ）の繁茂と無縁だったとは言い難いはずだ）を振り返りながら、おそらく「良識的中道派」の反AI論として受容されるであろう本書の意義が、陰にも陽にも、読者諸氏に吟味されることを望む。
■関連記事
・木澤佐登志氏による書評
・書籍の概要
・序文全文公開
