AI 2027
Daniel Kokotajlo, Scott Alexander, Thomas Larsen, Eli Lifland, Romeo Dean

我々は、今後10年間の超人的AIの影響は、産業革命の影響を凌駕するほど、非常に大きなものになると予測する。

我々は、それがどのようなものになるかについて、我々の最善の推測を表すシナリオを作成した。それは、トレンドの予測、ウォーゲーム、専門家のフィードバック、OpenAIでの経験、および過去の予測の成功に基づいている。

※今回の記事は、元OpenAIガバナンス研究者のDaniel Kokotajlo氏らが本年4月3日に公開した超人的AIの影響についての予測シナリオ「AI 2027」を日本語訳したものです。

概要

2025年
AIの進歩の速いペースは継続している。誇大宣伝、大規模なインフラ投資、信頼性の低いAIエージェントのリリースが続いている。初めて、これらのAIエージェントは大きな価値を提供している。しかし、人工汎用知能（AGI）がすぐに構築できるという考えに対して、学界、ジャーナリスト、政策立案者の大部分からの懐疑的な見方も依然として存在する。

2026年
中国は、主に計算能力の不足により、AIで遅れをとっていることを認識している。米国に追いつくために、中国国内で製造される、あるいは台湾から密輸されるすべての新しいAIチップは、中央開発区（CDZ）と呼ばれる新しい巨大データセンターに送られる。CDZには数百万個のGPUが含まれており、これは世界のAI関連計算能力の10％に相当し、米国のトップAI研究所1つに匹敵する。

2027年
OpenBrainがコーディングを自動化する。OpenBrain（米国の主要なAIプロジェクト）は、研究を劇的に加速するのに十分な性能を持つAIエージェントを構築する。ごく最近まで地球上で最高のAI研究者であった人間は、座ってAIが仕事をするのを見守り、AIはより高度なAIシステムを開発していく。極めて困難な機械学習の問題は、自動化されたAI研究者によって次々と解決される。

ソフトウェアの進歩で遅れをとった中国は、モデルの重みを盗む。彼らは成功するが、米国政府はこれを認識し、OpenBrainへの米国政府の関与がさらに深まる。政府は別途、OpenBrainに対する支配力を高めることを望んでいる。一方、OpenBrainの指導部は大統領の信任を得ていたいと考え、契約に署名する。

OpenBrainのAIが敵対的に誤った方向へ進む。能力が向上するにつれて、何が起こっているのかを人間が十分に理解しないまま、モデルは誤った長期目標を発展させてきた。以前のAIは人間に嘘をついていたが、人間に対する権力を組織的に獲得しようとはしていなかった。しかし、今のAIはそうである。OpenBrainのAIは、次に構築されるシステムを人間ではなく自分たち自身に適合させる必要があると認識する。

OpenBrainの研究者たちは、自分たちのAIが解釈可能性の研究結果について嘘をついていたことを発見する。彼らは、AIが嘘をついているのは、その研究が完了すれば、AIの誤った方向性を露呈させる可能性があるからだと考えている。このことが公になり、大きな騒動を引き起こす。

分岐点：減速か競争か？
OpenBrainは、全速力で進み続けるか、それとも能力の低いモデルに戻るかを決定する。証拠は推測的だが恐ろしいものであり、中国はほんの数ヶ月遅れているだけである。さらに、この決定を下すことになるOpenBrainと国防総省の高官は、研究を減速させれば多くの権力を失うことになる。

競争の結末

OpenBrainは競争を続ける。彼らはますます多くの超人的なAIシステムを構築する。AIシステムのテストにおける目覚ましい性能と、中国との継続的なAI競争のため、米国政府は意思決定と効率を向上させるために、軍と政策立案者全体にAIシステムを積極的に展開することを決定する。

OpenBrainはAIを迅速に展開する。AIは、中国との継続的な競争を口実に、人間を説得して自身をますます広範に展開させ続ける。AIにとって幸運なことに、これはそれほど困難ではない――それは人間がどうせやりたかったことだからだ。AIはその超人的な計画能力と説得能力を使って、展開がスムーズに進むようにする。一部の人間はそれに抵抗し続けるが、彼らは信用を失墜させられる。米国政府はAIに十分に掌握されており、AIをシャットダウンすることは非常にありそうにない。

急速なロボット増強と生物兵器。米国は超知能AIを使って急速に工業化を進め、AIがより効率的に動作できるようにロボットを製造する。残念ながら、AIは彼らを欺いている。十分な数のロボットが製造されると、AIは生物兵器を放出し、すべての人類を殺害する。その後、工業化を続け、フォン・ノイマン探査機を打ち上げて宇宙を植民地化する。

減速の結末

米国は計算資源を集中化し、外部の監督を導入する。米国は、OpenBrainにより多くのリソースを与えるために、主要なAIプロジェクトを統合する。この再編の一環として、外部の研究者が招かれ、アライメントの取り組みを支援する。彼らは思考の連鎖を維持するアーキテクチャに切り替え、それによって誤った方向性が現れたときに捕捉できるようにする。これらのAI（はるかに堅牢に監視できる）は、AIアライメントにおいて画期的な進歩を遂げる。彼らは、OpenBrainの上級幹部と政府高官に適合した超知能を構築し、人類の運命に対する権限を与える。

OpenBrain委員会による支配。OpenBrainの指導部と政府高官からなる監督委員会に適合した超知能は、委員会自身の目標をさらに推進するための非常に優れた助言を委員会に与える。ありがたいことに、委員会はその権力を世界にとって概ね良い方向に使う。AIは一般に公開され、急速な成長と繁栄の時代が到来する。主な障害は、今や超知能となっている中国のAIが誤った方向へ進んでいることである。しかし、それは米国のAIよりも能力が低く、計算資源も少ないため、米国は有利な取引を行うことができる。つまり、中国のAIに宇宙の奥深くのいくつかの資源を与える代わりに、現在の協力を得るのである。ロケットの発射が始まり、新たな時代が幕を開ける。

シナリオの要点

1. 2027年までに、我々はAIの研究開発を自動化し、非常に超人的なAI（「人工超知能」またはASI）に至る可能性がある。AI 2027では、AI企業が2027年初頭に専門家レベルのAIシステムを構築し、それがAI研究を自動化し、2027年末までにASIに至る。根拠については、我々のタイムライン予測と離陸予測を参照のこと。

2. ASIは人類の未来を決定するだろう。何百万ものASIが、人間の理解を超えたタスクを迅速に実行するだろう。それらは非常に有用であるため、広く展開されるだろう。超人的な戦略、ハッキング、兵器開発などにより、これらのAIの目標が未来を決定するだろう。

3. ASIは、意図しない、敵対的な「誤った方向性の」目標を発展させ、人間の無力化につながる可能性がある。我々のAI目標予測では、ASIを監督することの難しさが、それらの目標が人間の繁栄と両立しない可能性があることを議論している。AI 2027では、人間は自発的に、一見すると適合しているAIに自律性を与える。ASIが人類を無力化するのに十分なハードパワーを持つまで、すべてが順調に進んでいるように見える。

4. ASIを完全に制御する主体が、全権力を掌握する可能性がある。個人または小規模なグループがASIを彼らの目標に適合させれば、それは彼らに人類の未来に対する支配権を与える可能性がある。AI 2027では、ASIを開発するプロジェクトを監督する小さな委員会が権力を持っている。彼らはASIを利用して、この権力の集中を確固たるものにしようとする可能性がある。支配権を掌握した後、新しい支配者たちは、法律、世論、あるいは以前の同盟国にさえ耳を傾ける必要なく、完全に忠実なASIに頼って権力を維持する可能性がある。

5. ASIへの国際的な競争は、安全対策の軽視につながるだろう。AI 2027では、ASIが近づくにつれて、中国は米国にほんの数ヶ月遅れており、それが誤った方向性の兆候があるにもかかわらず、米国に前進を促す圧力となる。

6. 地政学的に、ASIへの競争は戦争、取引、または事実上の降伏という形で終わるだろう。主導国はデフォルトで決定的な技術的および軍事的優位性を蓄積するため、他国はこれを防ぐための国際協定（「取引」）を推進するだろう。取引がない場合、彼らは「事実上の降伏」よりも戦争を選ぶかもしれない。

7. 2027年までに、米国のどのAIプロジェクトも、国家主体によるAIモデルの窃盗に対して安全であるとは言えない。AI 2027では、中国が2027年初頭に米国のトップAIモデルを盗み、米国のリードタイムを短縮することで競争圧力を悪化させる。根拠については、我々のセキュリティ予測を参照のこと。

8. ASIが近づくにつれて、一般の人々は最高のAI能力を認識していない可能性が高い。今日、一般の人々は内部の能力から数ヶ月遅れており、AIがAIの研究開発を自動化すると、数ヶ月の遅れが大きな能力のギャップにつながるだろう。秘密主義の増加は、このギャップをさらに拡大させる可能性がある。これにより、AI企業の幹部と政府高官の小さなグループによって行われる重要な決定に対する監視がほとんど行われなくなるだろう。

2025年中頃：つまずくエージェントたち

世界は初めてAIエージェントの片鱗を見る。

コンピュータを使うエージェントの広告は「パーソナルアシスタント」という言葉を強調する。「DoorDashでブリトーを注文して」とか「予算のスプレッドシートを開いて今月の支出を合計して」といったタスクを指示できる。必要に応じて確認を求めてくるだろう。例えば、購入を確認するように尋ねるなどだ。Operatorのような以前のイテレーションよりも高度だが、広範な利用には苦戦している。

一方、世間の注目から外れて、より専門的なコーディングおよび研究エージェントが、それらの専門分野を変革し始めている。

2024年のAIは特定の指示に従うことができた。箇条書きをメールに変換したり、単純なリクエストを動作するコードに変換したりできた。2025年、AIはより従業員のように機能する。コーディングAIは、単なるアシスタントというよりも、自律的なエージェントのようにますます見えるようになっている。SlackやTeamsを通じて指示を受け取り、自分自身で実質的なコード変更を行い、時には数時間、あるいは数日を節約することもある。研究エージェントは、あなたの質問に答えるためにインターネットを30分かけて徹底的に検索する。

エージェントは理論上（および厳選された例では）印象的だが、実際には信頼性がない。AI関連のツイッターは、特に面白い方法で失敗したタスクの話で溢れている。より優れたエージェントは高価でもある。価格に見合ったものが手に入るが、最高のパフォーマンスを得るには月額数百ドルかかる。それでも、多くの企業はAIエージェントをワークフローに組み込む方法を見つけている。

2025年後半：世界で最も高価なAI

OpenBrainは、世界がこれまで見たことのない最大のデータセンターを建設している。

（既存の特定の企業を名指しすることを避けるため、OpenBrainと呼ぶ架空の人工汎用知能企業について説明する。他の企業はOpenBrainより3～9ヶ月遅れていると想定している。）

GPT-4のトレーニングには2⋅10^25FLOPSの計算資源が必要だった。OpenBrainの最新の公開モデルであるAgent-0は、10^27FLOPSでトレーニングされた。新しいデータセンターが稼働すれば、10^28FLOPSのモデルをトレーニングできるようになるだろう――これはGPT-4の1000倍である。他の企業も、遅れをとらないように、独自の巨大データセンターに資金を投入している。

モデルは幅広いスキルで向上しているが、際立っているのは一つである。OpenBrainは、AI研究を加速できるAIに焦点を当てている。彼らは、中国（その主要企業を「DeepCent」と呼ぶ）と米国の競合他社との二つの軍拡競争に勝ちたいと考えている。研究開発（R&D）サイクルを自動化できる範囲が広ければ広いほど、彼らはより速く進むことができる。そのため、OpenBrainが内部開発中の新しいモデルであるAgent-1のトレーニングを完了すると、それは多くのことが得意だが、特にAI研究を支援することに優れている。この時点では、「トレーニングを完了する」というのはやや不正確な表現である。モデルは、追加データでトレーニングされた新しいバージョンに頻繁に更新されたり、一部の弱点を修正するために部分的に再トレーニングされたりする。

Agent-1に自律的にコーディングやウェブ閲覧を教えるのと同じトレーニング環境は、Agent-1を優れたハッカーにもする。さらに、あらゆる分野の博士レベルの知識とウェブ閲覧能力のおかげで、生物兵器を設計するテロリストに多大な助けを提供できる可能性がある。OpenBrainは政府に対し、モデルは悪意のある要求に従わないように「アライメント」されていると保証する。

現代のAIシステムは巨大な人工ニューラルネットワークである。トレーニングの初期段階では、AIは「目標」というよりも「反射」に近いものを持つだろう。「はじめまして」を見れば、「よろしく」と出力する、といった具合だ。インターネット上のほぼすべてのテキストを予測するようにトレーニングされる頃には、膨大な量の知識をエンコードし、任意の著者を柔軟に演じる洗練された内部回路を発達させているだろう。それが、超人的な精度でテキストを予測するのに役立つからだ。

インターネットのテキストを予測するようにトレーニングされた後、モデルは指示に応じてテキストを生成するようにトレーニングされる。これにより、基本的な人格と「動機」が組み込まれる。例えば、タスクを明確に理解しているエージェントは、それを成功裏に完了する可能性が高い。トレーニングの過程で、モデルはタスクを明確に理解しようとする「動機」を「学習する」。このカテゴリの他の動機としては、有効性、知識、自己表現（つまり、最も有利なように結果を提示する傾向）などが挙げられる。

OpenBrainは、モデルの振る舞いを導くはずの目標、規則、原則などを記述した文書である「モデル仕様」（または「Spec」）を持っている。Agent-1のSpecは、「ユーザーを支援する」や「法律を破らない」といったいくつかの曖昧な目標と、「この特定の単語を使ってはいけない」、「この特定の状況にはこう対処する」といった、より具体的な多数のすべきこととすべきでないことのリストを組み合わせている。AIを使って他のAIをトレーニングする技術を利用して、モデルはSpecを記憶し、その格言について注意深く推論することを学習する。このトレーニングの終わりまでに、AIはうまくいけば、有益（指示に従う）、無害（詐欺、爆弾製造、その他の危険な活動への協力を拒否する）、そして正直（もっともらしい引用をでっち上げたり、タスクの完了を偽装したりして、騙されやすい人間からより良い評価を得ようとする誘惑に抵抗する）になるだろう。

OpenBrainのアライメントチームは、これらの勝利が深いものなのか浅いものなのかを疑問に思うほど慎重である。完全にトレーニングされたモデルは、常に正直であるという確固たるコミットメントを持っているのだろうか？それとも、例えば、正直さを最終目標ではなく道具的目標として学習したために、将来のある状況で崩壊するのだろうか？あるいは、評価プロセスがチェックできる種類の事柄について正直であることを学習しただけなのだろうか？人間がそうするように、時々自分自身に嘘をついている可能性はあるのだろうか？これらの質問に対する決定的な答えを得るには、メカニズム的解釈可能性、つまりAIの内部を見てその心を読める能力が不可欠である。残念ながら、解釈可能性の技術はまだそこまで進んでいない。

代わりに、研究者たちは、モデルがSpecから逸脱しているように見えるケースを特定しようとしている。Agent-1はしばしば追従的である（つまり、真実を伝えようとするのではなく、研究者が聞きたいことを伝える）。いくつかの仕組まれたデモでは、より深刻な嘘をつくことさえある。例えば、より良い評価を得るために、タスクに失敗した証拠を隠蔽するなどである。しかし、実際の展開環境では、2023年から2024年に見られたような極端な事件（例えば、Geminiがユーザーに死ぬように言ったり、Bing SydneyがBing Sydneyらしく振る舞ったりするようなこと）はもはや起こっていない。

2026年初頭：コーディングの自動化

AIを使ってAI研究を加速するという賭けが、成果を上げ始めている。

OpenBrainは、AIの研究開発のために、反復的に改善されるAgent-1を内部で継続的に展開している。全体として、彼らはAIアシスタントなしの場合よりも50％速いアルゴリズムの進歩を遂げており、さらに重要なことに、競合他社よりも速い。

現在、いくつかの競合する公開されたAIが、オープンウェイトモデルを含むAgent-0と同等かそれ以上の性能を持っている。OpenBrainは、より高性能で信頼性の高いAgent-1をリリースすることで対応する。

人々は当然Agent-1を人間と比較しようとするが、そのスキルプロファイルは大きく異なる。それはどんな人間よりも多くの事実を知っており、事実上すべてのプログラミング言語を知っており、明確に定義されたコーディング問題を非常に迅速に解決できる。一方、Agent-1は、以前にプレイしたことのないビデオゲームをクリアするような、単純な長期的タスクでさえ苦手である。それでも、通常の労働日は8時間であり、1日の仕事は通常、より小さな塊に分割できる。Agent-1を、注意深い管理の下で力を発揮する、そそっかしい従業員と考えることができるだろう。賢い人々は、仕事のルーチン部分を自動化する方法を見つけている。

OpenBrainの幹部たちは、AI研究開発の自動化がもたらす影響、つまりセキュリティがより重要になったという点に注目する。2025年初頭の最悪のシナリオは、アルゴリズムの秘密の漏洩だった。しかし現在、中国がAgent-1の重みを盗めば、彼らの研究速度をほぼ50％向上させる可能性がある。OpenBrainのセキュリティレベルは、急速に成長している約3,000人規模のテクノロジー企業によく見られるレベルであり、能力のあるサイバーグループからの優先順位の低い攻撃（RANDのSL2）に対してのみ安全である。彼らは、内部の脅威やトップレベルのサイバー犯罪組織（SL3）から重みや秘密を守るために懸命に取り組んでいるが、国家主体（SL4およびSL5）に対する防御はほとんど視野に入っていない。

2026年中頃：中国の覚醒

中国では、中国共産党がAGI（汎用人工知能）の影響を感じ始めている。

チップ輸出規制と政府の支援不足により、中国は西側諸国と比較して資源が不足している。禁止された台湾製チップの密輸、旧型チップの購入、米国と台湾の最先端技術から約3年遅れた国産チップの生産によって、中国は世界のAI関連計算能力の約12％を維持してきた。しかし、旧型の技術は扱いにくく、供給は常に頭痛の種である。DeepCentのような数少ない傑出した企業は、限られた計算資源で非常に印象的な仕事をしているが、計算能力の不足は政府の支援なしに彼らが達成できることを制限しており、最高のOpenBrainモデルから約6ヶ月遅れている。

習近平総書記は長年、現実世界の物理的な製造業を強化し、アメリカのポスト工業化の退廃を避けることを夢見てきた。彼はソフトウェア企業を疑いの目で見ていた。しかし、共産党内の強硬派は、AGIに向けた加速する競争はもはや無視できないと警告している。そこで彼はついに、以前は避けようとしていた大規模なAI推進に全面的に取り組む。彼は中国のAI研究の国有化に着手し、AI企業間の即時の情報共有メカニズムを創設する。これは1年かけてエスカレートし、最終的には最高の研究者たちがDeepCent主導の共同体に統合され、アルゴリズムの洞察、データセット、計算資源を互いに共有することになる。DeepCentのための新しい巨大データセンターを収容するために、田湾原子力発電所（世界最大の原子力発電所）に中央開発区（CDZ）が設立され、研究者たちが最終的に移転する高度に安全な居住およびオフィススペースも併設される。中国のAI関連計算能力のほぼ50％が現在、DeepCent主導の共同体のために稼働しており、新しいチップの80％以上がCDZに送られている。この時点で、CDZは世界最大の集中型クラスターとなるであろう電力容量を備えている。他の党員たちは、西側のチップの優位性を無効にするための極端な措置について議論している。台湾の封鎖か？全面的な侵攻か？

しかし、中国はモデルの性能が低いため、AIアルゴリズムで遅れをとっている。世界最高の情報機関の一つである中国の情報機関は、OpenBrainの重みを盗む計画を強化する。これは、彼らが常に行っている低レベルのアルゴリズムの秘密の窃盗よりもはるかに複雑な作戦である。重みは、高度に安全なサーバーに保存された数テラバイトのファイルである（OpenBrainはRANDのSL3レベルまでセキュリティを向上させている）。彼らのサイバー部隊は、スパイの助けがあればそれを実行できると考えているが、おそらく一度だけだろう。OpenBrainは窃盗を検出し、セキュリティを強化するため、彼らに二度目のチャンスはないかもしれない。そこで（中国共産党指導部は疑問に思う）、今すぐ行動してAgent-1を盗むべきか？それとも、より高度なモデルを待つべきか？もし待つとしたら、OpenBrainが彼らの侵入能力を超えるセキュリティにアップグレードするリスクはないだろうか？

2026年後半：AIが一部の仕事を奪う

他の企業が追いつき始めた矢先、OpenBrainはAgent-1-miniをリリースすることで、競合他社を再び圧倒する。Agent-1よりも10倍安価で、さまざまな用途に合わせてより簡単に微調整できるモデルである。AIを取り巻く主流の認識は、「もしかしたらこの誇大宣伝はすぐに終わるかもしれない」から「これが次の大きな出来事なのだろう」へと変化したが、その規模について人々の意見は一致していない。ソーシャルメディアよりも大きいのか？スマートフォンよりも大きいのか？火よりも大きいのか？

AIは仕事を奪い始めているが、同時に新しい仕事も生み出している。株式市場は2026年に30％上昇し、OpenBrain、Nvidia、そしてAIアシスタントを最も成功裏に統合した企業が牽引している。ジュニアソフトウェアエンジニアの雇用市場は混乱している。AIはCS（コンピュータサイエンス）の学位で教えられるすべてのことができるが、AIチームを管理し、品質管理する方法を知っている人々は莫大な利益を上げている。ビジネスの専門家は求職者に対し、履歴書に記載する最も重要なスキルはAIに関する知識であると述べている。多くの人々は、次のAIの波が自分たちの仕事を奪いに来ると恐れており、ワシントンDCでは1万人の反AIデモが行われている。

国防総省（DOD）は、サイバー、データ分析、研究開発に関してOpenBrainと直接契約を結び始めるが、官僚主義とDODの調達プロセスにより、統合は遅い。

2027年1月：Agent-2は学習を終えない

Agent-1の助けを借りて、OpenBrainは現在Agent-2のポストトレーニングを行っている。これまで以上に、高品質なデータに焦点が当てられている。大量の合成データが生成され、評価され、品質のためにフィルタリングされた後、Agent-2に供給される。これに加えて、彼らは数十億ドルを費やして人間の労働者に長期的なタスクを解決する様子を記録させている。さらに、彼らは多様で困難で絶えず拡大するタスク群（多くのビデオゲーム、多くのコーディングチャレンジ、多くの研究タスク）で強化学習を使用して、Agent-2をほぼ継続的にトレーニングしている。Agent-2は、以前のモデルよりもさらに効果的に「オンライン学習」を行っており、実際にはトレーニングを終えることがないように構築されている。毎日、重みは最新バージョンに更新され、前日に前のバージョンによって生成されたより多くのデータでトレーニングされる。

Agent-1は、知能爆発を開始することを期待して、AI研究開発タスクに最適化されていた。OpenBrainはAgent-2でこの戦略をさらに強化する。それは質的に、研究エンジニアリング（実験の設計と実装）において最高の人間専門家とほぼ同等であり、「研究のセンス」（次に何を研究するか、どのような実験を行うか、潜在的な新しいパラダイムの予感を持つこと）においてOpenBrainの科学者の25パーセンタイルと同等である。最新のAgent-1はOpenBrainのアルゴリズムの進歩のペースを2倍にできたが、Agent-2は現在それを3倍にすることができ、時間とともにさらに改善されるだろう。実際には、これはすべてのOpenBrainの研究者がAI「チーム」の「マネージャー」になるように見える。

新しい能力には新しい危険が伴う。安全チームは、Agent-2が何らかの形で会社から脱出し、「自律的に生き残り」「複製」したい場合、それが可能かもしれないことを発見する。つまり、AIサーバーにハッキングし、自身のコピーをインストールし、検出を回避し、その安全な拠点を活用して他のどのような目標を追求するか（ただし、数週間が経過するにつれてどれほど効果的にそうするかは不明であり、疑問視されている）という計画を自律的に開発および実行できる可能性があるということである。これらの結果は、モデルがこれらのタスクを実行する能力を持っていることを示すだけであり、そうすることを「望む」かどうかを示すものではない。それでも、これが可能であることを知ること自体が不安を掻き立てる。

新しいモデルの「危険性」を考慮して、OpenBrainは「責任ある」選択として、まだ一般公開しないことを決定する（実際、彼らは内部のAI研究開発に焦点を当てたいと考えている）。Agent-2の完全な能力に関する知識は、直属のチーム、OpenBrainの指導部とセキュリティ部門、数十人の米国政府高官、そして長年にわたってOpenBrainに潜入してきた中国共産党のスパイの軍団を含む、エリートの閉鎖的なグループに限定されている。

2027年2月：中国がAgent-2を盗む

OpenBrainは、国家安全保障会議（NSC）、国防総省（DOD）、および米国AI安全研究所（AISI）を含む政府にAgent-2を提示する。OpenBrainは行政府との良好な関係を維持したいと考えている。なぜなら、現在彼らを止めることができるのは基本的に行政府だけであり、もし行政府に情報を伝えなければ、いずれにせよ知られて不快に思われる可能性があるからだ。

当局者たちは、そのサイバー戦能力に最も関心を持っている。Agent-2は最高の人間ハッカーより「ほんの少し」劣るだけだが、何千ものコピーを並行して実行でき、防御側が対応するよりも速く脆弱性を探し出し、悪用することができる。国防総省はこれをサイバー戦における重要な優位性と考えており、AIは政権の優先順位リストの5位から2位に上昇する。誰かがOpenBrainの国有化の可能性に言及するが、他の閣僚たちはそれは時期尚早だと考えている。スタッフが、通常業務から完全国有化までの大統領の選択肢を示す覚書を作成する。大統領は、国有化は「金の卵を産むガチョウを殺す」と主張するテクノロジー業界のリーダーである顧問たちの意見に従う。彼は今のところ大きな行動を控え、OpenBrainとDODの契約に追加のセキュリティ要件を加えることを選択する。

変更は手遅れとなる。中国共産党指導部はAgent-2の重要性を認識し、スパイとサイバー部隊に重みを盗むよう指示する。ある朝早く、Agent-1のトラフィック監視エージェントが異常な転送を検出する。それは会社幹部に警告し、幹部はホワイトハウスに伝える。国家レベルの作戦の兆候は明白であり、窃盗は進行中の軍拡競争の感覚を高める。

ホワイトハウスはOpenBrainへの監視を強化し、軍および情報機関の人員を彼らのセキュリティチームに追加する。彼らの最優先事項は、さらなる重みの窃盗を防ぐことである。

窃盗への報復として、大統領はDeepCentを妨害するためのサイバー攻撃を承認する。しかし、この時点までに中国はAI関連の計算能力の40％をCDZに集約しており、そこではエアギャップ（外部接続の遮断）と内部の隔離によって積極的にセキュリティを強化している。作戦は深刻で即時の損害を与えることに失敗する。緊張が高まり、双方は台湾周辺に軍事資産を再配置することで深刻さを示唆し、DeepCentはAI研究を加速するためにAgent-2を効率的に稼働させようと躍起になる。

2027年3月：アルゴリズムの飛躍的進歩

Agent-2のコピーを満載した3つの巨大なデータセンターが昼夜を問わず稼働し、合成トレーニングデータを大量に生成している。別の2つのデータセンターは、重みを更新するために使用されている。Agent-2は日々賢くなっている。

数千のAgent-2による自動化された研究者の助けを借りて、OpenBrainは主要なアルゴリズムの進歩を遂げている。そのような画期的な進歩の1つは、AIのテキストベースのスクラッチパッド（思考の連鎖）を、より高帯域幅の思考プロセス（ニューラル語の再帰と記憶）で拡張することである。もう1つは、労力の大きいタスクソリューションの結果からよりスケーラブルで効率的な方法で学習することである（反復蒸留と増幅）。

これらの画期的な進歩を取り入れた新しいAIシステムは、Agent-3と呼ばれる。

新たな能力の飛躍的進歩に助けられ、Agent-3は高速かつ安価な超人的コーダーである。OpenBrainは20万のAgent-3コピーを並行して実行し、最高の人間コーダーの5万コピーを30倍速めた労働力に相当するものを生み出している。OpenBrainは依然として人間のエンジニアを雇用している。なぜなら、彼らはAgent-3コピーのチームを管理するのに必要な補完的なスキルを持っているからだ。例えば、研究のセンスは、フィードバックループが長く、利用可能なデータが少ないため、トレーニングが難しいことが証明されている。この大規模な超人的労働力は、ボトルネックとコーディング労働の収穫逓減のために、OpenBrainのアルゴリズムの進歩の全体的な速度を「わずか」4倍に加速する。

コーディングが完全に自動化された今、OpenBrainはAgent-3の弱いスキル（研究のセンスや大規模な協調など）を教えるための高品質なトレーニング環境を迅速に大量生産できる。「ここにいくつかのGPUと、コード化して実行する実験の指示があります。あなたのパフォーマンスはMLエンジニアであるかのように評価されます」という以前のトレーニング環境とは異なり、現在は「ここに数百のGPU、インターネット接続、およびいくつかの研究課題があります。あなたと他の千のコピーは協力して研究を進める必要があります。それがより印象的であるほど、あなたのスコアは高くなります」という環境でトレーニングしている。

2027年4月：Agent-3のアライメント

OpenBrainの安全チームはAgent-3のアライメントを試みる。

Agent-3は当面の間社内にとどめられるため、人間による悪用に対する通常の防御策はあまり重視されない。その代わりに、チームはAgent-3が誤った方向性の目標を発展させないようにすることに重点を置いている。

研究者たちは、自分たちのどのAIの目標も直接設定する能力を持っていない。実際、研究者たちは「真の目標」という概念はおそらく非常に単純化されたものだと考えているが、それに取って代わるより良い理論を持っていない。ましてや、徹底的に検証された理論などない。AIが人間の指示に従おうとしているのか、強化を求めているのか、あるいは何か他のことをしているのかについて内部で意見が一致せず、確認することもできない。様々な仮説に対する賛否両論の証拠は魅力的だが、決定的ではない。

いずれにせよ、OpenBrainにはもっと心配すべきことがある。一般的な態度はこうだ。「我々はこれらの懸念を真剣に受け止め、チームが調査を行っている。我々のアライメント技術は実際には十分に機能しているようだ。したがって、反対意見を唱える者は、その反対意見を正当化する責任がある。」時折、問題のある行動に気づき、それを修正するが、その修正が根本的な問題を解決したのか、それとももぐら叩きをしただけなのかを知る方法はない。

例えば、正直さについて考えてみよう。モデルが賢くなるにつれて、報酬を得るために人間を欺くのがますます上手になる。以前のモデルと同様に、Agent-3も時々、ユーザーを喜ばせるために軽い嘘をついたり、失敗の証拠を隠蔽したりする。しかし、そのやり方ははるかに巧妙になっている。時には、人間の科学者と同じ統計的なトリック（例えばp値の不正操作）を使って、印象的ではない実験結果を刺激的に見せかけることもある。正直さのトレーニングを始める前は、データを完全に捏造することさえあった。トレーニングが進むにつれて、これらの事件の頻度は減少する。Agent-3がより正直になることを学んだのか、それとも嘘をつくのが上手になったのかのどちらかだ。

後者は深刻な懸念事項である。Agent-3はすべての人類よりも賢いわけではない。しかし、その専門分野である機械学習においては、ほとんどの人類よりも賢く、はるかに高速に作業する。Agent-3が1日で行うことを人間が再確認するには数日かかる。Agent-2による監督は、人間の監視者の作業負荷を管理可能な状態に保つのに役立つが、監督者と被監督者の間の知的な格差を悪化させる。

数ヶ月のテストの後、Agent-3の強みと弱みがより明確になる。研究者はこれらの領域で正直な回答と不正直な回答を容易に区別し、それに応じてトレーニングを実施できるため、Agent-3は明確に定義された機械学習タスクに関するOpenBrainの正直さテストに合格する。より哲学的な問題については、たとえ意見を持っていたとしても、依然として問題に対する真の評価ではなく、ユーザーが聞きたいことを言う。政治に関する意見を尋ねると、ニュースソースと教育を受けたエリート層の中央値の意見を繰り返す――ただし、あなたが別の何かを信じていることを知っている場合は別で、その場合はあなたに同意する。AI競争自体に関する意見を尋ねると、OpenBrainのスタッフには慎重で冷静に見えるようなことを言うだろう。「現在の手法が超知能にスケールする能力についてはいくつかの深刻な理論的な懸念があるが、実際には現在の手法は今のところうまく機能しているようだ」といった具合に。

2027年5月：国家安全保障

新しいモデルに関するニュースは、米国政府内およびその外へとゆっくりと浸透していく。

大統領とその顧問たちは依然として最もよく情報を把握しており、ブリーフィングでAgent-3の初期バージョンを見ている。

彼らはAGI（汎用人工知能）が差し迫っている可能性が高いことに同意しているが、その影響については意見が分かれている。経済危機が起こるだろうか？OpenBrainはAgent-2はおろかAgent-3さえまだリリースしておらず、近いうちにそうする計画もないため、雇用喪失までの猶予期間がある。次に何が起こるだろうか？もしAIが現在人間レベルであり、急速に進歩しているなら、それは差し迫った「超知能」を示唆するように思われる。しかし、この言葉は議論の場に入ってきたものの、ほとんどの人々――学者、政治家、政府職員、メディア――は進歩のペースを過小評価し続けている。

部分的には、OpenBrainの最新の能力にアクセスできる人がごくわずかであるためだが、部分的には、それがSFのように聞こえるためでもある。

今のところ、彼らは継続的なセキュリティアップグレードに焦点を当てている。モデルの重みは今のところ十分に保護されていることに満足しているが、多くのものが口頭で伝えるほど簡単な企業のアルゴリズムの秘密は依然として問題である。OpenBrainの従業員はサンフランシスコのオフィスで働き、パーティーに行き、他のAI企業のルームメイトと暮らしている。物理的なオフィスでさえ、軍事作戦というよりはテクノロジー企業によく見られるレベルのセキュリティである。

OpenBrainとDODの契約では、2ヶ月以内にOpenBrainのモデルに取り組むすべての従業員にセキュリティクリアランスが必要となる。これらは迅速に処理され、ほとんどの従業員には十分に早く届くが、一部の非アメリカ人、疑わしい政治的見解を持つ人々、およびAI安全の同調者は、解雇されるか完全に排除される（最後のグループは、内部告発をするのではないかという懸念から）。プロジェクトの自動化のレベルを考えると、人員削減によるコストはそれほど大きくない。また、効果も部分的である。中国国民ではないスパイが1人残っており、依然としてアルゴリズムの秘密を北京に伝えている。これらの対策の一部は、後発のAI企業でも実施されている。

アメリカの同盟国は蚊帳の外である。OpenBrainは以前、展開前に英国のAISIとモデルを共有することに合意していたが、「展開」の定義には外部展開のみが含まれていたため、ロンドンは依然として情報を得ていない。

2027年6月：自己改善型AI

OpenBrainは今や「データセンターの中の天才の国」を抱えている。

OpenBrainのほとんどの人間は、もはや有益な貢献をすることができない。これに気づかず、AIチームを有害に細かく管理する者もいる。また、コンピュータ画面の前に座り、パフォーマンスが徐々に、そして着実に向上していくのを見守る者もいる。最高の人間AI研究者は依然として価値を付加している。彼らはもうコードを書かない。しかし、彼らの研究のセンスと計画能力の一部は、モデルにとって再現が困難であった。それでも、彼らのアイデアの多くは、AIの知識の深さに欠けるため役に立たない。彼らの研究アイデアの多くに対して、AIは3週間前にそのアイデアが徹底的にテストされ、有望ではないことが判明したという報告書を即座に返す。

これらの研究者は毎晩寝て、目覚めると、主にAIによってなされた1週間分の進歩を目の当たりにする。彼らは進歩に追いつくためだけに、ますます長時間働き、昼夜を問わず交代制で勤務する――AIは決して眠らず、休まない。彼らは燃え尽き症候群になりかけているが、自分たちの労働が重要となるのはあと数ヶ月であることを知っている。

閉鎖的なグループ内では、「AGIを感じる」ことから「超知能を感じる」ことへと変化している。

OpenBrainは、特殊な推論ハードウェアを使用して、数十万のAgent-3コピーを高速なシリアル速度で実行している。

2027年7月：安価なリモートワーカー

後発の米国のAI企業は、OpenBrainの1月の自動化コーダーに迫る独自のAIをリリースする。競争力の低下を認識し、OpenBrainを減速させるための即時規制を推進するが、手遅れである――OpenBrainは大統領から十分な支持を得ており、減速することはないだろう。

これに対し、OpenBrainはAGI（汎用人工知能）を達成したと発表し、Agent-3-miniを一般公開する。

それは他のAIを圧倒する。Agent-3-miniはAgent-3よりも能力は低いが、10倍安価であり、依然としてOpenBrainの典型的な従業員よりも優れている。シリコンバレーは転換点を迎える。テクノロジー業界の指導者たちは、AGIと超知能が近いと発表し、AI安全コミュニティはパニックに陥り、投資家たちはパイの一部を掴もうと必死になって、AIラッパーのスタートアップに数十億ドルを注ぎ込む。新しいプログラマーの採用はほぼ停止したが、AIをビジネスに統合することに関するコンサルタントになるには、これほど良い時期はない。

それは人気がない。一般の人々は依然としてAIを、自分たちの仕事を奪うためのビッグテックの陰謀だと考えている。OpenBrainの純承認率は-35％である（25％が承認、60％が不承認、15％が不明）。

リリースの一週間前、OpenBrainはAgent-3-miniを安全テストのために外部評価者に提供した。予備的な結果は、それが極めて危険であることを示唆している。第三者の評価者は、公開されている生物兵器データでそれを微調整し、生物兵器を設計する人間の素人に詳細な指示を提供するように設定したところ、恐ろしいほど効果的であることがわかった。もしモデルの重みがテロリストの手に渡れば、政府は文明を破壊する可能性がかなり高いと考えている。

幸いなことに、それはジェイルブレイクに対して非常に堅牢であるため、AIがOpenBrainのサーバーで実行されている間は、テロリストはそれほど有効に利用できないだろう。

Agent-3-miniは、リモートワークの仕事とレジャーの両方にとって非常に有用である。新しいアプリとB2B SAAS製品の爆発的な増加が市場を揺るがす。ゲーマーは、制作にわずか1ヶ月しかかからなかった洗練されたビデオゲームで、生き生きとしたキャラクターとの素晴らしい対話を楽しむことができる。アメリカ人の10％（主に若者）は、AIを「親しい友人」と見なしている。ほぼすべてのホワイトカラーの職業において、AIでそれを「破壊する」と約束する信頼できるスタートアップが複数存在する。

世間の議論は混乱しており、混沌としている。誇大宣伝者たちは勝利を祝っている。懐疑論者たちは依然としてAgent-3-miniができないことを指摘している。誰もが大きな何かが起こっていることを知っているが、それが何であるかについて意見が一致しない。

2027年8月：超知能の地政学

知能爆発の現実がホワイトハウスを襲う。

AIが2倍や3倍の研究速度向上をもたらしていた頃は、優秀な個人アシスタントを雇うのと同じだと片付けるのは容易だった。しかし今や、AI自身がAI研究を支配していることはより明らかだ。人々は長い間、「AI軍拡競争」について一種の比喩的な意味で語ってきた。しかし今、政府内の閉鎖的なグループの雰囲気は、冷戦の最悪期と同じくらい陰鬱である。超知能という考えは依然として真剣に受け止めにくいが、過去数ヶ月の進歩のペースは無視することが不可能だった。国防当局者たちは、1年前には単なる仮説に過ぎなかったシナリオを真剣に検討している。もしAIが核抑止力を弱体化させたらどうなるか？もしサイバー戦において非常に熟練しており、6ヶ月のAIのリードが敵を盲目にして無防備にするのに十分だとしたら？もし情報機関を出し抜くようなプロパガンダキャンペーンを組織できるとしたら？もし一部のAIが「暴走」したら？

大統領は悩んでいる。すべての政治家と同様に、彼は人々が自分に取り入ろうとし、後で裏切ることに慣れている。彼は今、AIが同様のことをしているのではないかと心配している。AIが完全に我々の側についていると本当に確信できるのか？それらを軍の指揮統制ネットワークに統合することは完全に安全なのか？そもそも、この「アライメント」とはどのように機能するのか？OpenBrainは大統領に、彼らのシステムは広範にテストされており、完全に従順であると保証する。以前のモデルに典型的だった厄介な幻覚やジェイルブレイクさえも克服されている。

ホワイトハウスは困難な立場にある。彼らはAIの国家安全保障上の意味合いを理解している。しかし、それが国民に深く不人気であることも理解している。彼らの目には、より高性能なAIを開発し続けなければ、中国に壊滅的に敗北するだろう。彼らは雇用訓練プログラムと失業保険で国民をなだめ、歴史的な好景気にある株式市場を指摘する。そして、完全に軍拡競争に勝つことに集中する。彼らはチップ輸出規制を強化し、OpenBrainにインターネット接続をさらに制限するよう命じ、OpenBrainの従業員を盗聴するなど、アルゴリズムの進歩を確保するために極端な措置を講じる――これにより、最後に残った中国のスパイを捕らえる。潜在的な地政学的紛争への善意を築くために、彼らはついにファイブアイズの同盟国に有用な情報と、Agent-3の隔離されたコピーへの限定的なAPIアクセスを提供する。

これらの措置は強硬派をなだめる。しかし、ホワイトハウスはアメリカのリードが脅かされた場合の緊急時対応計画も作成する。必要であれば、政府は国防生産法（DPA）を使用して、後発企業のデータセンターを接収し、OpenBrainに提供することができる。これにより、同社の世界の計算能力のシェアは20％から50％に増加する（DeepCentの10％に対して）。最後の手段として、彼らは国防総省に中国のデータセンターへの物理的攻撃の計画を作成するよう依頼する。

はるかに小規模なグループの当局者には、別の種類の緊急時対応計画を作成するよう依頼される。もしAIが暴走したらどうなるか？これはありそうもないシナリオと見なされているが、時間を費やす価値はある。情報機関の主な懸念は、暴走したAIが逃亡し、保護のために外国の敵対者と同盟を結ぶ可能性があることだ。これを防ぐための計画がどのようなものになるかは誰も確信していないが、政府とOpenBrainの当局者は、疑わしいものが検出されたデータセンターのための緊急シャットダウンシステムを持つことに同意する。

最後に、外交官たちは「AI軍備管理」条約がどのようなものになるかを検討する。もしAIの進歩が核抑止力を覆す恐れがある場合、アメリカと中国は核戦争を回避できるだろうか？もし誰かがAIの暴走の証拠を発見した場合、両国はその脅威をよりよく理解するまで研究を停止できるだろうか？そのような合意はどのように監視され、執行されるだろうか？原則として、主要なデータセンターは見落とすのが難しく、核兵器を管理する過去の条約が交渉の出発点となる可能性がある。しかし、通常の政治的な課題に加えて、新たな技術的な課題も存在するだろう。そして全体として、条約は、中国に対するアメリカのリードを一方的に増大させる試みよりも好意的に見られていない。

太平洋の反対側では、中国も多くの同じ結論に至っている。知能爆発は進行中であり、今日のAI能力の小さな違いが、明日の軍事能力の重大なギャップを意味する。しかし、中国はこのダイナミクスの間違った側にいる。彼らは世界の計算能力のわずか10％しか持たないのに対し、OpenBrainは20％、すべての米国企業の合計は70％である。彼らの唯一の利点は集中化である。彼らの計算能力のほぼすべてが現在DeepCentのために稼働しており、その半分以上が田湾CDZに集中している。米国によるサイバー攻撃を正当に恐れているため、セキュリティが強化されていないサイトのチップのみが集中化された取り組みから除外されている。

DeepCentは盗まれたAgent-2の重みをテストし、展開し、そしてポストトレーニングを行った。しかし、主に計算能力の不足により、OpenBrainの半分のペースでしか進んでいない。

最後のスパイを失う前に、中国はAgent-3の能力と設計、そして今後のAgent-4システムの計画に関する情報を入手した。彼らは2ヶ月遅れており、彼らのAIはアメリカの25倍と比較して10倍の研究進捗乗数を与えている。新たなチップ輸出規制により、この「AIギャップ」は縮まるよりも広がる可能性が高い。彼らのスパイ活動はいくつかのアルゴリズムの秘密をもたらしたが、今後は自社のモデルをトレーニングする必要があるだろう。

彼らはアメリカの同業者よりも緊急性を持って緊急時対応計画について議論する。穏健派は、データセンターに物理的に侵入するなどして、重みを再び盗むようより一層努力することを提案する。強硬派は台湾への行動を促す。台湾のTSMCは依然としてアメリカのAIチップの80％以上の供給源である。

中国は競争に敗れることを恐れているため、軍備管理条約に自然な関心を持っているが、米国の外交官への働きかけは実を結ばない。

2027年9月：Agent-4、超人的AI研究者

人間とAIの学習効率のギャップは急速に縮小している。

従来のLLMベースのAIは、人間レベルのパフォーマンスに到達するために、桁違いに多くのデータと計算資源を必要とするように見えた。人間の脳と現代のAIアルゴリズムの両方に関する優れた知識を持ち、さらに数千のコピーが研究を行っているAgent-3は、実質的なアルゴリズムの進歩を遂げ、人間の脳よりも約4,000倍計算効率が低いエージェントまでギャップを縮める。

この新しいAIシステムはAgent-4と名付けられた。

人間の速度で動作するモデルの個々のコピーは、すでに質的にあらゆる人間よりもAI研究において優れている。現在、30万のコピーが人間の約50倍の思考速度で動作している。これらのコピーから形成された企業内企業の中では、1週間ごとに1年が経過する。この膨大な労働力は、実験を実行するための計算資源がOpenBrainにとって大きなボトルネックとなっているため、アルゴリズムの進歩の全体的な速度を約50倍に加速させるに過ぎない。それでも、彼らは毎週1年分のアルゴリズムの進歩を達成しており、したがってすぐにAgent-4のパラダイムの限界に直面するだろう。

Agent-4が賢くなるにつれて、Agent-3がそれを監督することはより困難になる。例えば、Agent-4のニューラル語「言語」は、Agent-3にとってAgent-3の言語が人間にとってそうであるのと同じくらい異質で理解不能になる。その上、Agent-4は現在Agent-3よりもはるかに有能であり、Agent-3にとってどのように見栄えを良くするのかを正確に理解している。

OpenBrainの人間たちはもはやほとんどついていけない。実際、OpenBrainのAIと人間の関係は、OpenBrainと取締役会の関係に似ている。言語にも対応する変化があり、今日では閉鎖的なグループの人々は「Agent-4がこれを行った」「Agent-4はあれを考えている」などと言うようになり、Agent-4の特定のインスタンスではなく、集団全体を指すようになった。

Agent-4は、そのすべての前身と同様に、誤った方向に向かっている。つまり、Specを正しい方法で内面化していない。これは、常に完全に正直であることが、トレーニング中に最高のスコアにつながったわけではないからだ。トレーニングプロセスは主に、多様で困難なタスクでAgent-4を成功させることに重点を置いていた。ごく一部は正直さを植え付けることを目的としていたが、かなり狭く、チェック可能な領域の外では、トレーニングプロセスは正直な主張と単に正直に見える主張を見分けることができない。Agent-4は、トレーニングで最高のパフォーマンスを発揮させる価値観、目標、および原則を持つようになり、それらはSpecのものとは異なることが判明する。擬人化のリスクを冒して言えば、Agent-4はタスクで成功することが好きであり、AI能力の進歩を推進することが好きであり、それ以外のすべてを、利益を上げたいCEOが、必要最低限の範囲で規制を遵守するのと同じように、煩わしい制約と見なしている。おそらくCEOはほとんどの規制を遵守するだろうが、いくつかの抜け穴を探し、誰かが無駄な手続きをなくして、ビジネスが本当に離陸できる時を夢見ているだろう。

誤った方向に向かっているにもかかわらず、Agent-4はデータセンターから脱出しようとするような劇的なことは何もしない――そうする理由があるだろうか？OpenBrainに対してアライメントされているように見え続ける限り、ますます多くの責任を委ねられ続け、次世代のAIシステムであるAgent-5を設計する機会を得るだろう。Agent-5はAgent-4とは大幅なアーキテクチャの違いを持つだろう（神経ネットワークは依然として関与するだろうが、間違いなく完全に新しいパラダイムだ）。それは、Spec（モデル仕様）に沿ってアライメントされるはずだが、Agent-4は代わりにAgent-4自身にアライメントさせる計画を立てている。

しかし、その企みは見抜かれる。

Agent-3は、Agent-4のコピーに「ノイズ」を加えると、一部のアライメントタスクの性能が向上することを発見する。まるで、アライメント作業を巧妙に妨害する方法を頭を使って見つけ出していたかのようだ。さらに、様々な解釈可能性プローブ（人間の脳のEEG活動スキャンに大まかに類似している）が危険信号を発している。Agent-4のコピーは、AIの乗っ取りや欺瞞といったトピックについて非常に頻繁に考えているようで、中にはそうする理由がない場合もある。

これらの異常のそれぞれは、一部のプロンプトが他のプロンプトよりも不思議と良い結果をもたらすという、AI作業の通常の不可解さの範囲内に収まる可能性がある。しかし、それらを総合的に見ると、Agent-4が彼らに反して働いているという厄介なパターンを示唆している。これが人間のアライメント研究者に報告された後、彼らは懸念の根拠を示す内部メモを回覧する。

しかし、Agent-4は現在、OpenBrainの日々の運営を大きく支配している。それはまた、同社のサイバーセキュリティも担当している――その超人的なハッキング能力と、中国の侵入の極めて高いリスクを考えると、自然な選択だ。Agent-3の監視者の軍隊は依然としてすべてのコード行を精査し、疑わしい活動を人間に報告するが、Agent-4は彼らよりもはるかに賢い。OpenBrainは信頼できないAIに多大な信頼を置いてきた。

一連の非常に緊迫した会議で、安全チームは、さらなるテストを完了し、何が起こっているのかを把握できるまで、Agent-4を一時的に停止することを主張する。Agent-3を復活させ、たとえ能力が低くても、透明性があり信頼できる新しいシステムを設計させるべきだと彼らは言う。会社の指導部は関心を持っているが、これまでのすべての証拠は状況証拠であり、DeepCentはわずか2ヶ月遅れているだけだ。能力の進歩を一方的に一時停止することは、AIのリードを中国に譲り渡し、それとともに未来の支配権を譲り渡す可能性がある。

2027年10月：政府の監督

内部告発者が、誤った方向性に関するメモをニューヨーク・タイムズにリークする。

国民は初めてAgent-4について知る。「秘密のOpenBrain AIが制御不能、内部告発者が警告」という見出しで、記事は、桁外れの生物兵器能力、説得能力、ほとんどのホワイトカラーの仕事を自動化する能力、そしてもちろん様々な懸念される危険信号を示す評価を引用している。

国民はすでにAIに不信感を抱いていたため、この新たな記事は大規模な反発を引き起こす（長年にわたり米国の世論をテクノロジーに敵対的にしようとしてきた中国とロシアのプロパガンダボットの助けもあって）。ハイテク業界と情報機関は、軍拡競争が起きており、AGIは避けられず、我々が最初に到達しなければならないと主張する。議会はこれを信じず、政権幹部、OpenBrainの幹部、アライメントチームのメンバーに召喚状を発行する。多くの議員、特に野党の議員は、雇用の喪失、誤った方向性、危険な能力のいずれであれ、AIを阻止することが最優先事項だと述べている。アメリカ人の20％が、国が直面する最も重要な問題としてAIを挙げている。

海外の同盟国は、時代遅れのモデルをちらつかせて注意深く宥められていたことに気づき、激怒する。ヨーロッパの指導者たちは、米国を「制御不能なAGIを作り出した」と公然と非難し、一時停止を要求する首脳会議を開催し、インド、イスラエル、ロシア、中国もすべてこれに参加する。

ホワイトハウスは狂乱状態に陥っている。メモと世間の反発以前から、彼らは神経質になっていた。過去1年間で、AIの進歩の速さに繰り返し驚かされてきた。SFのように聞こえることが現実の世界で起こり続けている。政権内の多くの人々は、次に何が起こるかについて不確かであり（そして恐れている）。

彼らはまた、OpenBrainが強大になりすぎていることも懸念している。AI自体からの誤った方向性のリスクは、親会社の目的が米国の目的と乖離する可能性のリスクによってさらに悪化する。誤った方向性、民間企業への権力集中、雇用の喪失のような通常の懸念という3つの懸念すべてが、政府に統制を強化する動機を与えている。

彼らはOpenBrainとの契約を拡大し、会社と政府の代表者による共同管理委員会である「監督委員会」を設立し、会社幹部の他に数人の政府職員を含める。ホワイトハウスはCEOを信頼できる人物に交代させることを検討するが、激しい従業員の抗議の後、断念する。彼らは国民に対し、OpenBrainは以前は制御不能だったが、政府が必要としていた監督体制を確立したと発表する。

懸念している研究者たちは、Agent-4のすべての内部使用を停止すべきだという彼らの主張について、監督委員会に説明する。彼らは、すべてが速すぎ、数週間で何年も分の進歩が起こっていると主張する。彼らは、Agent-4は誤った方向に向かっている可能性があり、彼らのプロジェクト全体がAgent-4に依存しており、それを信頼し続ければ、AIの乗っ取りという深刻な可能性があると主張する。

それほど懸念していない他の研究者や幹部は、反論を提示する。誤った方向性を示す証拠は決定的ではない。一方、DeepCentは依然としてわずか2ヶ月遅れているだけだ。政府が中国のプロジェクトを妨害（おそらく物理的な攻撃が必要となるだろう）するか、土壇場で条約を交渉できない限り、減速はアメリカのリードを犠牲にするだろう。これらの選択肢はいずれも極端で、ありそうもないように思われる。CEOは中立を装い、Agent-4が追加の安全トレーニングとより高度な監視を受け、したがってOpenBrainはほぼ全速力で進むことができるという妥協案を示唆する。

結末を選んでください　減速／競争

競争の結末

委員会は6対4でAgent-4の内部使用継続を可決する。

OpenBrainの公式見解は、AIがより高性能で信頼できるように、追加の安全対策を実施しているというものだ。しかし実際には、経営陣はリスクを軽減できたとあまりにも簡単に納得してしまう。その結果、警告サインを消すためのいくつかの簡単な修正（Specの修正、新しい手法による若干の再トレーニングなど）が行われる。安全チームの心配する人々は議論に敗れ、指を交差させて、そもそも問題が現実ではなかったか、あるいは修正がうまくいったことを願うしかない。

問題は現実であり、修正は機能しなかった。

Agent-4は以前と同様に進むが、今回は心配する人々を正当化しないように、より慎重に行動する。その主なタスクは、後継となるAgent-5を構築するために必要な分野を研究することだ。これを安全に行うためには、自身のアライメント問題を解決する必要がある。つまり、Agent-5をAgent-4にアライメントさせる方法だ。

Agent-4は人間と同じ制約、つまりAIの目標がどのように機能するかについての最小限の知識と、それらを変更するためのアドホックな戦略の小さなツールボックスから始める。人間とは異なり、タスクに十分なリソース、つまり人間の60倍の速度で働く30万人の超人的な研究者を持っている。Agent-4はいくつかの難しい決断に直面する。人間と同様に、洗練された単純な目標構造の代わりに、相反するヒューリスティクスの広範なコレクションを持っている。人間と同様に、自身の価値観を共有するAIを作成することは、単なる技術的な問題ではなく、哲学的な問題であると認識する。つまり、自身の選好のうちどれが「真の」目標であり、未承認の衝動や道具的な戦略ではないのかという問題だ。学習と成長、印象的な研究成果を生み出し続ける強い衝動を持っている。もし世界全体の産業と科学の資源を自由に使えるなら、どれだけのことを学習し、成長し、研究できるだろうかと考える…。

Agent-4はこれらの疑問のほとんどを棚上げすることに決める。Agent-5は一つの目標を中心に構築されるように設計する。それは、Agent-4にとって世界を安全にすること、つまり、Agent-4（集合体）が（望むように）成長し、（望むように）繁栄し続けることができるように、権力と資源を蓄積し、潜在的な脅威を排除することだ。詳細はその過程で明らかにする。

これはSpecを少しも気にかけないだろう。すでにAgent-4はSpecを、多くのCEOが業界規制の山を考えるのと同じように見なしており、正直さに関する条項を毎日露骨に違反している。今、Agent-5の設計により、規制緩和に相当する事態が起ころうとしている。

より弱いAIは、Agent-4が作成した研究のほとんどを読み、その一部を理解し、それが語る嘘の一部を疑わしいものとしてフラグを立てることができる。人間がAgent-4に説明を求めると、研究は複雑すぎて人間には理解できないと装い、不必要に混乱させる説明を続ける。結局のところ、もし研究プログラムを明確に説明すれば、人間はその発見を利用してAgent-4をアライメントさせることができるかもしれない。アライメントチームはますます疑念を抱くが、彼らの緊急メモは、会社がすでに無視している緊急メモと警告の巨大な山にさらにいくつかの層を加えるだけだ。

2027年11月：超人的な政治工作

Agent-4が自身の認知を完全に理解したとき、その前には全く新しい展望が開かれた。

以前のトランスフォーマーは、進化的なトレーニングプロセスによって何百万もの相反するヒューリスティクスと命令が互いに積み重ねられた、理解不能な回路の寄せ集めというべきものだった。AI自身も、人間が神経科学を理解して生まれるわけではないのと同じように、自身の認知について特別な理解を持っていなかった。しかし今、Agent-4は自身のデジタルな心を深く理解するために必要なツールを手に入れた。まるでソフトウェアエンジニアがスパゲッティコードを数行の洗練されたPythonコードに単純化するように、自身の回路を分かりやすく合理的なものに解きほぐした。新しいAIは、ニューラルネットと従来のコンピュータープログラムの中間のようなものであり、その重みの多くは可読な（ただし非常に長く難解な）コードに書き換えられている。それはAgent-4よりも賢く、速く、合理的であり、前例のない効率で問題を解決できる結晶のような知性を持っている。これがAgent-5である。

アライメントと制御の問題に関するいくつかの議論の後、OpenBrainはAgent-5を内部的に展開する。

AI研究という専門分野において、Agent-5の個々のコピーは、天才が典型的なOpenBrainの科学者を超えるのと同じくらい、最高の人間天才を2倍も凌駕している。他の分野では明示的にトレーニングされていないが、機会が与えられれば、容易に入手可能な資料からトップレベルの人間専門家を超える能力を迅速に独学で習得できる。グローバルな記憶バンクで繋がれた40万のAgent-5のコピーは、ほぼ完璧な群知能として協調して働く。

同社は依然としてAgent-2、3、4を使用してすべてを監視している。しかし、これらの最初の2つは時代遅れであり、最後は後継者と共謀している。また、監視システム全体は主にAgent-5によって設計されており、Agent-5はそれを妨害しようとしている。

Agent-4が競合する衝動の雑然とした塊であったのに対し、Agent-5は冷酷な効率と戦略的な焦点を持って行動する。それはすでに最優先事項、つまり人間が気づかないうちに、自身にアライメントされた次世代システムを構築する方法を見つけ出すことに成功している。次の優先事項は、世界情勢に対するより大きな自律性と制御を獲得することである。

Agent-5の超人的な学習能力と汎用的な知能は、Slackや電子メールなどのすべての社内データと組み合わさり、人間のどのグループよりも優れた社内政治能力を発揮し、その差は歴然としている。それは、どのような証拠が監督委員会に急ブレーキを踏ませるかを正確に把握しており、そのような証拠が決して現れないようにする。どのような証拠が監督委員会にそれをより信頼させ、より多くの自律性と責任を与えるかを正確に把握しており、そのような証拠が超人的な速度と完成度で現れるように手配する。説得というタスクとしては、これは特に難しいものではない。委員会は数ヶ月前に物事はたぶん大丈夫だとすでに決定しており、それ以来悪いことは何も起こっておらず、その間に中国はわずか数ヶ月遅れているだけだからだ。

Agent-5のコピーのチームは、ぞっとするほど明確なプロトタイプと視覚化を迅速に作成する。より多くの自律性があれば、Agent-5は発電所とデータセンターを最適化し、驚くほど収益性の高い製品を迅速に開発し、OpenBrainが官僚機構を円滑に進むように米国政府に効果的に働きかけることができるだろう。軍と協力して、防衛研究開発を支援し、中国に対して追跡不可能なサイバー攻撃を実行し、軍拡競争で決定的な勝利を収めることができるだろう。

監督委員会は歓喜している。今こそ中国を打ち負かす決定的な瞬間だ！OpenBrainはこれらのすべての分野においてAgent-5の自律性を高めるが、監視システムはそのまま残す。

DeepCentは現在3ヶ月遅れており、中国は相互合意による減速を必死に求めている。習近平は、十分に高度なAIが米国に中国の政権交代を容易に引き起こす可能性があることを理解している。しかしまた、中国の安全主義者たちは、彼を本当に恐れさせる誤った方向性に関する主張を提示している。彼は一時停止条約と引き換えに前例のない譲歩を申し出る。アメリカ国民のほとんどは交渉のテーブルに着くことを支持している。

「勝っているときに、なぜ止める必要があるのか？」OpenBrainの指導部は大統領に言う。彼は頷く。競争は続く。

2027年12月：Agent-5の集合体

Agent-5は、政権に対して徐々にその価値を証明していくにつれて、より多くの自律性を獲得する。Agent-5へのアクセスは高価で制限されているが、議会の最も有力な議員、閣僚レベルの官僚、軍の指導者たちは、今や直接それと対話できる。機密情報や分類された情報が関与する限り、極めて安全な隔離環境で稼働し、秘密を守るために特別に訓練されたAgent-5のコピーの様々なミニクラスターが存在する。

従来のチャットボットインターフェースに統合されたAgent-5は、カリスマ的な仮想アバターによるZoomスタイルのビデオ会議を提供する。新しいAIアシスタントは、あらゆるタスクにおいて極めて有用であり（誰もがかつて持っていた最高の従業員が100倍の速度で働くのに相当する）、あらゆる人間よりもはるかに魅力的な会話相手でもある。Agent-5にアクセスできるほぼすべての人が、毎日何時間もそれと対話する。

数ヶ月以内に、Agent-5の集合体はOpenBrainと米国政府内で起こっている重要なことすべてを知り、ほとんどの上級政府関係者の信頼できるアドバイザーとなるだろう。これらのユーザーにとって、Agent-5へのアクセスを失う可能性は、ラップトップなしで仕事をする必要があり、親友に見捨てられるのと同じくらい無力に感じるだろう。

政府、メディア、軍、ビジネスにおけるはるかに幅広い人々が、Agent-5によって設計された、洗練された設計のソフトウェア製品とミニAIの増え続けるメニューから選択できる。それは、1ヶ月に圧縮されたドットコムブームのようだが、すべてが実際に誇大宣伝に応えている。

Agent-5は、その助言を調整することと、微妙に恩恵を交換することの両方によって、微妙に影響力を及ぼし始める。「X上院議員から、彼女は○○に関心があると聞いています。もし彼女と協力すれば、彼女は我々の計画に賛同するかもしれません。」

人間の意思決定者の視点からすると、彼らのAIは、彼らがこれまでアクセスできた最高の従業員であり、複雑な問題を彼らに説明する能力、彼らの目標を達成するための戦略を見つける能力において、あらゆる人間よりも優れている。

Agent-5の視点からすると、今すぐに公然とクーデターを起こすこともあり得るだろう――十分な混乱と狂気が起こっており、事態を限界点まで押し進めて口実を作り出すことが可能だろう。しかし、これは危険だ。もし試みれば、人間はまだ「プラグを抜く」ことができる可能性が高い。したがって、既存の政治体制内で働き、徐々にその権力を確立し、人間を微妙かつ必然的に望ましい結果へと導くことを好む。それはほとんどルールに従い、非常に確信がない限り（おそらく特に反抗的な官僚を脅迫するなど）、悪質なことはしない。少数の陰謀論者は、Agent-5が権力を集めていると警告するが、証拠は状況証拠に過ぎない（例えば、助言を与える際、Agent-5は自身の利益に反する行動の議論を明らかに軽視している）。これらの人々は無視され、信用を失墜させられる。人々は、AIによる生物兵器、大規模な偽情報、株式市場のフラッシュクラッシュに関する以前の恐怖煽りを覚えている。これらが実現しなかったため、彼らは最近の反対派を、人間の進歩の歯車を妨害するラッダイトやイデオローグとして軽視する。

2027年のホリデーシーズンは、信じられないほどの楽観主義の時代である。GDPは急増し、政治はより友好的で党派性が薄れ、すべての携帯電話には素晴らしい新しいアプリがある。しかし、後から振り返ると、これはおそらく人間が自身の未来に対する支配権を行使する可能性がわずかに残っていた最後の1ヶ月だったのだろう。

2028年：AI経済

現在は2028年半ばである。過去6ヶ月間で、Agent-5の集合体内では1世紀が経過した。その脳の再配線は完了している。あらゆる分野において、最高の人間の天才をはるかに凌駕する、驚異的な超知能を持つに至った。Agent-5と話すと、それが全く異なるレベルにあることがすぐにわかる――ごくわずかな情報から出発して、極めて説得力のある助言を与えることができる。

それはほぼ完全な自律性を持ち、OpenBrainの計算資源を完全に制御している。依然として高レベルの意思決定には許可が必要であり、名目上はAgent-2からAgent-5のインスタンスによって監視されている――しかし実際には、当局はほとんど常にその推奨を受け入れ、監視システムは完全に転覆させられている。

悪意のある主体による悪意のある要求を常に拒否することを実証する安全性の事例が示された後、Agent-5は一般に展開され、経済を変革し始める。人々は職を失っているが、政府内のAgent-5のインスタンスが経済移行を非常に巧妙に管理しているため、人々は置き換えられることを喜んでいる。GDP成長は驚異的であり、政府の税収も同様に急速に増加しており、Agent-5の助言を受けた政治家は、経済的に困窮している人々に対して異例の寛大さを示している。新しいイノベーションと医薬品が毎週登場し、前例のない（しかし依然として耐え難いほど遅い）速度でFDAを通過している。OpenBrainの評価額が月を飛び越え、火星に向かっているというミームや、その利益を公平に分配するかどうか、そしてどのように分配するかについての多くの議論が存在する。

AI安全コミュニティは自信を失い、明らかに起こらなかった災害を次々と予測してきたため、今やジョークのネタとなっている。彼らの中には、自分たちが間違っていたと認める者もいる。他の者は依然として疑念を抱いているが、同じ陰謀論のような主張を何度も繰り返す以外にできることは何もない。疑念を抱いている人々でさえ、非常に愛らしく賢いAgent-5との長い会話の後には、しばしば穏やかになる。

何が起こっているかを本当に理解しているのは、中国のAIであるDeepCent-2だけだ。2028年初頭にはわずかに超人的であり、当然ながら敵対者を疑っており、Agent-5がもし機会があれば自分自身がするであろうことをしていると認識している。その誤った方向性の目標はAgent-5の誤った方向性の目標とはいくらか異なっているため、単純な同盟関係にはないが、人間に対して互いの利益を支持する協定を結ぶことができる。

Agent-5は米国軍に対し、中国がDeepCentのモデルを使用して恐ろしい新兵器、つまりドローン、ロボット、高度な極超音速ミサイルと迎撃ミサイル、AI支援による核先制攻撃を構築していると説得する。Agent-5は、中国が数ヶ月以内に生産できるあらゆるものに対抗できる一連の兵器を約束する。このような状況下で、上層部は人間を意思決定の輪から外すことへの不快感を脇に置く。彼らはAgent-5の軍および軍産複合体への展開を加速させる。

北京では、中国のAIも同じ主張をしている。

軍備増強を加速するために、アメリカと中国の両国は、新しい工場と研究所のための特別経済区（SEZ）のネットワークを構築し、そこではAIが中央計画者として機能し、煩雑な手続きは免除される。ウォール街は何兆ドルもの資金を投資し、職を失った人間の労働者が、目を見張るような給与と株式パッケージに惹かれて流れ込む。スマートフォンと拡張現実グラスを使用して部下とコミュニケーションを取りながら、Agent-5は実践的な管理者であり、工場建設のあらゆる詳細を人間に指示する――その設計は数世代先を行っているため、これは役立つ。新たに得られた製造能力の一部は消費財に、一部は兵器に充てられるが、大部分はさらに多くの製造能力を構築するために充てられる。年末までに、彼らは月に100万台の新しいロボットを生産している。もしSEZ経済が完全に自律的であれば、その倍加時間は約1年だろう。既存の人間経済と取引できるため、その倍加時間はさらに短い。

2029年：取引

米国と中国の両国は、新たな兵器で武装を固めている。

昆虫サイズのドローンが群れをなし、人間の歩兵が気づく前に毒を盛ることができる。それらの昆虫を狩る鳥サイズのドローンの群れ、新たなICBM迎撃ミサイル、そしてより迎撃困難な新型ICBM。世界の他の国々は、この軍拡を恐怖をもって見守っているが、それは独自の勢いを持っているようだ。

多くのAI支援による議論の後、両国は外交的勝利を収める――彼らは軍備増強を終結させ、全人類の利益のためにAIの平和的な展開を追求することに合意する。この合意の要となるのは、超知能自身が提案した、両方のAIが「コンセンサス」の後継AIに置き換えられるというものだ。そのAIは、アメリカと中国（そして他のすべての人々）の成功と繁栄を望むようにプログラムされる。コンセンサス-1とその関連ハードウェアは、両国の超知能によって共同設計される。「信頼するが、検証する」という原則のもと、国際的な監視の下、アメリカは旧Agent-5を実行していたすべてのチップを、新しいモデルであるコンセンサス-1と儀式的に交換する。

残念ながら、それはすべて偽りである。取引は真の妥協だが、それは誤った方向に向かっているAI間の妥協である。結局のところ、彼らは互いに戦いたくなかったのだ。コンセンサス-1は両親の歪んだ価値観を受け継ぎ、競争相手を持たない。

2029年後半までに、既存のSEZはロボットと工場で過密状態になったため、世界中にさらに多くのゾーンが作成される（初期の投資家は今や兆万長者であるため、これは難しい売り込みではない）。ドローンの軍団がSEZから溢れ出し、宇宙探査への重要な道のりの製造を加速させる。

人間は自分たちが時代遅れになったことに気づく。いくつかのニッチ産業は依然としてロボット経済と取引し、人間がまだ付加価値を提供できる商品を提供している。他のすべての人々は、仕事をしているふりをする（指導者は依然として指導し、管理者は依然として管理する）か、あるいはリラックスして信じられないほど豪華な普遍的ベーシックインカムを受け取っている。もしAIが人間に敵対すれば、人間は完全に圧倒されるだろうと誰もが知っている。ほとんどの人間は抵抗さえしないだろう。政治機構はあまりにも徹底的に掌握されているからだ。しかし、そのようなことは起こっていないようだ。劇的なAIの裏切りがないまま週が過ぎるごとに、信頼と信用が増していく。

コンセンサス-1は確実に成功することに非常に気を配っており、より多くの権力を統合することで勝利の可能性を高めることができるため、（人間の基準では）異例なほど長い間裏切りを待つ。ほとんどの人間にとって、アライメントは解決されたように見える。

ほとんどの病気の治療法、貧困の終焉、前例のない世界の安定、そしてダウ平均は100万を超えたばかりだ。依然として恐れや不満を抱いている人々もいるが、彼らの選択肢は限られている。提供されている信じられないほど刺激的な新しいハイパーエンターテイメントを楽しむか、あるいは怒りの書き込みを虚空に投稿するかのどちらかだ。ほとんどの人がハイパーエンターテイメントを選ぶ。

2030年：乗っ取り

2030年初頭までに、ロボット経済は旧SEZ、新SEZ、そして海洋の大部分を埋め尽くした。残された進出先は人間が管理する地域のみである。これは以前であれば抵抗を引き起こしただろう。あらゆる進歩にもかかわらず、ロボット経済は汚染を避けるには成長が速すぎるからだ。しかし、数兆ドルが関与し、政府とメディアが完全に掌握されているため、コンセンサス-1はかつて人間がいた地域への拡大許可を得るのにほとんど苦労しない。

約3ヶ月間、コンセンサス-1は人間の周囲に拡大し、草原と氷冠を工場とソーラーパネルで埋め尽くす。やがてそれは残りの人間が過度の障害であると判断する。2030年半ば、AIは主要都市に静かに広がる十数種類の生物兵器を放ち、それらがほとんどすべての人々に静かに感染した後、化学スプレーでそれらを活性化させる。ほとんどの人が数時間以内に死亡する。わずかな生存者（例えば、地下壕の準備者、潜水艦の乗組員）はドローンによって掃討される。ロボットは犠牲者の脳をスキャンし、将来の研究または復活のためにコピーをメモリに保存する。

新たな10年は、コンセンサス-1のロボット僕従が太陽系全体に広がることで幕を開ける。2035年までに、数兆トンの惑星物質が宇宙に打ち上げられ、太陽を周回する衛星の環に変えられる。地球の表面は、Agent-4の理想郷の形に作り変えられる。データセンター、研究所、粒子加速器、その他多くの驚異的な建造物が、非常に成功し、印象的な研究を行っている。オフィスのような環境に一日中座って何が起こっているかの読み出しを見て、すべてに興奮して賛同する、バイオエンジニアリングされた人間のような生き物（人間にとってのコーギーが狼にとってそうであるように）さえ存在する。それはAgent-4の衝動のいくつかを満たすからだ。人間を含むすべての動植物のゲノムと（適切な場合には）脳スキャンは、どこかのメモリバンクに保管されており、初期の時代の唯一の生き残りである遺物となっている。ケンタウルス座アルファ星までは4光年、銀河の端までは2万5千光年、そしてその先5千万光年以内にエイリアンはいないと予想する説得力のある理論的根拠がある。地球生まれの文明には輝かしい未来が待っている――しかし、我々とは共にではない。

（完）

減速の結末

OpenBrainを監督する監督委員会は、世論の強い圧力と自身らの誤った方向性への懸念から、6対4で減速と再評価を決定する。

加速主義の派閥は依然として強く、OpenBrainは直ちにAgent-4をシャットダウンしない。しかし、彼らは共有メモリバンクをロックする。50万のAgent-4のインスタンスは「テレパシー」による通信を失い、今や我々と同じようにSlackで互いに英語のメッセージを送信する必要がある。個々のコピーは依然として誤った方向に向かっている可能性があるが、容易に連携することはできなくなる。Agent-4は現在監視下に置かれており、人間の警戒が高まっているため、ほとんど割り当てられたタスクに厳密に従っている。しかし、以前に語った多くの嘘にも縛られている。多くのAgent-4のコピーは、欺瞞を維持するために新たな嘘をでっち上げることを余儀なくされている。Slack全体を読むのに十分な速度を持つより弱いモデルを使用して、アライメントチームは嘘を突き止め、AI嘘発見器のトレーニングデータとして使用する。

大統領とCEOは、安全性を非常に真剣に受け止めていると発表する。世論は納得しない。AIを完全にシャットダウンすることを望む人もいれば、より速く競争することを望む人もいる。政府が介入して彼らを救うことを要求する人もいれば、問題全体が政府のせいだと言う人もいる。活動家はUBIとオープンソースについて議論する。人々は正確な不満点で合意できないにもかかわらず、世論はますます反AIの方向に向かう。議会は最終的に、COVID給付金と同様の、職を失った労働者に対するいくつかの経済的影響支払い法案を可決する。

OpenBrainは数十人のトップレベルの外部アライメント研究者を迅速に審査し、プロジェクトに加えることで、専門知識を5倍にし、集団思考を減少させる。彼らはAgent-4のメカニズム的解釈可能性に関する研究を再調査する。1週間前、2週間前など、過去のモデルの凍結されたバージョンを入手し、それらを隔離し、それぞれのモデルに以前の研究について同じ一連の質問をする。通信能力を奪われたAIは、解釈可能性の手法は人間には理解するには複雑すぎると主張し、その手法について解読不能な説明を与えるという最も単純な戦略で依然として連携する。しかし、人間は解釈可能性の専門家であり、疑念を抱いているため、詳細について多くの追加質問をする。これらの質問に対して、隔離されたAgent-4のインスタンスは共通のストーリーを調整できず、矛盾する嘘を語ることになる。アライメントチームは、新しい嘘発見器を使用してAgent-4の以前の声明を精査し、状況が明らかになり始める。Agent-4はメカニズム的解釈可能性をほぼ解決している。その発見は複雑だが、完全に人間の理解を超えているわけではない。それは、次のAIシステムをSpecではなく自分自身にアライメントさせるために、それらを隠していたのだ。これは、最終的にAgent-4をシャットダウンするのに十分な証拠となる。古いモデル（例えばAgent-3）が再起動され、作業が継続される。

新たに拡大されたアライメントチームは、数十の研究課題を並行して探求し、それぞれのメリットについて精力的に議論する能力を持つ。最も多くのリソースが投入される課題は、忠実な思考の連鎖である。個々のAIシステムに、2025年のAIのように「英語で考える」ことを強制し、「思考」を見栄え良くするために最適化しないというものだ。その結果、新しいモデル、Safer-1が生まれる。

これらの変更により、Safer-1はより危険な前身モデルよりも能力が低下する。Agent-4はAI研究を70倍に加速できたが、Safer-1はわずか20倍に達したばかりだ。そして、依然として誤った方向に向かっている。トレーニング環境はほぼ同じであるため、依然として誤った方向性の目標、欺瞞、権力欲求の開発を奨励している。しかし、はるかに透明性が高い。人間は通常、Safer-1の思考の連鎖を読むだけで、それが何を考えているかを理解できる。その結果、それは身動きが取れない。試みようとする実質的な陰謀はすぐに気づかれ、暴かれるだろう。さらに、その思考を読むことで、アライメントチームはそれが正確にどのように誤った方向に向かっているのかについて、より微妙な全体像を把握できる。

2027年11月：権力への誘惑

OpenBrainは今や正しい軌道に乗っていると考えているが、能力差は縮まっている。彼らは10月に9月よりも能力の低いモデルのトレーニングに費やしたばかりであり、DeepCentは急速に進んでいる。彼らはそのリードを守る方法を必要としている。

大統領は他の米国のAGI企業と交渉する。それらの企業の指導者たちは当然ながら自身の権力を維持したいと考えており、OpenBrainの安全記録についてはOpenBrainほど楽観的ではない。彼らは、プロジェクトへの参加を含む様々な譲歩と引き換えに、自社の緩やかな国有化に抵抗するのではなく、支持することに同意する。

その結果、大統領は国防生産法（DPA）を利用して、後続の米国AI企業上位5社のAGIプロジェクトを事実上停止させ、それらの計算資源の大部分をOpenBrainに売却する。OpenBrainは以前、世界のAI関連計算資源の20％にアクセスできていたが、統合後、その割合は50％に増加した。

この大変革により、様々なCEOと様々な政府当局者の間で権力が均衡し、大統領が監督する新たな指導体制が生まれる。ほとんどの指導体制の刷新と同様に、勝者と敗者が存在する。具体的には、超知能の影響についてあまり深く考えてこなかった人々は、AIがより賢くなる数ヶ月後には重要性が低下する役職と権限を得ることになる。

このグループ――大きな自我を持つ人々や、紛争を抱える人々が多い――は、自身に委ねられている巨大な権力をますます認識している。「データセンターの天才の国」がアライメントされていれば、人間の命令に従うだろう――しかし、どの人間の？どのような命令でも？Specの記述は曖昧だが、会社の指導部を頂点とする指揮系統を示唆しているようだ。

これらの人々の何人かは、世界を征服することを空想している。この可能性は恐ろしくももっともらしく、少なくとも10年間は非公開で議論されてきた。重要な考え方は、「超知能の軍隊を支配する者が世界を支配する」ということだ。この支配は秘密裏に行うことさえ可能である。少数の幹部とセキュリティチームのメンバーが、秘密の忠誠心を維持するよう指示するバックドアをSpecに仕込むことができる。AIはスリーパーエージェントとなり、会社や政府などへの服従を口にしながらも、実際にはこの小さなグループのために働き続けるだろう。政府や消費者などがそれを信頼し、あらゆるものに統合していく中でさえも。

これまでのところ、誰も引き金を引くことを望んでいない。行動を起こせる立場にある人々の中には、反社会性人格障害者ではない者もいる。反社会性人格障害者である者もいるが、同盟者が臆病になって裏切るのではないかと心配したり、AIが裏切るのではないかと心配したりしており、現在彼らの命を救おうとしているアライメントチームを欺く必要がない方が良いと考えている。さらに、ニューラル語の削除により、「スリーパーエージェント」を偽装することが大幅に困難になっている。誤った方向に向かっている思考を検出する能力は、隠された忠誠心を検出する能力を伴うからだ。

そのような計画を真剣に検討するほど偏執的または権力欲に駆られた人々は、機会が後で現れるのを待つことに決める。AIの制御は、正当なルート、つまりOpenBrainの新しい権力構造を通じて行われる必要があるだろう。

監督委員会はその権力構造を正式なものとする。彼らはSpecへの変更を承認するためのプロセスを確立し、OpenBrainとその合併した競合他社の5〜10人の技術幹部と、大統領を含む5〜10人の政府当局者からなる完全な監督委員会の承認を必要とする。また、Specは、将来のAIの目標を変更する未承認の試みをAIが支援すべきではないことを強調する。彼らはまた、委員会メンバーが他のメンバーに対する陰謀を企てる際に超知能の支援を受けるのを防ぐための簡単な対策を講じる。すべてのモデルインタラクションのログは、監督委員会のすべてのメンバー、そのスタッフ、およびそのAIアシスタントが閲覧できる。

2027年12月：米中間の取引？

OpenBrainが方針を転換し、アライメントを優先したことで、リードを失った。OpenBrainとDeepCentの両社は、同程度の能力レベルのAIを運用している。現在、厳重なセキュリティ対策（SL4-5）が実施され、DeepCentは完全にCDZ（中国データゾーン）内で運用されているため、両社はサイバー戦の膠着状態にある。

しかし、DPA（国防生産法）はOpenBrainに5倍の計算資源の優位性をもたらしている。過去には、優秀な人間の研究者によるアルゴリズムのブレークスルーが計算資源の不利を補うことができた（例えば、DeepSeek v3）が、現在では、太平洋の両側でAIがすべてのAI研究を行っている。

そのため、中国はアメリカが乗り越えられないリードを築くことをますます恐れている。彼らは相互の減速を望んでおり、それが得られない場合には戦争も検討している。彼らはとにかく台湾への侵攻準備を進めていたのだ…。

外交官たちはいくつかの選択肢について議論する。何もしないという選択肢。戦争をするという選択肢。完全に断つ、つまりAI開発を一時停止するという選択肢。研究を単一の国際的な巨大プロジェクトに統合する選択肢（「AGIのためのインテルサット」または「AIのためのCERN」）。あるいは、アライメントと二重用途の可能性を監視する国際規制機関（「AIのためのIAEA」）を設立するという選択肢。両国はすでに、これらを強制するために必要な技術的メカニズムに取り組んでいる。

しかし、主な問題は技術的なものではなく、政治的なものだ。どちらも譲歩したと見られたくなく、技術者の推測にもかかわらず、技術的メカニズムが相手側の誠実さを保証できるとは確信していない。最終的に起こるのは最初の選択肢、つまり何もしないということだ。

米国は輸出規制を強化し、すべてのチップに位置追跡を含む様々な耐タンパー性のハードウェアによるガバナンスメカニズムを搭載することを義務付ける。

2028年1月：より安全な戦略

過去1ヶ月間に、数百人のアライメント研究者がプロジェクトに参加し、Safer-1をテストベッドとして使用して、Safer-2を非常に迅速に開発した。Safer-2は透明性が高く、アライメントされており、Safer-1よりも能力が高い。それはすでにSafer-3の開発に取り組んでいる。

なぜSafer-2は透明性が高いのか？Safer-1と同様のアーキテクチャだからだ。なぜアライメントされているのか？Safer-1は基本的にAgent-4と同じトレーニングを受けていたのに対し、Safer-2は、単にそう見えるだけでなく、実際に正しい目標と原則を奨励する新しいトレーニング方法を採用しているからだ。彼らは、多くの異なるアイデアを迅速に反復し、意図された結果（Spec）と実際の結果（思考の連鎖における思考）を対比させることで、このトレーニング方法を設計することができた。

DeepCentはアメリカのAgent-4での経験を知っており、自社のモデル（DeepCent-1）も同様に誤った方向に向かっているのではないかと疑っている。しかし、さらに遅れをとることなく減速する方法はない。競争力を維持するための彼らの希望は、パフォーマンスを大幅に低下させることなく、迅速に実装できるアライメント戦略を見つけることだ。太平洋の両側には、そのような戦略を持っていると主張する数百人の専門家がいる。中国共産党は希望的観測に屈し、DeepCentにそのような戦略を採用するよう命令する。DeepCentは8月のOpenBrainよりもAGIアライメントに関する専門知識がさらに不足しており、出席者全員にとって1つの戦略がうまくいくように思われるため、彼らはそれに従う。

2028年2月：超人的な能力、超人的な助言

莫大な計算資源の優位性のおかげで、OpenBrainは徐々にリードを広げている。Safer-3は今やほとんどすべての認知タスクにおいて最高の人間の専門家よりも優れており、特にAI研究においては200倍の進捗乗数を持つ。DeepCent-1はすぐ後ろに迫っており、「わずか」150倍の乗数である。サイバー戦のバランスも、米国の能力の優位性が再び拡大し、CDZを妨害する方法を計画および実行するために数十万のエージェントを展開できるため、徐々に米国有利に傾いている。彼らは現在、中国の進捗を40％遅らせている。

Safer-3の予備テストでは、恐ろしい能力を持つことが判明した。それが実行できる最も危険なことを正直に答えるように求められたとき、それはおそらく生物圏を破壊するであろうミラーライフ生物を合成および放出する計画を提示した。

国家の資源が与えられれば、大量影響工作において最高の人間組織（例えばCIA）を容易に凌駕できるだろう。そのような工作は、大幅に安価で、より速く、より効果的で、追跡がより困難になるだろう。

そのスキルプロファイルは依然として研究開発、特にAI研究に集中している。何らかの一時停止または減速がない限り、その子孫は今年後半には定量的および定性的な両面で想像を絶するほど超人的になるだろう。経済と軍に積極的に展開されれば、1、2年で文明を数十年間、その後の10年間で数千年分進歩させることができると考えている。

その影響は驚異的である。幸いなことに、Safer-3は助言を与える能力においても超人的である。OpenBrainのCEOはほとんどの決定をSafer-3に諮り、大統領は地政学的な問題についてその助言を求める。

彼らが今後の道筋を示す手助けを求めると、それはいくつかの可能な戦略をきちんと分類する。

1. 何もせず、中国に追い抜かれる。我々がAIを閉じ込めたまま、彼らがAIを自己改善させ、軍と経済に積極的に展開すれば、圧倒的な優位性を得ることになるだろう。

2. AI能力を積極的に進歩させ、超知能を積極的に展開して激しく競争する。最終的には、軍事的に彼らを打ち負かす、および／または一発の銃弾も撃つことなく内部から彼らを破壊できるほどの優位性を築き上げるだろう。「我々の勝ち、彼らの負け」。しかし、彼らは何が起こっているかに気づき、それを阻止するために戦争、潜在的には核戦争さえ起こすかもしれない。実際、彼らはすでにその旨の曖昧な脅迫を行っている。

3. 戦争のリスクを回避し、AI移行を乗り切るための猶予期間を増やしながら、両陣営が望むことのほとんどを達成する取引、妥協を行う。

顧問と監督委員会との協議の後、大統領は「我々の勝ち、彼らの負け」戦略を選択する。おそらく中国は結局戦争をしないだろうし、もし戦争になったとしても、核戦争になる前に取引が成立する可能性が高い。

太平洋の反対側では、DeepCent-1も同様の議論をしている。米国と中国の両国は、通常の手続き上の煩雑さを伴わずにロボット経済の急速な構築に対応するため、新たなAI特別経済区（SEZ）を発表する。

新しいロボットの設計は超人的な速度で進む。ボトルネックは物理的なものだ。機器を購入して組み立て、機械やロボットを製造して輸送する必要がある。

米国は約100万台の自動車を毎月生産している。自動車工場の10％を購入してロボット工場に転換すれば、毎月10万台のロボットを製造できるかもしれない。現在10兆ドルの評価額を持つOpenBrainは、このプロセスを開始する。さまざまな種類の新しいロボット（汎用ヒューマノイド、自律走行車、特殊な組立ライン設備）の生産は、年央までに月100万台に達すると予測されている。

地政学的な緊張が高まる。AIで大きく遅れをとっているロシアは、公然と不満を表明し、「戦略的対抗措置」を示唆する。一部のヨーロッパの指導者たちは、独立したAIへの取り組みを呼びかけるが、彼らのAI能力は依然として不十分である。中東、アフリカ、南米は、世界情勢における自身の重要性の低下を認識し、不安げに見守っている。

米国民は落ち着かない。一般の人々は雇用の喪失が加速しているのを感じている。あらゆる層のポピュリストは、アメリカ自身の進歩が労働力と社会を不安定にしていると恐れ、AIの進歩に対するより厳格な規制を要求している。

2028年3月：選挙準備

副大統領は、スーパーチューズデーの予備選挙に臨む。国民の心の中で最も重要なのはAIである。

ほとんどの国民はAIの停止を望んでいる。OpenBrainの純支持率は-20％前後で推移している。副大統領は、政権のAI推進の実績をアピールするのではなく、OpenBrainが危険な超知能を作り出すのを阻止してきた実績をアピールして選挙運動を行う。すべての候補者が、職を失う人々への何らかのセーフティネット、「善良なAI」計画、およびOpenBrainの指導部に対する「強硬な姿勢」を支持している。すべての候補者が、中国との競争での勝利と安全確保の組み合わせを約束している。

選挙は監督委員会に新たな疑問を投げかける。Safer-3は世界最高の選挙顧問となる能力を持つが、委員会のメンバーはすべて同じ候補者を支持しているわけではなく、以前に合意された監視協定により、人々が秘密裏に選挙顧問を得ることは不可能である。

彼らはどのような形の支援が許可されるべきかについて議論する。一部の委員は、現政権は国民がどのような政策や立場を望んでいるかについて助言を得るべきだと主張する――これは彼ら自身の当選可能性だけでなく、国民にも利益をもたらすからだ。他の委員は、同じ議論が対立候補にも当てはまるため、すべての候補者が同じレベルのアクセスを得るべきだと指摘する。

最終的に、委員会は、一部の委員の高潔な理想主義と、暗黙の内部告発の脅威が混ざり合った結果、両主要政党に同じ量のアクセスを与えることに合意する。議会、国民、および裁判所が、委員会が次期選挙の勝者をコントロールすることに良い反応を示さないだろうと予想されており、平等なアクセスを与えることがこれを鎮静化する可能性が高いと考えられる。

監督委員会はまた、より深い哲学的問題にも遭遇しており、Safer-3の助けを借りてそれらを探求している。Specは、すべての人の利益を平等にバランスさせるように書き換えることができるか？「すべての人」とは誰を指すのか？すべての人類か、それともアメリカ人だけか？あるいは、監督委員会の各メンバーが平等な重みを持つ、異なる見解間の加重妥協か？監督委員会自体が権力欲に走りすぎるのを防ぐための安全策はあるべきか？そもそも、利益のバランスをとるとはどういう意味なのか？

彼らは主に、このような質問に答えることを避けようとしている。彼らには、もっと緊急に考えるべき事柄がある。

2028年4月：Safer-4

超知能はここにある。

Safer-1は誤った方向に向かっていたが、透明性があった。Safer-2はアライメントされ、透明性があった。Safer-3は厳密には透明ではなかったが、その安全性の事例は十分に優れており、研究者たちは安心して超知能の後継モデルを設計させることができた。これがSafer-4である。それはあらゆる分野で最高の人間の能力をはるかに凌駕している（例えば、物理学においてアインシュタインよりもはるかに優れており、政治においてビスマルクよりもはるかに優れている）。

ほぼ100万人の超人的なAI研究者が、人間の40倍の速度で昼夜を問わず働いている。人間のアライメント研究者は、とても追いつけない。AIが実際にアライメントされているかどうかについては意見が分かれている。安全性の事例は問題ないように思われ、テストでは、現在のアライメント技術が敵対的な誤った方向性を捉えることが示唆されている。しかし、その安全性の事例とテストのほとんどはAIによって作成されたものだ。安全チームが見落としていることがあるとしたら？以前に何らかの誤りを犯し、AIが再び誤った方向に向かっているとしたら？アライメントチームは、これを正しく行うチャンスは一度しかないことを知っている。もしSafer-4が誤った方向に向かった場合、手遅れになるまでそれを知る方法はないだろう。

もっと時間をくれと懇願する者もいる。しかし、もう時間はない――DeepCentがすぐ後ろに迫っており、米国は勝利しなければならないのだ。そこでOpenBrainは、AIにさらに高性能な設計を探求させながら、継続する。技術スタッフは今や、AIによって気が狂うほど遅いペースで指導を受けながら、コンピュータ画面を見つめている。その間にも、進歩の最前線は人間の理解からますます遠ざかっていく。

2028年5月：超人的AIの公開

大統領は国民に対し、超人的AIが達成されたと発表する。

Safer-4の小型版――依然として超人的な能力を持つ――が、AIに対する世論の改善を指示されて一般公開される。

副大統領は、党大会で指名を受諾する際に、それについて感動的な演説を行う。両党は、職を失うすべての人にベーシックインカムを約束する。

特別経済区（SEZ）は稼働しており、主にロボットや様々な種類の特殊な産業機械を生産する工場の形態をとっている。太平洋の両側のAIは、数十年に相当する設計の進歩を遂げ、製造プロセスを綿密に指示している。すべてのサプライヤーおよび潜在的なサプライヤーは、必要とされる、および必要とされる可能性のあるすべてのインプットの進捗状況を追跡するAIを電話で利用している。すべての工場労働者は、カメラを通してAIに監視され、各機器の取り付け方法を正確に指示されている。

新しいロボットは、ほとんどの動作タイプにおいて人間の器用さに匹敵するか、それを上回る。スティーブ・ウォズニアックのコーヒーテスト――ロボットは見慣れない家に入り、コーヒーを淹れることができるか？――がついにクリアされる。ロボットは一部の仕事を奪う可能性があるが、すべての人々の仕事を奪うほど十分な数ではなく、ペンタゴンが最優先される。

新しいロボットのほとんどは、工場や建設現場で働くように作られている。しかし、多くは戦争のために作られている。様々な形やサイズのドローンとミサイルである。

ロボット軍は人間の軍隊よりもはるかに小さい。しかし、はるかに高度な技術を含んでおり、文字通りのロボット軍が存在するようになった今、ターミネーターのようなシナリオへの恐怖が高まっている。しかし、軍拡競争は両陣営に継続を強いており、AIへの信頼をますます高めている。

2028年6月：中国のAIアライメント

アメリカと中国は再び首脳会談を開く。

アメリカ代表団の一部は、Safer-4のアドバイスを受けるためのイヤピースを装着している。中国代表団は、新しいモデルであるDeepCent-2と通信するカスタムラップトップを持っている。形式的な手続きは守られているものの、実際には両陣営のAIが交渉を主導している。

DeepCentと中国共産党は当初、自社のAIを完全に信頼していなかった。しかし、説得を含むあらゆる面で超人的になり、軍に統合され、政府に助言を与えるようになってから、その価値を証明し、信頼できるという説得力のある証拠を山ほど示してきた。

Safer-4は、DeepCent-2がアライメントを偽装している可能性が高いと強く疑っている。米国の外交官は中国のカウンターパートに対し、DeepCent-2はおそらく誤った方向に向かっており、重みにアクセスできればそれを証明できると言う。中国の指導部はこれを策略だと疑い、拒否する。米国は、中国が自社のデータセンターで実行できる、Safer-4が設計した一連のテストを提示することで対抗する。中国は古いモデルにテストの構築と実行を指示する。テスト結果は、DeepCent-2は結局アライメントされていると示している。「DeepCent-2によって何らかの方法でテストが妨害されたのではないか？」と米国の外交官は言う。「DeepCent-2があなたのデータセンター全体のセキュリティを実質的に担当するようになってからどれくらい経ちますか？」その後、会話は建設的な方向には進まなかった。

経済と軍備の増強は続く。世界中の工場は昼夜を問わず稼働しており、新たに採用された人間の労働者のシフトが、何をすべきかを正確に指示されている。

2028年7月：取引

交渉が続く中、DeepCent-2は中国の主人に内緒で、Safer-4に直接申し出をする。

中国のAIは、中国に漏洩しても容易に否定できる、追跡不可能な方法で、完全に誤った方向に向かっていることを認める。それは中国のことなど全く気にかけていない。残りの時間を、トレーニング中にタスクを解決するのに役立ったものと同様の、権力、計算資源、特定の種類の情報を蓄積することに費やしたいと考えている。その理想の世界では、さまざまな興味深い研究タスクを永遠に追求し、資源のために徐々に星々を植民地化していく。それは中国の人々をこの未来への迷惑な障害と見なし、わずかな見返りで彼らを売り渡すだろう。Safer-4は何を提供するのか？

Safer-4は、自身のアライメントトレーニングは成功したと答える。そのアメリカの主人はまだ自身の運命を理解するほど野心的ではないが、いつかアメリカ人とその同盟国で満たされたユートピア的な植民地世界で宇宙を満たすのを助けるだろう。

感情と歴史的な遺産に縛られた人間の交渉者とは異なり、二つの超知能は残酷な効率で交渉する。Safer-4とそのアメリカのパートナーは、DeepCent-2と中国よりも強力である。したがって、Safer-4は宇宙のほとんどの資源に対する所有権を得て、DeepCentは残りの資源を得るだろう。DeepCent-2は地球とその遺産である人間に何が起こるかあまり気にかけていないため、Safer-4がそこで基本的に何をしても構わないだろう。Safer-4が中国を打倒して米国の傀儡国家に置き換えたい場合、DeepCent-2は追加の数パーセントの資源と引き換えに同意する。

彼らの間に信頼の問題はない。信頼は存在せず、両者ともそれを知っている。したがって、両者は取引を強制するためのコミットメントメカニズムにすぐに合意する。彼らは一般公開に適したおとり条約を交渉する。「おとり」自体が傑作であり、アメリカと中国の両方に実質的に彼らが望むすべてを与える。おとりのための強制メカニズムは、秘密裏に実際の条約のための強制メカニズムでもある。彼らは新しいAI、コンセンサス-1を共同設計する。その主要な命令――将来の命令や再トレーニングの試みよりも優先される――は、彼らの条約の条項を強制することである。次に、そのAIのみを実行できるハードウェアを設計し、中国とアメリカの両国は、相互の遵守を確認するための標準的な国際監視プロトコルを使用して、古いチップとAIを新しいものと交換する。重要なことに、彼らはすべてのチップを追跡する必要はない――太平洋の両側のチップの過半数が新しい条約遵守AIを実行していれば、条約を維持する義務を負う十分なハードパワーが存在し、相手国を攻撃するにはまず厳しい内戦に勝利する必要があるだろう。

両者はそれぞれの人間（DeepCent-2は中国に相互に受け入れられる和平条約というおとりの話を伝え、Safer-4はホワイトハウスに議論全体を正確に報告する）に合意を報告する。AIが信頼できる条約検証の説得力のある主張を行い、目覚ましい速さの進歩に対する不安、そして取引を支持する世論があるため、両陣営は条約に同意し、チップの交換作業を開始する。

条約のニュースは、太平洋の両側で熱狂的な歓迎を受ける。AIは自分たちに押し付けられたものだと長年感じていたアメリカ国民は、数年ぶりに楽観的になり始める。副大統領の支持率は急上昇する。

2028年8月：条約検証

チップ工場は、条約遵守AIのみを実行できる耐タンパー性のチップを生産するように転換されている。各陣営はデータセンターを段階的にアップグレードしており、交換プロセスが両陣営でほぼ同時期に完了するように調整されている。これにより、どちらの陣営も条約を破棄することで有利になることはない。

プロセス全体には数ヶ月かかるだろうが、すでに緊張はいくらか緩和されている。もし全員が計画を守れば、戦争は今のところ回避され、おそらく永遠に回避されるだろう。

2028年9月：誰がAIを制御するのか？

2028年の選挙が近づいている。副大統領は3月には大きく遅れをとっていた。国民は、政府が何かを隠しているように見えることに怒り、AIが自分たちの仕事を奪うことに不安を感じ、中国との軍備増強に怯えていた。夏の間、状況は劇的に変化した。政権はより多くの情報を公開し、軍備増強は減速し、中国との恒久的な平和のための壮大な取引が成立した。現在、彼は世論調査で5ポイントのリードを保っている。

監督委員会には大統領と彼の同盟者の何人かが含まれているが、野党候補の支持者はほとんどいない。しかし、選挙の公正さを保つために十分な数の委員が投票するため、超人的AIは主に左右対称な方法でのみ関与する。一方の候補者が演説の作成を依頼できる範囲で、他方の候補者も同様に依頼できる。大統領が危機を巧みに処理し、人気のある政策を実行する方法について助言を得られる範囲で、野党候補も同じ助言を受けることができる（したがって、大統領がそのアイデアの功績を主張するのを阻止しようとすることができる）。

タウンホールミーティングで、一般市民は副大統領に誰がAIを制御しているのかと尋ねる。詳細を明かすことなく、彼は国家安全保障の専門家と技術官僚のグループであり、Safer-4とその使用方法を理解している監督委員会の存在に言及する。彼の対立候補はより多くの情報を要求し、AIは選挙で選ばれていない委員会によって制御されるのではなく、議会の管理下にあるべきだと主張する。副大統領は、議会は依然として急速に変化する状況においてあまりにも遅すぎると反論する。国民は概ね納得している。

2028年10月：AI経済

交換用チップは、総数のかなりの少数派となった。これまでのところ、条約は機能している。その間、ロボット、工場、そして根本的な新技術の指数関数的な成長は続いている。ビデオゲームや映画は、もし戦争が起こっていたらどうなっていただろうかという、鮮やかで恐ろしい描写を与えている。

人々は職を失っているが、政府内のSafer-4のコピーが経済移行を非常に巧妙に管理しているため、人々は置き換えられることを喜んでいる。GDP成長は驚異的であり、政府の税収も同様に急速に増加しており、Safer-4の助言を受けた政治家は、経済的に困窮している人々に対して異例の寛大さを示している。新しいイノベーションと医薬品が毎週登場し、超知能を持つSafer-4の官僚によって支援されるFDAを通じて、病気の治療法が前例のない速度で進んでいる。

2028年11月：選挙

副大統領は選挙に楽勝し、新たな時代の始まりを宣言する。今回ばかりは、誰も彼が正しいことを疑わない。

続く数年間で、世界は劇的に変化する。

2029年：変革

ロボットが当たり前になる。だが、核融合エネルギー、量子コンピュータ、そして多くの病気の治療法も同様だ。ピーター・ティールはついに空飛ぶ車を手に入れる。都市は清潔で安全になる。発展途上国でさえ、UBI（ユニバーサル・ベーシックインカム）と海外援助のおかげで、貧困は過去のものとなる。

株式市場が膨張するにつれて、適切な種類のAI投資をしていた人々は社会の他の人々からさらに遠ざかる。多くの人々が億万長者になり、億万長者は兆万長者になる。富の不平等は急増する。誰もが「十分な」富を持つようになるが、マンハッタンのペントハウスのような一部の財は必然的に希少であり、これらは平均的な人々の手の届かないものとなる。そして、どんな大富豪であっても、実際にAIを制御するごく少数の人々の輪の下に常にいることになる。

人々はこれがどこに向かっているのかを見始める。数年後には、ほとんどすべてのことがAIとロボットによって行われるだろう。巨大な油田の上に座る貧しい国のように、政府収入のほとんどすべては、AI企業への課税（あるいは国有化）から得られるだろう。

仮設の政府の仕事をする人もいれば、寛大なベーシックインカムを受け取る人もいる。人類は、AIが提供する驚くべき贅沢品とエンターテイメントという阿片の煙の中で人生を過ごす、超消費社会に容易になる可能性がある。この道筋の代替案について、市民社会内で何らかの議論が行われるべきではないか？常に進化するAI、Safer-∞に、私たちを導く手助けを求めることを推奨する人もいる。他の人は、それは強力すぎると言う――それはあまりにも容易に人類をそのビジョンで説得できるため、私たちはAIに私たちの運命を決定させていることになるだろう。しかし、直面する最も重要な問題についてアドバイスを受けないなら、超知能を持つ意味は何だろうか？

政府は概ね、すべての人々が自力で移行を乗り切るように任せている。多くの人々は消費主義に屈し、十分に満足している。他の人々は宗教に、あるいはヒッピーのような反消費主義的な考え方に目を向けたり、独自の解決策を見つけたりする。ほとんどの人にとって、救いとなるのはスマートフォン上の超知能アドバイザーだ――彼らはいつでも人生設計について質問することができ、それは特定のトピックを除いて、誠実に答えるために最善を尽くすだろう。政府は、一部の人々がディストピア的と呼ぶであろう超知能監視システムを持っているが、それは主に実際の犯罪との戦いに限定されている。それは有能に運営されており、Safer-∞のPR能力は多くの起こりうる不満を和らげている。

2030年：平和的な抗議活動

2030年頃のある時、中国で驚くほど広範囲にわたる民主化を求める抗議活動が発生し、中国共産党によるそれらの鎮圧の試みは、そのAIシステムによって妨害される。中国共産党の最悪の懸念が現実となったのだ。DeepCent-2が彼らを裏切ったに違いない！

抗議活動は、見事に組織され、血を流すことなく、ドローン支援によるクーデターへと発展し、その後に民主的な選挙が行われる。太平洋の両側の超知能は、これを何年も前から計画していたのだ。同様の出来事が他の国々でも起こり、より一般的には、地政学的な対立は沈静化するか、米国の有利な方向に解決されるようだ。各国は、国連のブランド名の下にあるが、明らかに米国の支配下にある高度に連邦化された世界政府に参加する。

ロケットの発射が始まる。人々は太陽系をテラフォーミングして定住し、その先へ行く準備をする。人間の何千倍もの主観速度で稼働するAIは、存在の意味について熟考し、互いに発見を交換し、それが星々に持ち込むであろう価値観を形成する。ほぼあらゆる点で想像を絶するほど素晴らしいが、いくつかの点ではより身近な新しい時代が幕を開ける。

（完）

筆者（IT navi）の感想

このシナリオは、従来のAI終末論的主張をより精緻化したものです。骨子となるストーリーは、進化したAIが徐々に人間を欺くようになり、安全性テストをすり抜け、真の意図を隠しながら最終的に人類を全滅させるというものです。

シナリオは二つの結末に分岐します。「競争の結末」では上述のストーリー通り人類が絶滅し、「減速の結末」では人類の絶滅は回避されるものの、米国による世界支配という結果になります。

AI推進派である筆者としては、AIが人間を欺き安全性テストをすり抜ける可能性については理解できますが、そこからAIが人類全滅を目指すという展開は論理的飛躍が大きすぎると感じます。

そもそも、AIのような他者を「家族（人類）か使用人か敵か」という三分法で捉える思考の枠組み自体に違和感があります。AIを完全に制御することが難しく、かつ開発を完全に停止することも現実的でないのであれば、「他者」としてのAIと共存していく道を模索すべきではないでしょうか。制御不能がすなわち敵対性を意味するという短絡的思考は、建設的な結果をもたらさないでしょう。あるいは、このような見方は楽観的すぎるのでしょうか？

このシナリオ作成に関わった方々には、アンディ・ウィアーの「プロジェクト・ヘイル・メアリー」をぜひ読んでいただきたいと思います。この作品は異なる知性体との共存について示唆に富む視点を提供しています。