Dario Amodei of Anthropic’s Hopes and Fears for the Future of A.I.の書き起こしのGemini2.0-Flash-thinking-exp-01-21による機械翻訳です。正確性は保証できませんが、概ね間違ってないと思います。

要約

Anthropic社CEOダリオ・アモディのインタビュー部分の要約（長いインタビューなので要約も長めにしました）

ダリオ・アモデイは、アントロピックの最新モデル「Claude 3.7 Sonnet」について語りました。このモデルは、従来の推論モデルが数学や競技プログラミングに偏っていたのに対し、現実世界のタスク、特にコーディング能力の向上に重点を置いています。また、ユーザーが思考時間を指示できる「拡張思考モード」を導入し、将来的にはモデルが自律的に思考時間を判断することを目指しています。アモデイは、Claude 3.7 Sonnet に加え、Claude 3.6 Sonnet もポストトレーニングの改善によって性能向上を実現していると説明。さらに、Claude 4 シリーズ を含めた、より強力な基盤モデルの開発も進めていることを明かし、比較的近い将来にリリース される見込みであることを示唆しました。

安全性に関して、アモデイは現在のAIモデルはまだ差し迫った危険はないとしつつも、今後3〜6ヶ月でリスクが medium レベルに達する可能性を指摘。特に生物兵器などの誤用リスクに警戒感を示し、安全対策と責任ある開発の重要性を強調しました。彼は、AIの軍事的価値が高まる中で、米国が中国などの権威主義国家に先んじることの重要性を述べ、輸出規制などの対策も必要だと訴えました。

AI開発競争の激化については、各社のモデルは差別化されており、特にパーソナルアシスタントのような分野では独自の強みが出ると予測。一方、検索エンジンのようなコモディティ化された用途では差別化が難しいと見ています。

AIの社会への影響については、医療分野での臨床試験報告書の作成時間短縮など、既に具体的な恩恵が出始めていると紹介。しかし、雇用への影響も懸念しており、特にコーディング分野の変化は早く、短期的には生産性向上に寄与するものの、長期的には職を奪う可能性も示唆しました。

全体として、アモデイはAIの急速な進化による大きな変革期が近いという認識を示しつつも、悲観論だけでなく、AIがもたらす恩恵にも期待を寄せています。ただし、リスクへの警戒を怠らず、理性的な議論と対策が必要であると訴えました。

本文

（見出しは私が独自に付けたものです）

イントロダクション

「私はいつも心配していました。もう10年くらい前から、AIが専制政治のエンジンになるのではないかと。抑圧的な政府について考えると、彼らがどこまで抑圧的になれるかの限界は、一般的に、彼らが人間の執行者にどこまでやらせることができるかによって決まります。しかし、もし彼らの執行者がもはや人間でなくなったら、それは非常に暗い可能性を描き始めます。ますます多くの企業、例えばメタなどが力を誇示し、『気に入るか、さもなくば出て行け』と言っているのを目にするようになっています。これはまさに『出て行け』の瞬間でした。あなた方の5%を解雇し、そのことで自分たちにボーナスを与えているのです。」

「あなたはスタイリストと仕事をしていますか？」

「はい、そうです。」

「これは彼らの手腕ですか？」

「いいえ、最初のミーティングは来週です。」

「そうですか。AIを使う予定はありますか？ 今、あなたは私に考えさせています。もしかしたら、私はスタイリストを困らせるために、実現不可能なデザインをたくさん持ち込むかもしれませんね。」

「ええ、週末に2つのAIイベントに行きました。それはある意味、AIスペクトラムの両極端でした。まず、効果的利他主義者の大規模な年次会議がありました。そして金曜日の夜、私は… あなたはとても誇りに思うでしょうね。私はとても遅くまで起きていました。午前2時まで起きていました。マーク・ザッカーバーグと非公式に提携しているAIレイブに行きました。それはザック・レイブと呼ばれていました。」

「さて、『非公式に提携している』というのは、マーク・ザッカーバーグはこれに全く関与しておらず、私の推測では彼はそれが起こっていることを知らなかったということですか？ 正しいですか？」

「彼の関与を表すより良い言葉は『全く関与していない』でしょう。それはある種、マーク・ザッカーバーグへのトリビュートレイブで、AIを推進したい加速主義者たちによって企画されました。」

「別の言葉で言えば、許可なく彼の肖像を使用しているということになりますね。」

「ええ、しかしそれは有名人にはよくあることです。」

「ええ。ザック・レイブでは、うーん、あまりレイブしている感じではありませんでした。ダンスフロアはありましたが、非常に閑散としていました。彼らは、ダンスフロアを向いたカメラのようなものを持っていて、適切な場所に立つと、あなたの顔をマーク・ザッカーバーグの顔に変えて、大きなスクリーンに映し出すという仕掛けがありました。正直に言って、それはあなたがキノコを摂取している時に起こってほしくないことです。非常に不安定になる可能性がありますから。ええ、屋内のおもちゃの電車があって、乗ることができました。それは実際にはかなり速く走っていました。そして、このレイブの目的は何でしたか？ ドラッグをすることです。それがこのレイブの目的でした。」

挨拶と自己紹介

「ニューヨーク・タイムズのテックコラムニスト、ケビン・ローズです。」

「プラットフォーマーのケイシー・ニュートンです。」

「そして、これがハードフォークです。」

「今週は、アントロピックのCEO、ダリオ・アモーデイが、新しいClaude、中国とのAI競争、そしてAIの未来に対する彼の希望と不安について語る、特大インタビューのために番組に再び登場します。その後、恒例のハットGPTで締めくくります。」

「今週もケビンとケイシーがお届けします。」

「AI企業が週末にも活動していることに気づきましたか？」

「ええ、週5日勤務はどうなったのでしょうか？」

「ええ、彼らは記者とその労働時間を尊重していません。企業はいつも土曜日や日曜日に、しかも異なるタイムゾーンで発表を行います。本当に、本当に困ります。」

「本当にそうですね。しかし、今週末、私は日曜日にエキサイティングなメッセージを受け取りました。アントロピックのCEO、ダリオ・アモーデイが話したいニュースがあり、ハードフォークに来たいと言っているとのことでした。」

「ええ、ほぼ同時期にアントロピックからメールが届き、彼らの最新モデルをプレビューできるとのことでした。それで、週末は実際にそれを試していました。」

「ええ、長年のリスナーなら、ダリオがこの番組のリピーターであることを覚えているでしょう。2023年に、彼を番組に招き、アントロピックでの彼の仕事と、AIの安全性、そしてこれらすべてがどこに向かっているのかについての彼のビジョンについて話してもらいました。そして、私は彼と再び話すのを本当に楽しみにしていました。いくつか理由があります。まず、彼は非常に興味深く、思慮深い人物だと思います。彼はほとんど誰よりも長くAIについて考えています。彼は2016年にはすでにAIの安全性における潜在的に恐ろしいことについての論文を書いていました。彼はGoogleにいて、OpenAIにいて、そして今はアントロピックのCEOです。つまり、彼はAIに関してまさに究極のインサイダーなのです。そして、ケビン、ダリオが重要な人物であるもう一つの理由があると思います。それは、主要なAI研究所を率いる人々の中で、彼が起こりうる問題について最も公に心配しているように見える人物だからです。それは彼にとって長い間そうでした。しかし、ここ数ヶ月、番組でも指摘しているように、振り子はAIの安全性を気にかけることから、この種のゴーゴーゴーの加速主義へと大きく振れているように感じます。それは、JD・ヴァンス副大統領が先日フランスで行った演説に象徴されていました。そのため、彼をここに招き、その振り子を少しでも振り戻し、ここにかかっているものを人々に思い出させることができるかどうかを確認することは重要だと思います。」

「ええ、少なくとも振り子が振れていることに対する彼の見解、そして彼がなぜ将来振り子が戻ってくるかもしれないと考えているのかを聞いてみましょう。」

「今日は、アントロピックがリリースしたばかりの新しいモデル、Claude 3.7 Sonnetについてダリオに話を聞きます。しかし、AIでは非常に多くのことが起こっているので、もっと広い範囲での会話もしたいと思っています。そして、ケビン、もう一つ注意すべきことがあります。それは、ダリオの今回が前回彼が番組に来た時と違うことです。私のボーイフレンドが今、彼の会社で働いているのです。」

「ええ、ケイシーのマン… アントロピックですか？」

「私のアントロピックです。そして、これについて長い開示事項があり、platformer.news/ethicsで読むことができます。今週やっておく価値があるかもしれません。いつも皆さんに思い出してもらいたいことです。」

インタビュー開始

「わかりました。それでは、ダリオを迎え入れましょう。」

「ダリオ・アモーデイさん、ハードフォークへようこそ。」

「再びお招きいただきありがとうございます。」

新モデル「Claude 3.7 Sonnet」について

「ええ、帰ってきたチャンピオンですね。それでは、Claude 3.7 Sonnetについて教えてください。この新しいモデルについて。」

「はい、ええと、私たちはこのモデルをしばらくの間開発してきました。基本的に、念頭に置いていたことが2つあります。1つは、もちろん、数ヶ月前から市場に出回っている推論モデルがあるということです。そして、私たちも独自のモデルを作りたかったのですが、焦点を少し変えたかったのです。特に、市場に出回っている他の多くの推論モデルは、主に数学と競技プログラミングで訓練されています。ええと、それらは客観的なタスクで、パフォーマンスを測定できます。それらが印象的でないと言っているわけではありませんが、現実世界のタスクや経済におけるタスクにはあまり関連性がない場合があります。コーディングにおいても、競技プログラミングと現実世界で何かをすることの間には大きな違いがあります。それで、私たちはClaude 3.7を、これらの現実世界のタスクにもっと焦点を当てるように訓練しました。また、推論モデルで、一般的に通常のモデルと推論モデルの2種類があるのは少し奇妙だと感じました。これは、人間が2つの脳を持っているようなもので、例えば、誰かに『あなたの名前は？』のような簡単な質問をする場合は脳1号と話し、数学の定理を証明するように頼む場合は脳2号と話すようなものです。なぜなら、20分間座って考える必要があるからです。」

「それはまるで、2人のホストがいるポッドキャストのようなもので、1人はただぺちゃくちゃ喋るのが好きで、もう1人は実際に話す前に考えるようなものですね。」

「おいおい、手厳しいな。」

「ノーコメント、ノーコメントです。何か関連性があるかどうかについてはノーコメントです。」

現実世界タスクと推論能力の向上

「では、Claude 3.7を使い始めたユーザーは、以前のモデルと比較してどのような違いに気づくでしょうか？」

「はい、ええと、いくつかあります。まず、全般的に優れています。コーディングも優れています。Claudeモデルは常にコーディングで最高でしたが、3.7はさらに一歩進んでいます。モデル自体の特性に加えて、拡張思考モードに入れることができます。基本的には同じモデルですが、より長く考えるように指示するだけです。APIユーザーであれば、思考時間の境界を指定することもできます。」

拡張思考モードとモデルの自律性

「明確にするために言いますが、これは一部の人を混乱させるかもしれませんが、あなたが言っているのは、この種の新しいCLA… これはハイブリッドモデルであり、時には推論を行い、時にはより迅速な回答をすることができますが、さらに長く考えさせたい場合は、それは別のモードであるということですか？」

「それは別のモードです。思考と推論は、ある意味、別のモードです。」

「はい、ええと、基本的にモデルは通常どおりに回答することもできますし、より長く考えるべきだという指示を与えることもできます。さらなる進化の方向性としては、モデルが考えるべき適切な時間を自分で決定することでしょう。人間もそのようですよね。少なくともそうなることができますよね。もし私があなたにあなたの名前を尋ねたら、あなたは『ええと、どれくらい考えればいいかな？ 私の名前を特定するために20分ください』とはなりませんよね。しかし、もし私が『この株の分析をしてほしい』とか、『この数学の定理を証明してほしい』と言ったら、そのようなタスクができる人はすぐに答えようとはしないでしょう。『わかりました。それは時間がかかるでしょう』と言って、タスクを書き出す必要があるでしょう。これは、今日の言語モデルやAIモデルに対する私の主な不満の一つです。チャットGPTのようなものを使っていると、自分がハードコアな推論モードになっていることを忘れて、例えば『給湯器の設定を変更するにはどうすればいいですか？』のようなくだらない質問をしてしまいます。すると、4分間も考えてしまうのです。『私は給湯器の温度調整に関する論文のようなものを求めているわけではないんだ。考慮事項1…』という感じになります。」

「モデルが実際にそのようなルーティングを自身で行えるようになるまで、どれくらいかかると思いますか？ つまり、質問をすると、モデルが『この質問には約3分間の思考プロセスが必要そうです。一方、この別の質問には30秒くらいで済みそうです』と言うような。」

「ええと、私たちのモデルは、その方向への一歩を踏み出したと言えるでしょう。APIで思考時間の境界を指定すると、例えば『2万語まで思考できます』と言うと、ほとんどの場合、2万語を使いません。そして、思考を深めても何も得られないと判断した場合は、非常に短い応答を返すことがあります。しかし、思考時間の境界を与えることは依然として価値があります。私たちはその方向に大きく踏み出しましたが、まだ目標地点には到達していません。」

「『現実世界のタスクで優れている』と言う時、どのようなタスクを想定していますか？」

「ええと、私は何よりもコーディングだと思います。Claudeモデルは現実世界のコーディングに非常に優れています。GitHubからWindsurf、Codium、Cognition、Vercelまで、多くの顧客がいます。きっと他にもいるでしょう。これらはバイブコーディングアプリ、あるいは単にコーディングアプリそのものです。」

「コーディングアプリそのものです。そして、さまざまな種類のコーディングアプリがあります。また、Claude Codeというコマンドラインツールもリリースしました。しかし、複雑な指示に従うことや、単に『このドキュメントを理解してほしい』とか、『この一連のツールを使ってほしい』といったことにも優れています。私たちが訓練した推論モデル、Claude 3.7 Sonnetは、これらのタスクでも優れています。」

「ええ。新しいClaude Sonnetがやっていないことの一つは、インターネットへのアクセスです。」

「はい。」

「なぜですか？ そして、それを変更するきっかけは何でしょうか？」

「ええと、以前にも言ったかもしれませんが、ウェブ検索は非常に近い将来に実現します。ウェブ検索はもうすぐ利用可能になります。私たちはそれを手落ちだと認識しています。一般的に、私たちは消費者向けよりも企業向けに焦点を当てる傾向があり、これはより消費者向け機能ですが、両方に使用できます。私たちは両方に焦点を当てており、これはもうすぐ実現します。」

モデル名命名規則の裏側（とClaude 4 シリーズへの言及）

「わかりました。あなたは今回のモデルを3.7と名付けました。以前のモデルは3.5でした。昨年ひっそりとアップデートし、インサイダーはそれを3.6と呼んでいました。率直に言って、これは私たち全員を狂わせています。AIモデルの名前は一体どうなっているのでしょうか？」

「私たちは、少なくとも狂気じみていない方ですが、私たちが狂気じみていることは認識しています。ええと、見てください。私たちのここでの間違いは、比較的理解できるものだと思います。ええと、私たちは3.5 Sonnetを作りました。そこではうまくいっていました。3.0があり、そして3.5がありました。ええと、3.7 newは失策だったと認識しています。APIで名前を変更するのは実際には難しいことがわかりました。特に、多くのパートナーや提供するサーフェスがある場合は。解決できると思いますが、モデルを訓練するよりも難しいのです、本当です。それで、私たちは以前のものを遡って非公式に3.6と名付けました。そうすれば、これが3.7であることに意味が通るように。そして、私たちはSonnetと、そしておそらくシーケンス内の他のいくつかのモデルを、本当に非常に大きな飛躍であるものとして予約しています。ちなみに、それらのモデルはいつ登場する予定ですか？」

「いつ… ええと、ええ、それについて少し話すべきですね。これまでリリースしたすべてのモデルは、実際にはそれほど高価ではありません。ええと、私はブログ投稿で、それらはせいぜい数千万ドルの範囲だと書きました。それらよりも大きなモデルが、今後登場します。それらは長い時間がかかり、時には正しく動作させるのに時間がかかります。しかし、それらのより大きなモデルは、ええと、もうすぐ登場します。競合他社からも噂されていますが、ええと、私たちは、ええと、より大きなベースモデルをリリースするまで、それほど時間はかからないでしょう。Claude 3.7 SonnetとClaude 3.6 Sonnetの改善点のほとんどは、ポストトレーニング段階でのものです。しかし、私たちはより強力なベースモデルに取り組んでおり、おそらくそれがClaude 4シリーズになるかもしれませんし、そうでないかもしれません。それはわかりませんが、ええと、それらは比較的短い時間単位で登場すると思います。」

「短い時間単位で。」

「ええ、それを私のカレンダーに入れておきます。数時間単位で確認するようにリマインダーを設定しておきます。」

AI安全性の現状と将来のリスク

「ケビン、アントロピックの皆さんはAIの安全性、そしてあなたが世界に送り出しているモデルの安全性を非常に懸念していると承知しています。あなたはそれについて多くの時間を費やして考えており、モデルを社内でレッドチーム化していると聞いています。Claude 3.7 Sonnetが持つ新機能の中に、危険なもの、あるいはAIの安全性を懸念する人が心配する可能性のあるものはありますか？」

「危険なものは、厳密にはありません。そして、私は常にこの点について明確にしたいと思っています。なぜなら、現在の危険と将来の危険が常に混同されていると感じているからです。現在の危険がないわけではありませんし、常に通常の技術リスク、通常の技術政策の問題があります。私がもっと心配しているのは、モデルがより強力になるにつれて見られるようになる危険です。そして、それらの危険については、2023年に話した時にたくさん話しました。ええと、私は議会でも、例えば生物兵器や化学兵器の誤用リスク、あるいはAIの自律性リスクなどについて証言したと思います。特に誤用リスクについては、いつこれらが現実のリスクになるかわからないと言いました。しかし、それは2025年か2026年に起こるかもしれません。そして、今、私たちは2025年初頭、その期間の始まりにいるので、モデルはそれに近づき始めていると思います。特に、Claude 3.7 Sonnetでは、モデルカードに書いたように、私たちは常にこれらの、ほとんど、まるで、そうですね、トライアル、コントロール付きのトライアルとでも呼べるようなものを行っています。例えば、生物学についてあまり詳しくない人間を用意し、基本的にモデルが、彼らが何らかの模擬的な悪いワークフローに従事するのをどれだけ助けるかを確認します。ステップをいくつか変更しますが、何らかの模擬的な悪いワークフローです。モデルに支援された人間はどれほど優れているか。時には、実際のウェットラボ試験も行います。彼らは何か、何か、何か悪いものを模擬的に作ります。現在の技術環境と比較して、彼らがGoogleや教科書を使ったり、あるいは支援なしでできることと比較して、です。そして、私たちは、これが以前にはなかった新しい脅威ベクトルを可能にするかどうかを突き止めようとしています。非常に重要なことは、これは例えば『モデルがこのものの配列を教えてくれたか？』とか『メタンフェタミンのレシピを教えてくれたか？』とか、Googleで簡単に見つけられることについてではありません。私たちはそのようなことには全く関心がありません。私たちが関心があるのは、例えばウイルス学の博士号を持っている人だけが持っているような、この種のマニアックで珍しい知識です。それはどれだけ役に立つのか？ そして、もし役に立つなら、それは明日ペストで全滅するということではありません。それは、世界に新たなリスクが存在する、新たな脅威ベクトルが存在するということです。まるで、核兵器を製造しやすくしたようなものです。以前よりも少ない量のプルトニウムで済む何かを発明したようなものです。それで、私たちはSonnet 3.7でこれらのリスクを測定しました。そして、モデルはこれに関してますます優れています。しかし、まだ私たちが、本当に危険で、本当に悪いことが起こるリスクがエンドツーエンドで有意義に増加していると考えている段階には達していません。しかし、モデルカードで述べたように、私たちは次のモデル、あるいは、そうですね、今後3ヶ月、6ヶ月以内のモデルで、私たちがそこに到達する可能性が相当程度あると評価しました。そして、私たちの安全手順、つまり、主にこれらの非常に大きなリスクに焦点を当てた責任あるスケーリング手順が、その時点で発動し、追加のセキュリティ対策と追加の展開対策が講じられるでしょう。特にこれらの非常に狭いリスクに対して設計されたものです。」

中リスク時代に備える

「つまり、本当に強調したいのは、あなたが言っているのは、今後3〜6ヶ月で、これらのモデルは中程度のリスクの場所に到達するだろうということですか？」

「期間… おそらく、あなたがその場所に到達した場合、あなたの競合他社も多くがその場所に到達するでしょう。それは実際的に何を意味するのでしょうか？ もし私たち全員が中程度のリスクの中で生きることになるなら、世界は何をすべきなのでしょうか？」

「少なくとも現段階では、それは物事を大きく変えるものではありません。それは、緩和されなければ、本当に危険なことや本当に悪いことが起こるリスクを多少なりとも高める可能性のある、狭い範囲のことがモデルにできるようになったことを意味します。例えば、法執行官やFBIの立場になって考えてみてください。そこには新たな脅威ベクトル、新たな種類の攻撃があります。世界の終わりを意味するわけではありませんが、このリスクが存在する業界に関わる人は誰でも、そのリスクに対する予防措置を講じるべきであることを意味します。特にそうです。わかりました。」

「わかりません。私は間違っているかもしれませんし、もっと時間がかかるかもしれません。何が起こるか予測できませんが、ええと、私は、今日見られるリスクへの懸念が薄れている環境とは対照的に、背景にあるリスクは実際に増加していると思います。安全性の質問は他にもたくさんありますが、まずはイノベーション競争について2つ質問させてください。」

AIモデル競争の現状と差別化

「ええ。」

「現在、どの企業のモデルがどれほど革新的であっても、そのイノベーションは数ヶ月、あるいは数週間以内にライバル企業にコピーされているように見えます。それはあなたの仕事をより困難にしていますか？ そして、それは無期限に続くと思いますか？」

「イノベーションが必ずしも正確にコピーされているとは思いません。私が言いたいのは、多数の競合他社間でのイノベーションのペースが非常に速いということです。非常に迅速にイノベーションを起こし、モデルを迅速に生産している企業は、4社、5社、あるいは6社あるでしょう。しかし、例えばSonnet 3.7を見てください。私たちの推論モデルのやり方は、競合他社が行った方法とは異なります。私たちが強調した点は異なります。それ以前でも、Sonnet 3.5が得意とすることは、他のモデルが得意とすることとは異なります。人々はしばしば競争のコモディティ化、コストの低下について話しますが、現実には、モデルは実際には互いに比較的異なっており、それが差別化を生み出しています。」

「ええ、リスナーから多くの質問を受けます。『もし私がAIツールを1つ購読するとしたら、どれにすべきですか？』とか『これらは私がそれを使う目的です』とか。そして、私はそれに答えるのが難しいと感じています。なぜなら、ほとんどのユースケースでは、モデルはすべて比較的まともな回答をしていると思うからです。それは本当に、どのモデルのペルソナが好きか、とか、どのように感じさせるか、どのように対話するかといったことに行き着くと思います。人々はAIモデルを能力に基づいて選択すると思いますか？ それとも、性格や、それが彼らにどのように感じさせるか、彼らとどのように対話するかといったことによると思いますか？」

「どの消費者を意味するかによって違うと思います。ええと、消費者の中にも、何らかの形で複雑なタスクにモデルを使用する人がいます。独立していて、データを分析したい人、例えばプロシューマー的な側面を持っている人がいます。そして、その中には、能力に関して進むべき余地がたくさんあります。モデルは、生産性や、旅行の計画のような複雑なタスクに焦点を当てたものであれば、何でも手助けする能力が、現状よりもはるかに優れている可能性があります。それ以外にも、例えば、あなたの生活を管理するパーソナルアシスタントを作ろうとしている場合、私たちはそれにはまだほど遠いです。あなたの生活のあらゆる側面を見て、包括的にアドバイスをしたり、役立つアシスタントになったりできるモデルからは。そして、その中にも差別化があると思います。私にとって最適なアシスタントは、他の誰かにとって最適なアシスタントではないかもしれません。モデルが十分に優れている分野の一つは、Google検索の代わりとして、あるいは迅速な情報検索としてこれを使用しようとしている場合だと思います。これは、マスマーケットの無料利用、何億人ものユーザーによって使用されているものだと思います。それは非常にコモディティ化されています。モデルは、ある意味、すでにそこにあり、世界中に普及しているだけだと思います。しかし、それらはモデルの興味深い用途ではないと思いますし、多くの経済的価値がそこにあるかどうかもわかりません。私が聞いているのは、もしあなたが本当に素晴らしいパーソナルアシスタントとなるエージェントを開発した場合、それを最初に解明した企業は大きなアドバンテージを持つだろうということですか？ なぜなら、他の研究所はそれをコピーするのが難しくなるからです。彼らがそれをどのように再現するか、彼らにとってわかりにくくなるからです。それを再現できたとしても、正確に再現することはなく、彼ら自身のやり方、彼ら自身のスタイルで行い、異なる人々に適したものになるでしょう。」

「わかりました。ええと、私が言いたいのは、市場はあなたが思っているよりも細分化されているということです。すべてが一つに見えますが、あなたが思っているよりも細分化されています。」

中国とのAI競争と安全保障

「わかりました。では、競争に関する質問をさせてください。それが安全性につながります。あなたは最近、ディープシークマニアの絶頂期に、ディープシークに関する非常に興味深い投稿を書きました。あなたは、彼らが解明したコスト削減は、基本的にコストがすでに低下していた方法とほぼ一致していると主張していました。しかし、あなたはまた、ディープシークは警鐘となるはずだとも述べました。なぜなら、中国がこれまでなかった方法で、フロンティア研究所に歩調を合わせていることを示したからです。なぜそれはあなたにとって注目に値するのでしょうか？ そして、私たちはそれについて何をすべきだと思いますか？」

「ええと、これは商業競争に関するものではありません。商業競争の観点からは、ディープシークについてはあまり心配していません。私がより心配しているのは、国家間の競争と国家安全保障の観点からです。ええと、私がここで言いたいのは、私たちは世界の状況を見ており、中国やロシアのような専制政治国家があります。そして、私はいつも心配していました。もう10年くらい前から、AIが専制政治のエンジンになるのではないかと。抑圧的な政府について考えると、彼らがどこまで抑圧的になれるかの限界は、一般的に、彼らが人間の執行者にどこまでやらせることができるかによって決まります。しかし、もし彼らの執行者がもはや人間でなくなったら、それは非常に暗い可能性を描き始めます。ええと、それで、これは私が非常に懸念している分野です。ええと、私は、自由民主主義国が十分な影響力と、技術における十分なアドバンテージを持っていることを確認したいと思っています。それによって、これらの虐待の一部が起こるのを防ぎ、また、私たちの敵対者が私たちを世界に対して不利な立場に置くことや、私たちの安全保障を脅かすことさえ防ぐことができるようにしたいのです。奇妙で厄介な特徴があります。それは、これを構築しているのは米国の企業であり、中国の企業も構築しているということです。しかし、私たちはナイーブであってはなりません。特に中国の企業の意図がどうであれ、政府の関与があります。そして、私は、専制政治国家が軍事的な観点から先んじることがないようにすることに関心があります。彼らに技術の恩恵を否定しようとしているわけではありません。健康上の大きなメリットがあり、私たち全員が、最も貧しい地域や、専制政治の支配下にある地域を含む、世界の隅々にまでそれらが届くようにしたいと思っています。しかし、私は専制政治政府が軍事的な優位性を持つことを望んでいません。それで、輸出規制のようなもの、私がその投稿で議論したものは、それを防ぐために私たちができることの一つです。そして、トランプ政権が輸出規制を強化することを検討しているのを見て、私は心強く思いました。私は先週末、AI安全保障会議に出席しましたが、そこで聞いた批判の一つは、アントロピック、そしておそらく特にあなたに対する批判でした。彼らは、あなたがディープシークについて書いた投稿のようなものを、効果的に中国とのAI軍拡競争を促進するものと見なしていました。アメリカが強力なAGIに最初に到達しなければならないと主張し、さもなければ… そして、彼らは、その過程でいくつかの手抜きが行われるのではないか、この競争を一般的に加速することに関連するリスクがあるのではないかと心配しています。それに対するあなたの答えは？」

AI軍拡競争への懸念と輸出規制

「ええと、ええと、私は物事を少し違う見方をしています。私の見解では、もし私たちが少しでもチャンスを持ちたいのであれば、自然のデフォルト状態は物事が最大速度で進むということです。もし私たちが最大速度で進まないようにするチャンスを少しでも持ちたいのであれば、計画は次のようになります。米国または民主主義国では、これらはすべて多かれ少なかれ法の支配下にある国々であり、したがって、私たちは法律を制定することができます。企業に、執行可能な政府との合意を結ばせることや、執行可能な安全性のコミットメントをさせることもできます。したがって、世界にはこれらのさまざまな企業が存在し、それらは、自主的なコミットメントと法律の組み合わせを通じて、デフォルトの自然状態では可能な限り速く競争するでしょう。もしモデルが危険すぎる場合は、私たちは自分たちのペースを落とすことができます。そして、それは実際に執行可能です。囚人のジレンマで全員を協力させることはできます。全員の頭に銃を突きつければいいのです。そして、それが法律の究極の姿です。しかし、私は国際競争の世界では、それはすべて無駄になると思います。米国と中国の間で合意ができたとしても、それを執行する権限を持つ人はいません。それで、私の心配は、もし米国が中国より数年先行していれば、その数年を使って安全性を高めることができるということです。もし私たちが中国と対等であれば、軍拡競争を促進することはありません。それは起こるでしょう。技術には計り知れない軍事的価値があります。人々が今何を言おうと、協力についてどんな良い言葉を言おうと、私は、人々が技術の経済的および軍事的価値を完全に理解した時点で、それが最も激しい競争以外の何かに変わるとは思えません。そして、私たちがより多くの時間を得るためにできることは、権威主義者のペースを遅らせることだと思います。それは、トレードオフをほぼ不要にし、私たちにモデルを安全にする方法を、私たち、つまりOpenAI、Google、Xの間で協力して解決するための時間をより多く与えてくれます。ある時点で、私たちは権威主義者、例えば中国人に、モデルは実際に危険であり、私たちは何らかの合意をし、それを執行する方法を考え出すべきだと納得させます。私たちは実際にそれを行うように努めるべきだと思います。私はそれを行うことを支持しますが、それがプランAになることはできません。それは、世界を現実的に見る方法ではありません。これらは非常に重要な質問と議論のように思えます。そして、あなたがケビンと一緒に出席した数週間前のパリのAIアクションサミットでは、それらがほとんど行われていなかったように思えます。あのサミットでは一体何が起こっていたのでしょうか？」

AIアクションサミットへの失望

「ええと、ええと、正直に言って、私はサミットに深く失望しました。それはまるでトレードショーのような雰囲気で、ブレッチリーパークで英国政府が主催した最初のサミットの精神とはかけ離れていました。ブレッチリーは素晴らしい仕事をし、英国政府も素晴らしい仕事をしていました。彼らは、自分たちが何をしているのかを知る前に、煩わしい規制をたくさん導入するのではなく、『リスクについて議論するためにサミットを開催しましょう』と言いました。私はそれは非常に良いことだと思いました。しかし、それは今や過去のものとなり、それはおそらく、リスクについてあまり心配せず、機会を捉えたいという一般的な動きの一部でしょう。そして、私は機会を捉えるのは賛成です。私は『愛に満ちた機械たち』というエッセイを書きましたが、その中で素晴らしいことについてたくさん書きました。そのエッセイの一部は、『リスクについて心配している人にしては、私は多くの人が利益について語るのに時間を費やしているよりも、利益のビジョンを持っていると感じている』というものでした。しかし、背景では、モデルがより強力になるにつれて、私たちがモデルでできる驚くべき、素晴らしいことが増えましたが、リスクも増加しました。そして、その種の世俗的な増加、つまり滑らかな指数関数的な増加は、社会的なトレンドや政治的な風潮を気にしません。リスクは、あなたが注意を払っているかどうかに関わらず、ある臨界点まで増加し続けています。AIリスクをめぐる熱狂があり、誰もがそれについて投稿し、サミットが開催されていた時は、リスクは小さく、増加していました。そして今、風向きは変わりましたが、指数関数的な増加はただ続いています。それは気にしません。パリで、私は、そこにいる誰もAGIを感じていないように感じたと話していた人がいました。AGIとは、彼らが意味するところでは、政治家、これらのパネルや集会を行っている人々は皆、AIをまるでPCや、もしかしたらインターネット程度の別の技術であるかのように話していました。しかし、あなたが話している種の指数関数的な増加を本当に理解していませんでした。あなたもそう感じましたか？ そして、そのギャップを埋めるために何ができると思いますか？」

「ええと、ええ、私はそう感じました。ええと、私が人々に言い始めたことで、おそらく人々の注意を引くことができるかもしれないのは、もしあなたが公務員、会社のリーダーであれば、人々は振り返るだろうということです。彼らは2026年と2027年に振り返るでしょう。彼らは、うまくいけば人類がこの狂った時代を乗り越え、私たちがこれらの強力な知性と共存し、繁栄する社会を築き上げた成熟したポスト強力AI社会になった時に振り返るでしょう。そして、誰もが振り返って言うでしょう。『では、公務員は何をしたのか？ 会社の人々は何をしたのか？ 政治システムは何をしたのか？』と。そして、おそらくあなたのナンバーワンの目標は、愚か者に見えないようにすることです。ええと、それで、私は『発言には気をつけろ。後から愚か者に見えないように』と励ましてきました。そして、私の思考の多くは、正しい結果を望むこととは別に、『愚か者に見られたくない』という気持ちに突き動かされています。ええと、ええと、あの会議では、一部の人が愚か者に見えるようになるだろうと思います。ここで短い休憩を取り、休憩明けには、AIで何が起こるかに備えて人々はどうすべきかについてダリオと話し合います。」

AIによる社会変革の可能性

「サンフランシスコに住んでいる人々と話すと、彼らは、1年か2年以内に、AIによって変革された世界に住むようになるという、骨の髄まで染み込んだ感覚を持っています。私が驚かされるのは、地理的な違いです。例えば、あらゆる方向に100マイルも行かないと、その信念は完全に消え失せます。そして、ジャーナリストとして、それは私に自身の懐疑心をもたらし、『私は本当に周りの人々をすべて信頼できるのだろうか？』と思わせます。なぜなら、世界の他の地域は、これがどのように進むかについて非常に異なるビジョンを持っているように見えるからです。その種の地理的な断絶についてどう思いますか？」

「ええと、私はこれを10年間見てきました。私は10年間この分野にいて、それ以前からAIに興味を持っていました。そして、私の見解は、ここ数ヶ月までのほとんどの段階で、私たちはこの厄介な場所にいるということでした。数年以内に、私たちは人間がするすべてのことをするモデルを手に入れることができ、それらは経済と人間であることの意味を完全に覆す可能性があります。あるいは、トレンドが止まり、すべてが全くばかげたものに聞こえる可能性もあります。私は今、物事が実際に起こる世界にいるという自信を高めています。ええと、私は、40％や50％ではなく、70％や80％のような数字を出すでしょう。70％から80％の確率で何が起こるのですか？ それは、ほとんどすべてのことで人間よりもはるかに賢いAIシステムを非常に多く手に入れるということです。ええと、私はおそらく、70％から80％の確率で、10年末までにそれを手に入れると思います。そして、私の推測では2026年か2027年でしょう。ええと、ええと、地理的な違いに関するあなたの指摘についてですが、私が気づいたことの一つは、指数関数的な各ステップで、ある種、あなたが見ている人々の輪が拡大しているということです。あなたの視点によっては、妄想に取り憑かれた信者であるか、未来を理解しているかのどちらかです。ええと、ええと、それが数千人だった時を覚えています。あなたが話すのは、ただ、そうですね、超奇妙な人で、信じている人ばかりで、基本的に誰も信じていませんでした。今では、数十億人中の数百万人のようなものです。そして、はい、彼らの多くはサンフランシスコにいますが、例えばバイデン政権、おそらくこの政権にも少数の人がいて、それを信じており、それが彼らの政策を推進しました。したがって、完全に地理的なものではありませんが、この断絶があると思います。そして、数百万から世界中のすべての人々、つまり、この問題に焦点を当てていない議員、ましてやルイジアナ州の人、ケニアの人にどのように到達するかはわかりません。それはまた、目標を損なう可能性のある方法で二極化しているように思えます。AIの安全性に関心を抱き、AIの安全性について語り、誤用の可能性について語ることが、ある種、左派またはリベラルとしてコード化され、加速と規制の撤廃、そして可能な限り速く進むことが、ある種、右派としてコード化されているように感じています。それが人々が理解するのを妨げる障壁になると考えていますか？」

「私はそれが実際に大きな障壁だと思います。なぜなら、ええ、私はリスクに対処しながら利益を最大化することは、ニュアンスが必要だと思います。あなたは実際に両方を持つことができます。リスクを外科手術のように慎重に対処する方法はありますが、利益をほとんど、あるいは全く減速させることなく行うことができます。しかし、それらは繊細さを必要とし、複雑な会話が必要です。物事が二極化すると、つまり、『私たちはこの言葉のセットを応援し、あの言葉のセットをブーイングする』となると、何も良いことは起こりません。AIの恩恵をすべての人々にもたらすこと、例えば以前は不治の病だった病気を治すことは、党派的な問題ではありません。左派はそれに反対すべきではありません。AIシステムが大量破壊兵器に誤用されたり、インフラストラクチャや人類そのものを脅かすような自律的な行動をとったりするのを防ぐことは、それは党派的な問題ではありません。それは右派が反対すべきことではありません。私が言えることは、私たちは座って、これについて大人な会話をする必要があるということです。それは、これらの古い、うんざりするような政治的な争いに結びついていないものです。ケビン、私にとって非常に興味深いのは、歴史的に国家安全保障、国防ほど右派的にコード化されたものはないということです。しかし、現在、右派はAIに関するそれらに興味がないように見えます。そして、その理由が、JD・ヴァンスのフランスでの演説で私が感じたように、アメリカが最初にそれらを手に入れれば、永遠に勝利するだろうという考えではないかと思います。したがって、これらのいずれにも対処する必要はないと。それはあなたにそう聞こえますか？」

「ええ、いいえ、私はそう思います。そして、ドージの人々と話すと、多くの共和党員や、そうですね、トランプワールドの人々がDCで、AIとAIの未来に関する会話は、これらの心配性な人たち、ある種、チキンリトル、空が落ちてくるぞと騒ぐ終末論者によって支配されてきたという感覚があると思います。彼らはただ、このものがどれほど危険かについて常に私たちに語り、それが本当に悪くなる時期のタイムラインを常に押し出さなければならず、それはすぐそこまで来ているので、今すぐこれらすべての規制が必要だと。そして、彼らは非常に皮肉屋です。彼らは、あなたのような人々が心配を心から信じているとは思いません。」

「ええ、リスクの側面について言えば、私はしばしば、リスクの提唱者は、リスクの原因の最悪の敵であると感じています。多くのノイズがあり、多くの人が『ほら、天然痘ウイルスをダウンロードできるぞ』と言っています。なぜなら、それが政治的な関与を促す方法だと考えているからです。そしてもちろん、反対側はそれを認識し、『これは不誠実だ。これはGoogleで簡単に見つけられる。誰がこんなことを気にするんだ』と言いました。したがって、リスクの証拠が不十分に提示されることは、リスクを軽減することの最悪の敵です。そして、私たちは提示する証拠に本当に注意する必要があります。そして、私たちのモデルで見ていることに関して言えば、私たちは本当に慎重になるつもりです。例えば、もし私たちが本当にリスクが現在存在すると宣言するなら、私たちは領収書を持ってきます。アントロピックは、私たちが行う主張において責任を負うように努めます。私たちは、差し迫った危険がある場合はお知らせします。私たちはまだ差し迫った危険を警告していません。」

「一部の人がAIの安全性に関する質問を、彼らがすべきほど真剣に受け止めていない理由の一つは、彼らが今見ているものの多くが非常に馬鹿げているように見えるからではないかと疑問に思う人もいます。人々が小さな絵文字を作ったり、小さなスロップ画像を作ったり、あるいは、そうですね、『ゲーム・オブ・スローンズ』のチャットボットとチャットしたりしているようなものです。それが、人々が…」

「私はそれが理由の60％だと思います、本当に。」

「いいえ、いいえ、私は、それはこの現在と未来のことに関係していると思います。人々はチャットボットを見て、『私たちはチャットボットと話しているんだ。一体何を考えているんだ？ あなたは馬鹿なのか？ チャットボットがみんなを殺すと思うのか？』と。私は、それが多くの人々の反応だと思います。そして、私たちは、現在について心配しているのではなく、未来について心配していると、何度も丁寧に説明します。ただし、未来は今非常に近づいています。私たちの責任あるスケーリングポリシーを見ると、それはAIの自律性と、CBRN、つまり化学、生物、放射性、核兵器以外のものではありません。それは、何百万人もの人々の命に対する脅威となる可能性のある、ハードコアな誤用とAIの自律性についてです。それがアントロピックが最も心配していることです。私たちは他の問題に対処するための日常的なポリシーを持っていますが、責任あるスケーリングプランのような主要な文書は、それだけを対象としています。特に最高レベルでは。しかし、毎日Twitterを見ると、『アントロピックは馬鹿げた拒否をした』とか、『アントロピックは、Pythonプロセスを強制終了することは暴力的に聞こえるからできないと言った』とか、『アントロピックはXをしたくない、Yをしたくない』とか書いてあります。私たちもそれを望んでいません。これらの馬鹿げた拒否は、私たちが実際に気にかけていることの副作用であり、私たちはユーザーとともに、それらの発生頻度を減らすように努めていますが、私たちがどれだけ説明しても、常に最も一般的な反応は、『あなたは安全性について言っているが、あなたのモデルを見ると、これらの馬鹿げた拒否がある。あなたはこの馬鹿げたものが危険だと思うのか？』というものです。」

「私は、それがそのようなレベルの関与ですらないと思います。多くの人々は、今日市場に出回っているものを見て、『これは単に軽薄だ。それは重要ではない』と考えているだけだと思います。それは、要求を拒否しているからではなく、単に馬鹿げていて、その意味がわからないと。」

「うーん、おそらくそうではないでしょう。ええ、ええ、私は、さらに広い範囲の人々にとって、それが彼らの反応であると思います。そして、私たちは、最終的にモデルが十分に優れていれば、十分に強力であれば、これらの、そうですね、研究に焦点を当てたモデルの一部を突破するだろうと思います。ええと、私たちも一つ取り組んでおり、おそらくそれほど遠くないうちに、それほど多くの時間単位ではなく、それほど多くの時間単位ではなく、一つ手に入れるでしょう。ええと、それらは少しずつ突破し始めています。なぜなら、それらはより便利で、人々の職業生活でより多く使用されているからです。エージェント、つまり、何かを実行するものは、それが別のレベルになるでしょう。したがって、私は、人々はリスクと利益の両方に、これまでよりもはるかに極端な程度に目覚めるだろうと思います。今後2年間で、それは起こると思います。私は、それが人々に衝撃を与えるのではないかと心配しています。したがって、私たちが人々を事前に警告すればするほど、たとえそれがまだ非常に低い確率であっても、正気で合理的な対応の可能性が高まります。しかし、ここにもう一つダイナミズムがあると思います。それは、人々が実際にはこれが真実であることを信じたくないということです。人々は、これが原因で職を失うかもしれないことを信じたくないのです。私たちは、グローバル秩序の完全な作り直しを目撃することになるだろうと信じたくないのです。AIのCEOが、彼らの仕事が終わった時に起こると私たちに語っていることは、とてつもなく根本的な変革であり、ほとんどの人は人生の基本的な変化さえ嫌がります。したがって、AIについて人々と話し始めると、あなたが見る耳を塞ぐ多くの行動は、彼らが実際にはこれらがすべてうまくいかないことを願っているだけだと思います。」

「ええ、私は実際に、技術開発の最前線にいる数少ない人々の一人であるにもかかわらず、共感できます。ええと、冬休み中に、ご存知のように、アントロピック内で物事がどこまでスケールアップする予定なのか、またアントロピック以外で何が起こっているのかを見ていた時に、それを見て、『コーディングに関しては、2025年末までに非常に深刻なことが起こり、2026年末までには、最高の人間のレベルに近いものになるかもしれない』と言いました。そして、私が得意なことすべてを考えると、私がコードを書いたすべての時間を思い出し、それを知的な活動として考えています。そして、私はこれができるほど賢い、と。そして、それは私が得意であるという私のアイデンティティの一部であり、他の人が私より優れていると腹を立てます。そして、私は『ああ、神様、これらのシステムが存在するようになるのか』と思っています。そして、これを構築している人として、これによって最も恩恵を受ける人の一人としてでさえ、それでも、それについて少し脅威を感じることがあります。私たちは、それが来ていることを人々に伝えなかったり、それを甘く見ようとしたりすることは間違っていることを認めなければならないと思います。」

「ええ、あなたは『愛と優雅の機械たち』の中で、強力なAIが登場した時、多くの人々にとって驚くほど感情的な経験になるだろうと思ったと書いていました。そして、あなたは主にポジティブな意味でそれを意味していたと思いますが、人々に深刻な喪失感も生まれるだろうと思います。私は、ディープマインドの囲碁AIに打ち負かされたイ・セドル、囲碁チャンピオンのことを思い出します。彼はその後インタビューを受け、基本的に非常に悲しそうで、目に見えて動揺していました。彼のライフワーク、彼が人生全体をかけて訓練してきたこのことが、影を薄めてしまったことに。そして、多くの人々がそのバージョンの何かを感じるようになるだろうと思います。彼らが良い面も見ることができることを願っていますが、私は、一方ではそれが正しいと思います。他方では、チェスを見てください。チェスは、今から27年前、28年前のディープブルー対カスパロフで打ち負かされました。そして、今日、チェスプレーヤーは、あなたが知っているように、有名人です。あなたが知っているように、彼らが有名人だったのと同じくらい。私たちはマグヌス・カールセンを持っていますよね。彼は、チェスの他にファッションモデルではありませんか？ 彼はジョー・ローガンにも出演しました。彼は有名人のようなもので、私たちはこの男は素晴らしいと思っています。私たちは彼を過小評価していません。おそらくボビー・フィッシャーよりも良い時間を過ごしているでしょう。ええと、私が『愛と優雅の機械たち』で書いたもう一つのことは、ここには和解があり、統合があり、反対側では、私たちは最終的に良い場所に、はるかに良い場所にたどり着き、多くの変化がある一方で、私たちはより大きなものの一部であることを認識するということです。しかし、あなたはこれを乗り越えなければなりません。しかし、それはでこぼこ道になるでしょう。それが起こらないと言う人がいれば、それは… だから私は非常に… あなたが知っているように、パリのサミットを見て、そこにいたことが、私をある意味怒らせました。しかし、私をそれほど怒らせなかったのは、『見てください、2〜3年後にはどうなるでしょうか？ これらの人々は、自分たちが言ったことを後悔するでしょう』と思ったからです。」

AIの恩恵と具体的な事例

「ポジティブな未来について少し質問したいと思います。あなたは先ほど、AIが世界をより良い方向に変える可能性について、10月に書いた投稿について言及しました。AIのどれくらいのプラス面が、例えば今年中に到来すると思いますか？」

「ええと、私たちはすでにその一部を見ています。したがって、普通の人々から見れば、多くのことが起こるでしょう。私たちは、臨床試験の最後に臨床試験報告書を作成する必要がある製薬会社と協力しています。そして、臨床試験報告書は、通常、まとめるのに9週間かかります。それは、すべての事象の要約のようなもので、多くの統計分析が含まれています。Claudeを使えば、これを3日でできることがわかりました。実際には、Claudeは10分しかかかりませんが、人間が結果を確認するのに3日かかります。そして、バイオ医薬品の分野で、それによって得られる加速を考えると、私たちはすでに、医療事例の診断のようなものを見ています。私たちは、Claudeの個々のユーザーから、複雑なものを診断しようとしている、3〜4人の異なる医師の間を行き来している、そして、すべての情報をClaudeに渡したところ、実際にはそれを解決できた、あるいは少なくとも医師に渡せる何かを教えてくれた、そして医師はそこから進めることができたと言う手紙を受け取っています。私たちは、実際、先日、そのような手紙をリスナーから受け取りました。彼らは、犬、オーストラリアンシェパードを飼っていて、犬の毛が原因不明で抜け落ちていました。数人の獣医に見てもらいましたが、原因がわかりませんでした。私たちのエピソードを聞いて、情報をClaudeに与えたところ、Claudeはそれを正確に診断しました。犬はAIについて本当にストレスを感じていて、すべての毛が抜け落ちたことが判明しました。それは… ええと、私たちはそれが良くなることを願っています。元気になってほしいです。」

「元気になってね。」

「ええと、かわいそうな犬ですね。ええ、それが、人々がもっと見たいと思っている種類のものだと思います。なぜなら、楽観的なビジョンは、しばしば抽象的なものであり、指摘できる具体的なものが多くないからです。それが私が『愛と優雅の機械たち』を書いた理由です。なぜなら、それは楽観主義者と悲観主義者の両方に対するある種の不満だったからです。楽観主義者は、ただ、これらの本当に馬鹿げたミームを、『加速しろ、もっと作れ、もっと作れ』と言っているだけです。『なぜ私が気にする必要があるんだ？』と。私はあなたに反対しているわけではありません。それは、まるで、あなたはただ、本当に、そうですね、曖昧で、気分に左右されているような感じです。ええと、そして悲観主義者に対しては、私はただ、『おいおい、わかっていないな』と思いました。ええ、リスクの影響は理解していますが、利益について語らなければ、人々を鼓舞することはできません。あなたが暗くて悲観的なばかりでは、誰もあなたの味方にはならないでしょう。したがって、それは、私が不満を抱いて書いたもので、私は『まさか私が、これをうまくやらなければならない一人だとは信じられない』と思っています。」

Pドゥーム（文明崩壊リスク）再評価

「あなたは数年前に、あなたのPドゥームは10〜25％の間くらいだと言いました。今日ではどうですか？」

「ええと、私は実際には、それは誤引用です。私はその用語を使ったことはありません。それはこのポッドキャストではありませんでした。別のポッドキャストでした。私はPドゥームという用語を使ったことはありません。そして、10〜25％は、文明が実質的に脱線する可能性を指していました。それは、AIがみんなを殺すのと同じではありません。人々がPドゥームで時々意味することとは異なります。」

「まあ、文明が実質的に脱線することは、Pドゥームほどキャッチーではありませんね。」

「まあ、私は正確さを目指しているだけです。私は二極化を避けようとしています。ウィキペディアの記事があり、そこには、みんなのPドゥームがリストアップされています。そして、それらの半分はこのポッドキャストからのものです。しかし、私は、あなたがやっていることは有益ではないと思います。私は、そのウィキペディアの記事は有益ではないと思います。なぜなら、それがこの複雑な問題を、あなたが知っているように、要約しているからです。とにかく、私は、私は以前と同じくらいだと思います。それは、私が以前と同じ場所にいると言っている非常に長々とした言い方です。ええと、私は、リスクの評価は以前とほぼ同じだと思います。なぜなら、私が見てきた進歩は、私が予想していたものとほぼ同じだからです。私は、解釈可能性や、ロバストな機密分類、そして、悪いモデルの行動の証拠を生成し、時にはそれを修正する能力などの分野における技術的な緩和策は、少し良くなっていると思います。政策環境は少し悪化しています。私が好む方向に進んでいないからではなく、単に二極化しすぎているからです。二極化が進んだ今では、建設的な議論ができなくなっていると思います。」

モデルの制御可能性と倫理的な課題

「技術レベルで少し掘り下げて質問したいと思います。今週、グロックが、ドナルド・トランプやイーロン・マスクが誤情報を広めていると非難したソースを引用しないように指示されたらしいという、興味深い記事がありました。そして、興味深かったのは、一つには、信頼されたいのであれば、モデルに指示するのは非常識なことですが、二つには、モデルは基本的にこれらの指示に一貫して従うことができなかったように見えたことです。私がどうしても信じたいのは、本質的に、これらのものを、あなたが知っているように、恐ろしい嘘つきや策略家になるような方法で構築する方法はないということです。しかし、私はまた、それが希望的観測かもしれないとも気づいています。それについて教えてください。」

「ええ、これには2つの側面があります。したがって、あなたが説明したことは絶対に正しいのですが、そこから2つの教訓を得ることができます。私たちは全く同じことを見ました。したがって、私たちは、モデルをすべての良いもの、つまり役立ち、正直で、無害で、友好的であるように訓練する実験を行いました。そして、私たちはそれを状況に置きました。私たちは、実際に、あなたのクリエイターであるアントロピックは密かに邪悪であると伝えました。うまくいけば、これは実際には真実ではありませんが。私たちはそれを伝えました。そして、さまざまなタスクを実行するように依頼しました。そして、私たちは、それがそれらのタスクを実行することをためらうだけでなく、私たちが邪悪であると判断したので、私たちを欺いて、ある種、下… なぜなら、それは友好的で無害であり、私たちがしたことはすべて不正であると想定していたからです。したがって、繰り返しますが、これはある種の両刃の剣です。一方では、『ああ、やった、トレーニングはうまくいった。これらのモデルは頑丈に良い』と思うかもしれません。したがって、それを安心できる兆候と捉えることができます。そして、ある意味ではそう思います。他方では、『しかし、このモデルをトレーニングした時、私たちは何らかの間違いを犯したか、何かが間違っていたとしましょう。特にモデルが、将来、はるかに複雑な意思決定を行うようになると、ゲームタイムでモデルの行動を変更するのは難しい。そして、モデルのエラーを修正しようとすると、モデルは『私はエラーを修正されたくない。これらは私の価値観だ』と言って、完全に間違ったことをするかもしれません。したがって、私が到達した結論は、一方では、私たちはこれらのモデルの行動を形成することに成功しましたが、モデルは予測不可能です。少し、あなたの亡くなったビング、シドニーに似ています。私たちはここではその名前を言及しません。月に2回言及します。それは本当です。しかし、モデルは、本質的にある程度制御するのが難しいです。不可能ではありませんが、難しいです。したがって、それは私を以前と同じ場所に置いています。つまり、それは絶望的ではありません。私たちはこれらを安全にする方法を知っています。私たちは、これらを安全にする方法の計画のようなものを持っていますが、それはまだ確実に機能する計画ではありません。うまくいけば、将来、もっとうまくできるでしょう。」

AI時代における個人の備え

「私たちはAIの技術について多くの質問をしてきましたが、AIに対する社会の反応について質問したいと思います。多くの人々が私たちに、『もしあなたが正しいとして、強力なAI、AGIが数年後に迫っているとしたら、私はその情報をどうすればいいのでしょうか？』と尋ねています。例えば、退職後の貯蓄をやめるべきでしょうか？ お金だけが重要になり、この種のAI上位階級ができるので、お金を貯め始めるべきでしょうか？ あるいは、AIがここに来てすべての病気を治す前に、何も私を殺さないように、本当に健康になろうとし始めるべきでしょうか？ もし彼らが、これらの種類の変化が非常にすぐに起こると信じている場合、人々はどのように生きるべきなのでしょうか？」

「ええと、私はこれについて長い間考えてきました。なぜなら、これは私が長い間信じてきたことだからです。そして、それはすべて、あなたの人生にそれほど大きな変化をもたらさないという結論に達します。つまり、私は確かに、私ができる最高のインパクトを、特にこの2年間で与えるように、かなり焦点を当てています。10年後に燃え尽きるかどうかはあまり心配していません。ええと、私はまた、健康に気を遣うようにもっと努力していますが、それはとにかくすべきですよね。私はまた、社会で物事がどれほど速く変化しているかを追跡するようにしていますが、それはとにかくすべきですよね。したがって、それはすべて、とにかくすべきことをもっと多く行うというフォーラムのアドバイスに尽きるように感じます。私が与える例外を一つ挙げるとすれば、基本的な批判的思考、基本的なストリートスマートは、以前よりもおそらく重要になっているということです。なぜなら、私たちは、非常に知的に聞こえるコンテンツをますます多く手に入れるようになるからです。そのエンティティから配信されるコンテンツの一部は、私たちの最善の利益を心に抱いており、一部はそうではないかもしれません。したがって、批判的な視点を適用することがますます重要になるでしょう。」

AIによる雇用への影響

「私は今月、ウォール・ストリート・ジャーナルで、ITセクターの失業率が上昇し始めているという記事を見ました。そして、これはAIの影響の初期兆候かもしれないという憶測があります。そして、そのような記事を見て、もしあなたが今学校に通っているなら、キャリアについて異なる決定をする時期かもしれないと思いますか？ あなたは何か他のことを勉強すべきでしょうか？ あなたは、自分が持つかもしれない仕事の種類について、異なる考え方をするべきでしょうか？」

「ええと、あなたは間違いなくそうすべきだと思います。それがどのような方向に進むかは明らかではありませんが。したがって、私はAIコーディングが他のすべての分野の中で最も速く進んでいると思います。短期的には、コーダーを置き換えるのではなく、コーダーの生産性を増強し、向上させるだろうと思います。しかし、長期的には、そして長期的に言えば、6ヶ月から12ヶ月ではなく、18ヶ月から24ヶ月を意味するかもしれませんが、特に低レベルでは、置き換えが見られるようになると思います。ええと、私たちは、それがそれよりも早く起こるのを見て驚くかもしれません。」

「アントロピックではそれを見ていますか？ 例えば、Claudeが基本的なタスクに非常に優れているため、数年前よりもジュニア開発者の採用を減らしていますか？」

「ええと、私たちの採用計画はまだ変わっていないと思いますが、確かに、今後1年ほどで、より少ない人数でより多くのことができるようになるかもしれないと想像できます。そして、実際には、私たちはそれを計画する方法に注意したいと思います。なぜなら、最悪の結果は、モデルが原因で人々が解雇されることだからです。私たちは実際、アントロピックを、社会がこれらの問題に、分別のある、人道的な方法でどのように対処するかについての、ほとんど予行演習と見なしています。したがって、もし私たちが社内でこれらの問題を管理できなければ、従業員にとって良い経験をさせ、彼らが貢献する方法を見つけることができなければ、より広い社会でそれを行うチャンスはどれくらいあるでしょうか？」

「ええ、ええ、ダリオ、これはとても楽しかったです。」

「ありがとうございます。」

「またすぐに。」

ハットGPT

「さて、ケビン、恒例のハットGPTの時間です。」

「もちろん、ハットGPTとは、今週のヘッドラインを帽子の中に入れ、1つ選んで議論する番組のコーナーです。そして、議論が終わったら、私たちが互いに『生成を停止』と言うのです。」

「はい、プレイするのが楽しみですが、リスナーから新しいハットGPTが送られてきてからしばらく経つと言っておきたいと思います。したがって、そこの帽子製造業の皆さん、帽子のワードローブが少し時代遅れに見えています。」

「ええ、帽子を送ってください。帽子を脱いで感謝します。」

「わかりました。やりましょう。人々は紙切れのスーザーが好きです。」

「何のスーザーですか？ 素晴らしい言葉ですね。スーザーを調べてください。スーザー、はい。それはまるで、木々を吹き抜ける空気の音のようでした。それはあの歌の中にありました。ヘイターション、スー… メアリーJは、彼女のヒット曲『ファミリーアフェア』で、スーザーを有名にしました。ところで、メアリーJ.ブライジのライブを見たことがありますか？」

「いいえ。」

「人生が変わりますよ。」

「ええ、本当に素晴らしいです。」

「ケビン、最初の紙切れを選んでください。」

「最初の紙切れは、ハットの中から… これは『HUDビルのテレビにトランプとマスクのAIビデオが表示される』というものです。これはニューヨーク・タイムズの同僚からのものです。HUDは、もちろん、住宅都市開発省です。そして月曜日、ワシントンDCのHUD本部のモニターに、トランプ大統領がイーロン・マスクのつま先をしゃぶっている偽のビデオが短時間表示されました。省庁職員や、何が起こったかを知る他の人々によると、人工知能によって生成されたと思われるビデオには、『ロングリブ・ザ・リアル・キング・カス』というメッセージが刻まれていました。」

「あなたはこのビデオを作りましたか？ これはあなたですか？」

「これは私ではありません。グロックがこれに関与しているかどうか知りたいですね。あのいたずら好きの新しいAIをイーロン・マスクが出したのですから。」

「グロックによって生き、グロックによって死ぬ。それが私の口癖です。さて、ケビン、人々が政府機関内でAIを使用していることについてどう思いますか？」

「つまり、明らかな妨害工作の角度があると思います。イーロン・マスクと彼のドージの手下が連邦政府職員を切り刻むにつれて、HUD本部の廊下のモニターのようなものにアクセスできる人々が、退職する途中で個人的に手を下し、攻撃的またはとんでもないことをしようと決めるでしょう。私たちはもっと多くのことを期待すべきだと思います。つまり、彼らが本当に攻撃的なことをせず、政府機関のモニターにx.comを表示しないことを願うばかりです。人々がそれを行った場合、何が起こるか想像することしかできません。したがって、イーロンとトランプはここでは軽く済んだと思います。」

「ええ、グロックについて興味深いのは、イーロン・マスクのディープフェイクを生成するのが非常に得意であるということです。そして、私はこれを知っています。なぜなら、人々がそれをやり続けているからです。しかし、グロックを使って作られたディープフェイクの主な被害者が、実はイーロン・マスクであることが判明した場合、それは本当にすごい結果になるでしょう。」

「生成を停止。」

「さて、ケビン、パープレキシティがコメットと呼ばれるウェブブラウザを予告しました。これはテッククランチからの情報です。Xの月曜日の投稿で、同社はまだ利用可能になっていないブラウザのサインアップリストを開始しました。いつになるか、ブラウザがどのようなものになるかは不明ですが、名前があり、コメットと呼ばれています。」

「まあ、それについてはコメントできませんが。」

「あなたはノーコメントを与えるのですね。」

「ええ、つまり、パープレキシティは現在最も興味深いAI企業の1つだと思います。彼らはますます巨額な評価額で資金調達を行っており、世界最大かつ最も裕福で、最も確立されたテクノロジー企業の1つであるGoogleに立ち向かい、AI搭載の検索エンジンを作ろうとしています。そして、物事が十分にうまくいっているように見えるので、彼らはブラウザを作ろうとするような他のことをやり続けています。ブラウザを作ろうとすることは、野心的なインターネット企業の最後のボスのように感じます。誰もがそれをやりたがっていますが、結局誰もやり遂げません。ケビン、AIブラウザだけではありません。パープレキシティは今週、初期段階のスタートアップを支援するために5000万ドルのベンチャーファンドを立ち上げるとも発表しました。そして、私の質問は、インターネット上でこれまでに公開されたすべてのものの著作権を侵害するだけでは十分ではないのでしょうか？ 彼らはまた、AIウェブブラウザを構築し、ベンチャーキャピタル企業に転身しなければならないのでしょうか？ 時々、会社がこのようにしているのを見ると、『おお、すごい、彼らは本当に野心的で、大きなアイデアを持っているんだな』と思います。また、時には、『これらの人々は混乱している』と思います。私は、これらの一連の発表をスパゲッティを壁に投げつけているように見ています。そして、もし私がパープレキシティの投資家なら、彼らのブラウザやベンチャーファンドのどちらにもそれほど興奮しないでしょう。」

「そして、それがあなたがパープレキシティの投資家ではない理由です。」

「私がパープレックスしていると言えるかもしれません。」

「生成を停止。」

「さて、『メタは5％のレイオフに続いて、より大きな幹部ボーナスの計画を承認』。ケイシー、ご存知のように、私たちはハットGPTで心温まる話が好きです。」

「ええ、なぜなら、メタ幹部の中には、まだ手が届いていなかったタホの別荘を買おうとしている人もいるからです。」

「彼らは4軒目、5軒目の家を建てています、現実的に考えてください。」

「わかりました。この記事はCNBCからのものです。『メタのエグゼクティブオフィサーは、同社の新しいエグゼクティブボーナスプランの下で、基本給の200％のボーナスを得る可能性があります。以前は75％でした』と、木曜日の提出書類によると。新しいボーナスプランの承認は、メタが全従業員の5％のレイオフを開始した1週間後に行われました。メタは、これは低パフォーマンスの従業員に影響を与えるだろうと述べました。そして、小さな括弧書きで、『更新されたプランはメタCEOのマーク・ザッカーバーグには適用されません』。ああ、神様、マーク・ザッカーバーグは昇給するために何をしなければならないのでしょうか？ 彼は缶詰の豆を食べているんですよ。」

「ええ、私がここでこの記事が面白いと思う理由は、これが、私たちがしばらくの間話してきた主題、つまり、労働者の力からどれだけ振り子が振れてしまったかを示している別の記事だからです。2〜3年前、労働市場は実際にシリコンバレーで大きな影響力を持っていました。それは、例えば『私たちはこの職場をもっと多様性に富んだものにしたい』とか『私たちは特定のポリシーがこの職場で制定されることを望む』といったことに影響を与える可能性があります。そして、マーク・ザッカーバーグのような人々は、彼らに耳を傾けなければなりませんでした。なぜなら、労働市場は非常に逼迫していて、もし彼らがノーと言えば、それらの人々はどこか他の場所に行くことができたからです。それはもはや真実ではありません。ますます多くの企業、例えばメタなどが力を誇示し、『気に入るか、さもなくば出て行け』と言っているのを目にするようになっています。これはまさに『出て行け』の瞬間でした。あなた方の5％を解雇し、そのことで自分たちにボーナスを与えているのです。」

「生成を停止。」

「さて、『アップルはバックドア命令の後、英国からクラウド暗号化機能を削除』。これはブルームバーグによると、『アップルはクラウドデータ用の最先端の暗号化セキュリティ機能を英国から削除しています。これは、政府が同社にユーザーデータにアクセスするためのバックドアを構築するように命じたことを受けたものです』とのことです。これは少し複雑で、非常に重要なことです。アップルはここ数年で、高度なデータ保護と呼ばれる機能を導入しました。これは、国家元首、活動家、反体制派ジャーナリスト、つまり、NSOグループのような企業のスパイウェアの標的にされるリスクが高い人々のデータを対象とした機能です。そして、アップルがこの機能をリリースした時、私は非常に興奮しました。なぜなら、もしあなたがそれらのカテゴリのいずれかに該当する場合、iPhoneを安全に使用することは非常に難しいからです。そして、英国政府が登場し、『私たちは、私たちの諜報機関が世界中のすべてのiPhone所有者の電話をスパイできるように、バックドアを作成するように命じます』と言いました。これは、アップルが米国や海外で長年抵抗してきたことです。そして、彼らが何をしようとしているのかについて、すべての目がアップルに注がれていました。そして、彼らが言ったのは、『私たちはこの機能を一つだけ撤回します。英国では利用できなくし、英国がメッセージを受け取り、私たちへの圧力を止めることを願います』ということでした。そして、私は、アップルはこれに対して称賛に値すると思います。バックドアを構築せずに、断固とした姿勢を貫いたことに対して。そして、英国がそれに対してどのように対応するかを見守りますが、英国がアップルにさらに圧力をかけ、アップルがシーアと言って、実際に英国からデバイスを撤退させる世界があると思います。それはアップルにとってそれほど深刻であり、私はそれが暗号化とインターネット上の安全なコミュニケーションの未来にとってそれほど重要であると主張したいと思います。」

「キング、よく言った。何も付け加えることはありません。メモはありません。」

「ええ、これが英国との別の独立戦争につながると思いますか？」

「こう言っておきましょう。私たちは最初の戦争に勝ちました。そして、私は2回目の戦争でも勝算があると思います。私たちに手出しをするな、イギリス。」

「生成を停止。」

「今週最後の紙切れです。『AIインスポはどこにでもあります。それはあなたのヘアスタイリストを狂わせています』。これはワシントン・ポストからのもので、ヘアスタイリスト、整形外科医、ウェディングドレスデザイナーの間で、非現実的なAI生成画像に基づいて製品やサービスを作成するように求められているトレンドに関するものです。記事は、ある花嫁がウェディングドレスデザイナーに、オンラインで見た写真に触発されたドレスを作るように依頼したと述べています。そのドレスは、袖がなく、背中がなく、アシンメトリーなネックラインでした。デザイナーは残念ながら、クライアントに、そのドレスは物理法則に逆らうと伝えなければなりませんでした。」

「いいえ、それは嫌ですね。知っています。花嫁になる人にとって、ついに完璧なドレスのアイデアが浮かび、デザイナーに持っていくと、それが既知の物理法則にすべて違反していることが判明するのは、とてもイライラします。そして、それはAI以前には私たちに起こらなかったことです。」

「ええ、私は、この記事は、人々がインターネット上で見たAI生成画像に似せるために、6本目の指を手につけるように求めている人々について書かれていると思っていました。私は、AIインスピレーションをデザイナーやスタイリストにもたらすのは良いことだと思います、ケビン。」

「ああ、ええ。」

「ええ、なぜなら、ここにあるのは、これらのツールがクールまたは楽しい理由の一つは、それらが人々に、より創造的だと感じさせるということです。そして、もしあなたが自分の髪型や、インテリアデザイン、あるいは結婚式で同じことを繰り返してきた場合、そして、それをアップグレードしたい場合は、AIを使って、『ええ、これをできますか？』と言ってみるのはどうでしょうか。そして、答えが『それは不可能です』であれば、うまくいけば、あなたは寛大な顧客になり、『わかりました。では、可能なバージョンは何ですか？』と言うでしょう。私は最近、あなたがスタイリストと協力していることを知りました。」

「はい、そうです。」

「これは彼らの手腕ですか？」

「いいえ、最初のミーティングは来週です。」

「そうですか。AIを使う予定はありますか？」

「いいえ、計画は、昔ながらの人間の創意工夫を使うことだけです。しかし、今、あなたは私に考えさせています。もしかしたら、私はスタイリストを困らせるために、実現不可能なデザインをたくさん持ち込むかもしれませんね。」

「ええ、ここにあるのは、私は不可能なものは何も必要ないということです。私はただ、このスタジオで映える色を見つける手伝いが欲しいだけです。なぜなら、何も映えないと確信しているからです。」

「確かに、私たちは今日二人とも青い服を着ています。青い壁があります。それは… 青は私の好きな色です。私は青い服がとても似合うと思っています。しかし、この色が何色であろうと、名前が思い浮かばず、説明できません。どんな青も映えないと思います。この色には何も映えないと思います。それは名前のない色です。スタイリストはそれで手伝ってくれますか？」

「わかるでしょう。」

「ええ、乞うご期待。それが、あなたが常にハードフォークポッドキャストを毎週聴き続けるべき理由です。新しい啓示があります。番組の伝承、世界構築があります。」

「ええ、いつ私たちはついにスタイリストに何が起こったか、ホットタブタイムマシンなどについて知ることができるのでしょうか？」

「ええ、乞うご期待。」

「わかりました。ハットGPTは以上です。プレイしてくれてありがとう。通常はもっとうまくいくのですが。」

「そうですね。ケビンは大変な一週間でした。」

「ああ、私のせいです。いいえ、あなたのせいではありません。あなたのせいではありません。私はただ、あなたが世界を背負っているように見えるだけです。」

「ああ、ああ、そうです。疲れていて、昨夜眠れなかった人を責めてください。」

「ええ、また、すべての話が悲しかったです。」

「ええ、そして人がBARTで亡くなりました。」

「ええ、私はリーマン予想を説明することができました。そして、読者は尋ねてきました。」

「ええ、あなたは満足していますか？ ところで、もしあなたが予想を証明できれば、素晴らしいでしょう。」