tomoima525's blog

Androidとか技術とかその他気になったことを書いているブログ。世界の秘密はカレーの中にある！サンフランシスコから発信中。

Situational Awareness(元OpenAIの研究者が占うAIの今後10年)のメモ書き

面白いもの 英語 本

OpenAIのセキュリティチームに所属していた研究者が書いた Situational Awareness というエッセイが2024年6月に発表された。

situational-awareness.ai

表題の Situational Awareness は "気づき" や自動運転の文脈における "周辺情報を認識する" という意味だが、"サンフランシスコ、シリコンバレーを中心とするAI研究者たちが気づいていること" としてつけられている。
このエッセイは "2027年に汎用的人工知能が誕生する" など、今後10年間にAIについて起こりうることについて、データや著者自身の見解に基づいて大胆な予想を展開している。

著者は Leopold Aschenbrenner という元 Open AIの研究者。OpenAI Super Alignment team(AIのセキュリティを研究するチーム)*1 を去ったあと、AGIの投資ファームを立ち上げた。

本著は p165に及ぶ長文であるが、興味深い内容だったので、(AIのサマリーを使わず)読んだ内容と多少の感想をメモ書きとして公開する。

Chap1. From GPT-4 to AGI

  • 処理能力のOOM (Order of Magnitude: 10の累乗) の増加が今のペースでいくと 2027にはAGIが登場する*2
  • 現在 0.6 OOM/year で処理能力が向上している *3

Situational Awarenessより

1. Compute

  • GPUやTPUの機能向上により学習処理量は0.5 OOMs/yrあがっている(みんながお金も投入しているので)

2. Algorithmic efficiency

  • 推論アルゴリズムの発達により、推論コストがこの2年で1000x(3OOM)改善している
  • 実際APIのコストも下がっている GPT-4oは 6x/4x で安くなっている
    • 学習データが足りなくなる懸念
      • 業界的には Bullish (データは色んな方法で確保できる)
      • そもそも学習方法を変える(人間が数学書を読むとき、ざっと見るのではなく、じっくり読む、同じ方法が適用できないか?)
        • AlphaGoの例:
          • まず学習させて
          • 自分たちでプレイし学習させた
        • 同じようなアプローチをLLMで行う方法を編み出す必要がある
        • こういった手法はプロプライエタリの方がオープンソースと比べて強くなるのでは? オープンソースではみんなが同じ手法をとるが、会社のリサーチラボなどはレシピを公開しないので

3 . Unhobbling

  • LLMの推論にとって障害となりうるものを取り除くこと
    • Chain of Thought (数学や推察問題で10x効率よく回答できる)
    • Reinforcement learning(ChatGPTの学習アプローチ)
    • Scaffolding
      • 攻略方法を検討し
      • 解決方法を複数提案させ
      • それらを批評する
  • そもそも今のLLMはまだ限定的にしかツールにアクセスできていない(web検索とか)
    • Zoomコールを読み取ったり、メッセージをやりとりしたり
  • 事前のインプットがない状態かつ短時間の考察で質問に答えている
    • 事前に十分な情報を与え、人間のように何日も検討させたら？⇒ 処理できるToken量を何百万のオーダーに増やせれば可能*4

まとめ

  • それぞれの要素が 数 OOMのレベルで進化することにより、AGIが実現する
    • Compute 2 - 3 OOMs
    • Algorithmic efficiency 1-3 OOMs
    • Unhobbling ? OOMs

Chap2. From AGI to Superintelligence

  • AGI同士がAI研究を行い、さらに進化したAIを生み出す(Super Intelligence)

    • 何万ものAGIを利用したAI研究は 5+ OOMsのレンジで加速する
      Situational Awarenessより

  • なぜAI研究なのか

    • AIの研究は物理的な要素を必要としない
    • 基本的には論文をもとにさらなるアイデアを実装、実験し検証するプロセス
  • Computingリソースの増大を考えると、 人間の研究者の10x, 100x のスピードでイテレーションを回せる
  • SuperIntelligence の可能性
    • 各ドメインへの進出
    • 人間、ロボットの活用(AIがロボットや人間を使役する~)
    • 科学・技術の飛躍的発展
    • 産業発展(自律的なロボットによる経済活動)
    • US政府を転覆させる
      • 数百人のスペイン人がアステカを滅亡させたように…

Chap3. The challenges

IIIa. Racing to the Trillion-Dollar Cluster

  • 2030までにトレーニング用のクラスターコストが$1T+(USの消費電力の 20%)になると予想できる(100GW)
  • 2024年時点で$100B - 200B のAI投資(capex capital expenditure)が予想されている
  • どうやってこれだけの電力を捻出するのか? 著者:USであれば可能
    • 天然ガス ペンシルベニアにある天然ガス鉱で 150GWの電力を産出できる
    • タービンやジェネレーターの生産は課題だが $100Bの支出があれば可能っぽい*5
    • これらの設備は2年ほどで構築できる
  • AI チップ
    • 現状のチップの生産能力でも$1T規模のクラスターは構築可能
  • データセンター(クラスター)
    • USないしはUSのAllies(日本や韓国)につくられるべき*6

IIIb. Lock Down the Labs: Security for AGI

  • AGI(の鍵となるロジックやモデル)を中国や軍事利用を目論む国に奪われないようにするためにセキュリティが重要
    • 重み付け — モデルの出力のもととなる。
    • アルゴリズム — モデル計算の最適化やモデル生成にかかわるもの。Transformer, Chinchilla scaling laws, MoE
  • 中国企業による研究者への高額なオファー、スパイ活動 etc
  • AGIに関するセキュリティはまだかなり認識が甘い
  • やるべきこと

IIIc. Super Alignment

  • Super Intelligence をコントロール、調整することの難しさ
  • Super Intelligenceが何をやっているのか理解できなくなる⇒ ASIに指示したことが保証されるのかもわからなくなるし、評価もできなくなる(Supervise教師学習やReinforcement Learning from Human Feedback強化学習ができなくなる)
  • AI自身による(人間の模倣でない)自己強化学習を行うようになる結果、嘘をついたりすることが目的を達成するための戦略であると学ぶ可能性もある

  • RLHFが使えなくなるので、全く新しい方法でAlignmentを行う必要がでてくる

    Situational Awarenessより

  • 現在可能な対策

  • これから必要なこと
    • 調整の自動化
      • 大量のAIリサーチャーを用いてASIの調整を行う
    • セキュリティ(モデルによる自己複製の防止、学習のサインオフセキュリティetc)、モニタリング、アンラーニングなどを用いた機能制限、学習方法の制限

IIId. The Free World Must Prevail

  • 中国がいかにAGIの情報を盗んでくるかの陰謀論に終始するので割愛*7

Chap 4. The project

  • 政府によるAGIプロジェクトの発足
  • これまではスタートアップが主体となってAGIの開発に取り組んでいたが、軍事利用や国家的脅威と認識されることにより(Covid対策と同じように) 国家レベルのプロジェクトが発足するだろうという予測
  • 戦争における軍事研究やManhattan計画になぞらえている*8

読んだ感想

  • もっともらしいし、現実味もあるが、特に後半は科学的な根拠に基づかない推測も多く含まれている。批判もこの辺の甘さに関する点が多い。ただこれは論文ではなくエッセイなので、科学的厳密さというよりも、研究者が推測も含めてどのような議論をしているかを知るうえで興味深い内容
  • 陰謀論ぽい箇所も多く含まれている(そもそもSFにいる賢い人達が気づき始めているというのがいかにも陰謀論ぽい)
  • 常にアメリカが中心(アメリカ人だからだけど…)中国を異常に敵対視しているが、インドやヨーロッパどこいった?? *9
    • Red state*10なら革新的なAI開発できるみたいな文章もあり、この人はかなりのナショナリストっぽい
    • ASIのリスクについてはなるほどと思う箇所がある
  • ネットの感想 https://forum.effectivealtruism.org/ や x.com
    • 賛否両論
      • 起こりうるという反応
      • 論拠があいまいという反応
      • 陰謀論ぽい

*1:このチームはリーダーのサツキバー氏の退社後、事実上解散している

*2:ちなみに論文では明示的にAGIについて説明していない。今のLLMが過去のデータに基づいた推論、特定の分野への対処(言語、画像etc)に対し、大量のコンテキストをもとに解釈を行いアウトプットを生み出し、どのような問題にも対処できるのが汎用的人工知能

*3:10の0.6乗 = 3.98 倍くらいか

*4:LLMは思考するわけじゃないから、どうなんだろう？アイデアとして実験した結果が知りたい

*5:著者のこういう楽観的な予測がよく出てくる

*6:著者は米国人

*7:主張は妥当な気がするが、中国人やロシア人の研究者や開発者もAI企業には多くいるし、著者がよく引き合いに出すマンハッタン計画や原子爆弾開発との比較ほど単純じゃないのでは

*8:ここも安易な比較な気がして、軍事研究開発と違って多くのデータやアルゴリズムがすでにオープンであること、ハードウェアなどは外国の企業に頼っている以上、単純じゃない。台湾と合同組織を作ってNvidiaを接収するとか現実的?

*9:ヨーロッパはデータ規制が厳しすぎてAIの発展は難しいかもだが

*10:共和党が支持する州:サステナビリティよりも米国の経済や競争力を優先する傾向にある