映画『オッペンハイマー』は原爆の父を描いたことでAIの危険性と絡めて言及されることが多い。と言うと「なるほど今のAIの進歩は凄まじいから人間を超え原爆のような脅威の存在になるってことか」と思うかもしれないがそれは違う。「ディープフェイクとかもっと現実的な話だろ？」と思うかもしれないが(それも確かに危険だが)違う。監督もAIそれ自体と原爆それ自体が同じ危険性を持つとは言っていない。

本作が原爆マンハッタン計画を主導したオッペンハイマーを通して描いているのは原爆そのものと言うよりその投下を可能にした構造であり、AIそしてその前段階の技術である機械学習の真の問題との共通点は無責任化だ。

原爆投下の「責任」は誰にあるのか

原爆投下の直接の「原因」は命令を下したトルーマン大統領だ。ではオッペンハイマーには責任が無いかと言えばそれは違うだろう。トルーマン大統領もオッペンハイマーが原爆を開発しなければ投下命令を出しようが無い。しかしマンハッタン計画が始まったきっかけはアインシュタインが出した手紙だ。だがアインシュタインが手紙を出したのはナチスが台頭したからだ。では責任はアインシュタインやナチスにあるのか。
あるいは日本が降伏を決めた決定的な要因はソ連参戦だったと言われているが、その直前までソ連の仲介で和平できると考えていた。もし大日本帝国が希望的観測をやめ、せめて一ヶ月早く降伏していれば、原爆投下は無かった(世界初の核実験は1945年7月16日であり、それより前の原爆投下は物理的に不可能)。以下の記事で書いたように「原爆投下直後に」降伏した大日本帝国はどのような視点でも正当化できない。

そして原爆投下のスケジュールがギリギリだったことを考えると別の見方もできる。マンハッタン計画にはノーベル賞受賞者も含む天才科学者が多く参加していた。その中には日本に好意的で『ご冗談でしょう、ファインマンさん』や現在でも大学院で教科書に使われている『ファインマン物理学』で知られるリチャード・P・ファインマンもいる。彼のような天才科学者が一人でも欠けていれば原爆製造は数日、いや一か月以上遅れて原爆投下は不可能だったかもしれない。であればファインマンなどにも原爆投下の責任はあるのではないか。

更に別の見方もできる。原爆を投下したのはソ連を牽制するためだったという説がある。現代からは信じられないが、アメリカが超大国と呼ばれるようになったのは第二次世界大戦で大英帝国含むヨーロッパが壊滅してからであり、ナチスに致命的な打撃を与えたのだってソ連だ。それなら原爆投下は「共産主義の魔の手から自由主義世界を救った」ことになり日本にも利益があったことになる。
あるいは「巨大な力があってこそ人間は自制できるのだ」という主張はオッペンハイマーだけでなく日本人からも出ることがある。「冷戦時代こそ人類史上まれに見る長い平和だった」とも言われる。「原爆の悲惨」を実際に人類が目撃しなければ核廃絶運動が盛り上がることも核拡散防止条約が結ばれることもなく全面核戦争の危険は更に高まっていたかもしれない。であれば原爆投下は人類全体の利益になったことになる。

『検証 原爆投下は「良い面」もあったのではないか？』という本が必要かもしれない。 

話が逸れたが、そもそもソ連が存在しなければそれを「牽制」する必要も無かった。ではソ連を生んだレーニンが悪いのか。大粛清をしながらソ連を重工業大国に押し上げたスターリンが悪いのか。いやそもそもマルクスが悪いのか。だがマルクスが『資本論』を書き支持が広がったのは資本家が8歳の子供までこき使い平均寿命を30歳以下にしたからだ。では資本家の力を強くしたブルジョワフランス革命が悪いのか。原爆投下の原因はマリー・アントワネットなのか。
ここまで行くと「クレオパトラの鼻が少し低かったら歴史が変わっていた」レベルだが、少なくとも原爆投下の原因をオッペンハイマーのみに帰きせないことは確かだ。アメリカなど主要プレイヤーはいくつもあるし、有力科学者も何人もいる。

オッペンハイマーに「責任能力」はあったのか

とは言えマンハッタン計画を主導したオッペンハイマーに一定の責任があることは確かだろう。だがオッペンハイマーは自分自身を制御できていたのか。
本作の前半では時系列がシャッフルして展開される。それも数分置きに。さらに「194〇年 マンハッタン」と字幕が表示されたりもしないから場面転換が起きてもすぐにはわからない。そのためオッペンハイマーの憔悴しょうすいしたような態度や堂々とした態度などが次々と移り変わっていく上その理由もわからない。
そしてマンハッタン計画終盤からようやく時系列順にストーリーが進んでいくが、ここでもオッペンハイマーが何を考えているのかわからない。「ナチスは降伏したからもう原爆は必要ない」「日本の民間人の上に落とす正当性があるのか」という問いにオッペンハイマーは「実際に原爆が使われなければ人類はその恐怖を実感できない」と答える。しかしその後の会議では原爆投下に反対する。ところがその後の核実験では「我々は先に進む」と言う。発言が文字通り二転三転するのだ。
原爆投下後、オッペンハイマーは罪悪感に苛まれてるように見える。しかしそこでも「ヤツは『罪悪感の冠』を付けたいだけだ(＝自分を善人だと思いたいだけ)」というセリフが出てくるし一瞬だが開き直ったような怒りの表情を見せたりもする。結局オッペンハイマーは何を考えていたのか、最後まで見てもわからない。
さらにメタ的な事を言うと、映画パンフレットで各キャストは演じた役について「こういう人物だ」とハッキリ語っているのだが、主演(=オッペンハイマー役)だけは「複雑」と言ってるのだ。
普通の物語では「このキャラはこういう人物でこういうキッカケで心変わりした」とわかるが、本作では時系列がシャッフルされ次々と心情が移り変わるため現実感が無い、いやオッペンハイマー自身が戦闘機に乗っている場面など現実で起きた訳が無いシーンも挿入される。これはオッペンハイマーが現実感を喪失していたことを観客に追体験させるためかもしれない。
オッペンハイマーは実際に「意思」を失ってたのでは無いかと伺うかがえるエピソードがある。彼は核実験に三位一体トリニティ＝神と名付けてしまったが、赤狩りで公職追放された晩年でも「自分でも何故そう名付けたのかわからない」と語っているのだ。
しかしオッペンハイマーが「意思」を失った「透明な存在」だったとすれば、彼の「罪」は、「責任」はどうなるのか。

米軍の殺人学創始者は「人間(兵士)が人間を殺しやすくする要因」を色々挙げているが、通底するのは「責任」を薄めること、要するに「自分のせいで人が死んだ」という意識を無くすことだ。ボールペンを相手の目に突き刺して人を殺せる人間はほとんどいない。だが「新型爆弾」投下の命令書にサインするだけなら簡単だ。

AI、そして機械学習の「真の問題」とは何か

ここまで読んで「それはAIと一体何の関係があるんだ」と思うかもしれないが、それが大有りなのだ。まずAIの前段階に機械学習という技術がある。スパムフィルターを「AI」と呼ぶ人はいないだろうが、機械学習を用いたスパムフィルターにはそれこそSFに出てくるようなAIと同じ要素を持っている。何故ならどれがスパムでそうでないかをプログラム自体が発見していくからだ。
プログラミング経験がある人は多くないだろうが、それでも「Twitterのスパムフィルターを作れ」と言われたらどうすればいいかを考えて欲しい。「Twitterのスパム」と聞いて何を思い浮かべるだろう？ 「副業で月収100万」とか「プロフ見て～」だろう。そこで「アカウント名に『副業で月収100万』と書いてあったらスパムとフラグを立てる」という方法が思い浮かぶはずだ。機械学習ではこれをコンピュータがやる。つまり、大量の「スパムアカウント」と「普通のアカウント」のデータを用意し、プログラムに読み込ませれば、「『副業』『月収』両方の単語が含まれている場合スパムの可能性が94.2%」などをコンピュータ自身が発見するのだ。
これにより「アカウント名に『副業』が入ってるのはスパムだろうけど具体的にどれぐらいの確率なんだろう、他にもスパムと関係してる単語があるんじゃないか、逆にある単語が入っていたらスパムでない確率が上がったりするんじゃないか」という人間では難しい判断をコンピュータが自動で発見していく。機械学習システムの中には「スーパーが親よりも早く妊娠を発見した」というものもある(妊娠した人は好みのものが変わるため)。

これらは確かに「技術の進歩はすごい」「人間を超えた」と言いたくなる事例だ。ドラえもんにもこんな芸当は不可能だろうし今話題の生成AIよりよっぽど「AI」してるかもしれない(誤解が無いよう言っておくと、電卓が計算速度では人間を超えたように機械学習もパターン分析では人間を超えただけである)。

だが問題はブラックボックス化だ。この例では客は「何を理由に妊娠してると判断したのか」がわからなかった。いや正確に言うなら企業も「クレーム」を受けて分析しようやく気付いたのだ。そして現在AIと呼ばれてるものは深層学習という技術を使っており、これは開発者ですら出力を分析できない。

要するに、上記の例で言えば深層学習を用いたシステムが「この客は妊娠している」という判定を出しても、その理由は誰にもわらないのだ。それこそOpenAIで働けるようなエリートですら。

「数学的破壊兵器」

「AI」以前の機械学習の時点で問題があることは数学的破壊兵器という言葉で警告されていた。これは大量破壊兵器の原語「Weapons of Mass Destruction」のMass●●(大量)をMath●●(数学)に置き換えたものだ。

この言葉には功罪両面がある。「数学的破壊兵器」という言葉にはインパクトがあり、それがこの問題を知らしめるのに一役買ったことは間違いない。実際この言葉を避けた上記の書名にはインパクトが無い、あるいは「怪しげな」印象がある。
一方でこの言葉は「何が問題か」から焦点をずらしてしまう。「数学」という言葉がこの問題に影響を与えていることは確かだ。それは「客観的」という印象を与える、要するにお気持ちに影響を与えるからだ。AIという言葉にも同じ幻覚作用があるかもしれない。
だが、機械学習の真の問題は下記記事にも書かれてるように無自覚のツールであることだ。

人事査定で機械学習モデルが使われ、それが「数学とコンピュータを使っているから客観的に違いない」と信用され解雇に使われた事態が10年以上前にある。「人類を支配するAI」は局所的には既に存在するのだ
「数学的破壊兵器」の問題は多岐に渡るが、根底にあるのは無責任化、それも無自覚な、だ。人事査定の機械学習モデル製作者はもちろん「クックック、間違った評価を下す機械学習モデルを作ってやろう」などと考えてる訳では無い。Googleのシステムが黒人にゴリラとラベル付けしたことがあるが、もちろん開発者が「黒人をゴリラ扱いしてやる」と考えていた訳では無いだろう。そんなことをしても何の利益も無いし、そもそも出力が制御できない以上意図して作ることは不可能だからだ。他のシステムにも同じことが言える。

もし開発者が「何故お前が作ったシステムは黒人をゴリラと判定したんだ」と責められたら「俺は悪くねぇっ！」という言葉が出て来てしまうだろう。

実際そこに悪意はない。善意すらあるかもしれない。なのに何故責められなければならないのか。
この不可視化の問題は開発者が自覚することさえ困難ということだ。

もし実際に顔を突き合わせてやったら「あ、これ禁止されてる事じゃん」とすぐ気が付くことでも、「AI/機械学習/コンピュータ」を通すとそれに気づけなくなってしまう。
更なる問題はユーザーにとってはそもそも「何かのシステムを使っている」ということ自体に気づけない可能性があることだ。例えばYouTubeはトップページを開くだけで色々な動画が表示される。あるいはAmazonの「これをチェックした人はこれもチェックしています」も裏でアルゴリズム●●●●●●が働いてるが、生まれた時から当たり前のようにそれを見ている世代はその存在自体に気づけないかもしれない。

YouTubeで何か特定の政治傾向の動画が表示されてそれを見たとしよう。そしてレコメンド(推薦)アルゴリズムが「このユーザーはこのタイプの動画が好きだろう」と判断し似たような動画を表示し、それを見たユーザーが更にその政治傾向を好むようになる。このフィードバックループでその政治傾向に徐々に染まっていっても自覚することさえできない。繰り返すがユーザーだけでなく開発者ですら。そのユーザーが議会を襲撃した時、責任は誰にあるのか。

自分の嗜好が、いや思考が誰かの、いや何かの影響を受けていると自覚することさえできないならそれは比喩ではなく自由意志の危機だ。
経済的にも、Amazonで「おすすめ商品」が表示され、実際に買ってみて満足したなら、「これは自分の意思で欲したものだ」と思うかもしれない。だが実はもっと自分の望みに適合する商品があったのにAmazonがレコメンド(推薦)しなかっただけかもしれない。

Google八分という言葉もあった。SNSが台頭する前はGoogleの検索結果に出てこない、いや上位に表示されないだけでそのページは存在しないのと同じだったのだ。こうして自由資本主義は死に、今できつつあるのはビッグデータやアルゴリズムの所有者(Amazonなどビッグテック)に莫大な「地代」を納めなければならないテクノ封建制だ。

インターネットがインフラとなった現代はかつてないほどブラックボックスに囲まれることになった。X/Twitterだけでも、デフォルトのおすすめタブは自分の意思でフォローしたアカウントや関係する話題が主に表示されるが、そうでないものもある。「どこまでが自分の意思によるものでどこからが運営に勝手に決められた表示なのか」の境界は曖昧で無自覚のうちに影響を受ける。トレンドにしてもパーソナライズされている(人によって表示されるものが違う)ことを知ってる人はどれだけいるだろう？ それをクリックした時、検索ワードが含まれてるポストをすべて表示する訳にはいかないから一部のみが表示されるが、その判定基準もわからない。最近のものや「いいね」数が多いものが優先して表示されているであろうことが推測できる程度だ。シャドウバンとなるともはや「起きてるかどうか」さえ誰にもわからない。別アカウントで自分のポストが表示されるのを確認しても、他のアカウントでもそうとは限らないからだ。日常の一部となり比喩ではなく「戦場」と化したSNSひとつにこれだけのブラックボックスが仕込まれているのだ。

Googleはかつて検索で世界を変えたが、レコメンド(推薦)アルゴリズムも最早ビッグテックの専売特許ではない。メルカリにもSteamにもNetflixにもそれはある。ネットで動画を見る時、何かを買う時、あらゆる場面で裏でどんなアルゴリズムが動いているか我々は知ることができなくなっている。

もちろんブラックボックス自体は100年以上前からあった。電球がなぜ光るのかもカメラの仕組みを我々は知らずに生きている。ただブラックボックスが存在してること自体は認識でき、仕組みを知らない事は知っていた。「知らない」ことさえ知っていれば、「電球がなぜ光るかは知らないが明るさと消費電力さえわかればいい」と判断が可能になる。だが今はブラックボックスに囲まれているにも関わらずブラックボックスが存在すること自体にさえ気づけない。

Qアノンなどはまだ少数派に過ぎない。だが現在進行形でブラックボックスは増え続けている。AIに反乱を起こされたからではなく、人間自身の手で。人間の自由は既に奪われつつある、その責任が誰にあるかさえわからないまま。もう一度繰り返すが開発者にすらだ。ブラックボックス化される過程自体がブラックボックス化されているのだ。
『鋼の錬金術師』でもSFパニック映画でもいいが、「恐るべき存在」を作り出してしまった科学者が「そもそもそんな事をしようとしたのが間違っていた」と言うシーンは良くある。そこでは結果を予測できなかったのは仕方ないとしても意図してたことには責任を感じることができた。

だがAIが軍事などのシステムに組み込まれ破滅的な事態を招いた時は、その責任すら問えない。「なぜ軍事システムにAIを組み込んだ」と責められた「責任者」は「だってAIはすごいと思ったから……何でそう思ったかって、いつの間にかそう思うようになっていて……自分でも理由がわからなくて……」と答えるかもしれない。その人物の任命者もそのまた任命者も同じことを言うかもしれない。オッペンハイマーが核実験に三位一体トリニティ(神)と名付けた理由がわからなかったように。そして「小規模」な形では既にそれは起きている。

「人間の運命を決定する者」を神と呼ぶなら、AIの世界的権威レイ・カーツワイルが「神はまだいない。だがいずれ現れる」と予言したように確かにAIが神として顕現することになる。だがその「神」は全知全能ではないどころか「知能」さえ持っていない。全人類の運命を決定するが、ただサイコロを振っているだけ、あるいはガチャを回しているだけだ。
機械仕掛けの神デウス・エクス・マキナという言葉を聞いたことがある人は多いだろう。これは言葉の響きはすごくカッコいいが、意味してるものはあまりにしょうもない。何せ語源は演劇でご都合主義的に物語を終わらせるカラクリ仕掛けだからだ。
だがAIは名実ともに機械仕掛けの神デウス・エクス・マキナになり得る。それはあまりにもしょうもない存在でありながら、人間の自由意志を奪い運命を決定する。人類補完計画、もとい人類総オッペンハイマー化だ。
いや、世の中には「バモイドオキ神」なるものを崇める人間もいるのだ。機械仕掛けの神デウス・エクス・マキナを本当に神だと信じ込み自ら自由意志を投げ捨てる人間だっているかもしれない。

オープンソース運動の創始者はプログラムのソース、平たく言えば中身をオープン(公開)にすべきと言った、つまりブラックボックスを解体せよと唱えた。ユーザーの自由を守るために(開発者の、では無い)。

「AI」と言う名のブラックボックスが解体され真の意味でのオープンソースにならなければ、人類は自由意志を失うのだ、自覚さえ持てないまま。

本作のラストには現代の戯画のようなシーンがある。原爆を爆発させたら大気が連鎖的に発火し地球が滅亡する可能性がほんのわずかだがあったと語られる。もちろんそんな事は起こらなかった。だが「世界は変わった」、永遠に。今「AIが人間を超え超知能になる」と大真面目に語る人間が大勢いる。だがその可能性は限りなくゼロに近く、本当の「AIの危険性」は別のところにあるのだ。