2016年11月10日、大統領選挙を制したドナルド・トランプはホワイトハウスにてバラク・オバマと会談した。PHOTO: UPI / AFLO

米国の次期大統領（つまり、ドナルド・トランプだ）は、中国・ロシアとの高まる緊張関係や、現在進行中のIS（Islamic State）との戦争など、さまざまな課題に直面することになるだろう。だがそのなかでも、人類史にかかわる最も重大な決断になりそうなのが、自律兵器システム（Autonomous Weapons Systems：AWS）、いわゆる「殺人ロボット」の扱いだ。

次期大統領には、文字通り選択肢がない。このテクノロジーが急速に進歩しているという理由だけでなく、米国の政策に埋め込まれた時限爆弾のタイムリミットが迫っているからだ。

タイムリミットは1年

2012年、オバマ政権は国防総省指令 3000.09（Department of Defense Directive 3000.09）を策定した。これはペンタゴンが殺人ロボットという新しいテクノロジーをどう扱うのかを取りまとめたものだ。

しかしこの指令には5年の有効期限があるため、ドナルド・トランプは、就任後1年以内に殺人ロボットに関する米国の政策を決定しなくてはいけない。

自律型ロボットの戦闘参加の可否で大統領が頭を悩ませるなんて、まるでSFの世界だ。だがテクノロジーの未来はそのような方向へと向かっている。

自動走行車は、わたしたちの周りでどんどん受け入れられ、利用されている。そして戦争の世界でもそれは同じだ。米軍はすでに無人航空機システム（いわゆる「ドローン」）を1万台、さらに無人の地上用機も1万2,000台保有している。「プレデター」のような初期型は完全なリモート制御だったが、改良が加えられるごとに知性と自律性を獲得しつつある。

『ターミネーター』の世界とまではいかないが、空母からの離着陸や、人間から潜水艦まであらゆる標的の追跡など、ロボットは複雑なタスクを自力でこなす能力を披露し始めている。すでに防空やサイバーセキュリティーの多くは、ほぼ完全に自動化されている。

わたしたちが知る限り、米軍は戦争における兵器システムの自律能力を向上させるために、少なくとも21種類の異なるプロジェクトに着手している。そして2016年6月、米国国防科学委員会は、彼らが考えるロボティクスのあるべき未来を示した研究を発表し、「国防総省の任務の多様性が高まるなか、自律性はそれらの任務に重要な作戦的価値をもたらすが、国防総省はその価値を実現させるためにより迅速に行動しなければならない」と結論づけている。

INFORMATION

『WIRED』プリント版VOL.26より全文掲載！ バラク・オバマが伊藤穰一に語った未来への希望と懸念すべきいくつかのこと

『WIRED』US版にてゲストエディターを務めたバラク・オバマが、テクノロジーがもたらす未来を語るべく対談相手に選んだのは、MITメディアラボ所長・伊藤穰一だった。AI、自律走行車、サイバーセキュリティー、シンギュラリティ…。来るべきデジタルテクノロジーが社会を覆い尽くす未来における、社会・経済・倫理の問題に人類はどう立ち向かうべきか。バラク・オバマの、ホワイトハウスからの最後のメッセージ。

制限のない自律兵器の世界

この革命は世界中で起こっている。米国の取り組みの一方で、世界中の国々で優秀なシステムの研究開発が進んでいる。この夏、中国の指導者たちは新型の巡航ミサイルに人工知能（AI）を搭載する計画を発表し、ロシアの「Foundation for Advanced Studies」（米国の国防高等研究計画局、DARPAに相当する）は「アイアンマン」と呼ばれる人型ロボット開発に取り組んでいる。さらにイラクまでもが、「Alrobot」と呼ばれるリモート制御の小型戦車の情報を公開している。

この新たな現実を受け、ペンタゴンから国連までさまざまな場所で、政策や規制の必要性、あるいはAWSの予防的な禁止措置などについての議論が活発化している。だが現在のところ、これらの兵器に関する政策を実際に立てたのは、米国とその緊密な同盟国である英国だけだ。

そのうえ、政策も限定的なものである。両国はAWS活用に向けての研究を行っていることを認めているが、適切な人間の判断や有効なコントロールがない場合は配備を制限することも定めている。米国では政策に例外条項が含まれており、上層部が必要だと判断した場合にAWSの製造や利用が可能である。

だが2017年にはこの緩い政策が失効し、更新・改正・廃止のいずれかが行われることになる。何も決めないというのもまた、重大な決定である。なぜならそれは、「制限のない自律兵器の世界」に突入する合図になりえるからである。

指令の失効が迫っていることで、次期大統領にはロボティクスと戦争の未来をかたちづくる歴史的な機会が与えられることになる。この機会を逃す手はない。もし次期大統領が迫る期限を利用してより明確な政策を打ち出せば、この問題に関する米国の国際的影響力を強めることができるからだ。

着手すべきは2箇所

米国が政策を更新するならば、手を入れるべき重要な点が2つある。第1に、現在の政策はさまざまな兵器やシステムにどういった行動が認められるのか（例えば殺傷力のある兵器の配備をどうするかなど）を十分に明確化していないことだ。

現在の政策では「半自律型」兵器による殺傷力の行使は認められているが、「自律型」兵器には制限がある。しかし、その定義は曖昧だ。現在の政策は、自律型兵器システムを「一度起動されたら、それ以降人間の操縦者の介入なしにターゲットの選択および戦闘が可能なもの」と定義している。

それに対し、半自律型兵器システムは「人間の操縦者によって選択された個別または集団ターゲットのみを相手に戦闘する」とされている。しかし、この半自律型兵器は「戦闘の際の個別もしくは集団ターゲットの選択決定において人間による制御が保持されている」ならば、「戦闘機能の自律性」を発揮することができるのだ。

結果として、半自律型ロボット兵器と自律型ロボット兵器の区分けが曖昧になってしまっている。現在の定義でいけば、どちらも人間によって起動、配備が可能で、攻撃する相手を人間が特定する必要がある。両者の違いはといえば「自律型兵器がどのように、あるいはどの時点で実際に攻撃目標を“選択”または“探知”するか」ということになるのかもしれないが、その点はまったく不明瞭だ。

さらに同指令には「武力の使用に際し、司令官および操縦者が適切な人間的判断を下す」ことが不可欠だと記されている。「適切」「判断」といった言葉は非常に含みがあり、あらゆる文脈においてその意味をめぐって合理的な議論が行われることになるだろう。つまり、何がダメで何がよいのか、その定義をいまよりも明確にわかりやすくする必要があるということだ。

そしてそれが、2つ目の懸念につながる。AIの進歩だ。ラーニングシステムこそコンピューティングと自律性の未来であり、ナヴィゲーションから兵器システムのターゲット認識まで、すべてに有効である。自律型兵器が、人間が選択・認識していない新種の標的への対処法を学習すれば、敵が使用する可能性のあるおとりや偽装、詭計などに引っかからなくなる。しかしそうした新しい能力が生み出す問題点について、現行の政策には回答が示されていない。

現在の米国は、ラーニングシステムの取りうる行動の検証、承認、試験、評価に重点を置いているものの、ラーニングシステムがその予測通りに行動するとは限らない。言い換えれば、その名の通り「学習」を目的として設計され、それゆえ変化してゆくテクノロジーに対しては、旧来の試験や検証、認証といったものが機能しない可能性があるということだ。

解決策のひとつは、オンライン学習とオフライン学習の使用に関して、より具体的な政策を打ち出すことだろう。DARPAによるプロジェクト、「Target Recognition and Adaptation in Contested Environments」（TRACE）の例を考えてみよう。TRACEはディープ・ニューラルネットワークによって、目標捕捉システムが収集する可能性のある合成開口レーダーのデータ（人間の目には目の粗い白黒の3D画像に見える）を分類する。TRACEは人間や既存の機械よりも誤報率が低く、本物の目標のみを認識し、計算処理や索敵における電力消費も低いということになっている。

TRACEの名前の一部でもある「Contested Environments」（交戦環境）という言葉も、またひとつ重要なことを暗示している。TRACEシステムは、敵による通信妨害が起こりうる場所での使用を想定して設計されており、その目的は有人もしくは遠隔操作が行われている敵車両の撃破である。これは、ペンタゴンのプランナーたちが、中国やロシアとの戦争が起こった場合に懸念しているシナリオだ。そしてこのシナリオに対し、TRACEは有益な解決策を示している。人間との通信が遮断されても、AIは作戦を継続し、敵への対抗策を打ち出し、新たな標的を学習し、誘導兵器や徘徊型兵器に搭載されることもできるのだ。

オフラインか、オンラインか

だがそこで問題である。それを実現させるための学習はどこで行うべきなのか？　研究室（オフライン）なのか、それとも戦闘現場（オンライン）なのか？

この違いは非常に大きい。もし学習がオフラインで行われるならば、システムは研究室内でつくられたものに固定され、配備された状態からは学習を継続できない。モデリングやシミュレーションである程度まではテストできるかもしれないが（それも難しい。システムのあらゆる可能性をテストすることは不可能だからだ）、実際に配備されたあとも学習し続けられるシステムほど有用ではない。

仮に配備後も学習を継続できるようにし、それによって誤動作の可能性を減らすことができたとしても、また別の問題が出てくる。それは、人間が意図していないことを学習してしまう可能性を排除できないことだ。これについては、こちらが望まないことをシステムが実行してしまったあと、つまり事後的にしかその事実を知り得ない。そのため、新しい最高司令官たちは、そうしたシステムの製造や実装に関する適否についてなんらかのガイダンスを示すべきである。

アプローチのひとつとしては、自律システムの学習に対する「ネガティヴコントロール」と「ポジティヴコントロール」を組みあわせる方法があるだろう。これは核兵器の設計方法に似たもので、計画通りにしか使用できないうえ、人間の操縦者が兵器の行動を拒否するシステムを内蔵しているのだ。

米国が殺人ロボットに対する政策を明確化することは、次期大統領がこの分野の国際的な議論形成において主導権を握るためにも重要である。もし米国が最初に軍用ロボットに関して確固とした政策を打ち出すことができれば、この分野において大きな影響力を得ることができる。だが世界全体の平和と安定という点では、単独でそれを行うのはマイナスになるかもしれない。

INFORMATION

なぜアメリカはトランプを選んだのか？ 連載「ザ・大統領戦」

米大統領選は、新たなテクノロジーが社会を変えていく現場だ。果たして2016年の大統領選を通して、米国はいかに変容してきたのか？　全米を舞台に立ち現れるさまざまな事象を、デザインシンカー・池田純一が読み解く。

外交政策の3つのステップ

ロボティクスに関する外交は、3つのレヴェルで行われるべきである。

まず、米国はこの分野に関して、パートナー国や同盟国と共通政策の合意形成を行うべきである。西洋のNATO加盟国が、喫緊のサイバー紛争に対して集団的アプローチを採ったのと同じように、AIとロボットについてもそうすべきだ。これは、それぞれの国や国家間同盟にとって重要というだけでなく、より広範囲の国際的議論のための重要な土台づくりにもなる。

2つ目は、同じ目標をもつ地域の多国間グループと協働し、この分野に進出し始めた小国や中堅国が、ロボット兵器の安全性に関する問題をより真剣に考えるよう舵取りをすることだ。

そして3つ目は、これらの土台を基に世界規模での政策や法律決定に働きかけていくことだ。これは、ロシアや中国などに対して影響を与える最良の方法である。

そのための最初の場は、国連で行われる特定通常兵器使用禁止制限条約（CCW）の検討会議だ。CCWは兵器規制における主要な国際条約であり、殺人ロボットについてはすでに過去3年間で3回の議論が行われている。

この戦略を進めていくには、自衛は各国の権利であり、従って国連憲章で保護されている一方で、その防衛の方法（特に自律行動型の兵器に関して）には曖昧な点があることを理解している必要がある。それは軍備競争や人権侵害、意図しないあるいは偶発的な武力行使という新たなリスクまで、あらゆる懸念を生み出す。

したがって焦点を当てるべきは、国際基準をどうすべきかということだ。もし各国がこのテクノロジーを推進していくなら、その開発や使用、規制に関しての明確な政策に同意すべきである。さらに、制御機構（ポジティヴとネガティヴの両方）、兵器評価、信頼構築評価といったものを制度化していく必要がある。

過去に学ぶ

これは、このテクノロジー自体のみならず、それが使用される場所や目標に関する話にもつながってくる。これはサイバー戦争を取り巻く議論でなされてきたことと同じだ。あらゆるサイバー攻撃を止めることは明らかに不可能だが、特定の方法、または特定の標的の攻撃を禁止するという基準をつくることはできる。

ロボット兵器についても同じことがいえるかもしれない。全面的な禁止については国家間で完全な同意に至ることはできないかもしれないが、問題が多すぎる場所や時期については同意できる可能性がある。そうした禁止領域を定めることで、紛争にテクノロジーを巻き込まないようにできるかもしれない。

例えば、システムの悪用や事故が起こりやすい場所、核兵器やその関連施設といったリスクが極めて高い場所、あるいは国際的な公共の場所である宇宙（兵器を使用した場合宇宙ゴミが発生し、あらゆる衛星を危機にさらすことになる）などがそうだ。

こうした取り組みは気が重くなることかもしれないが、米国は新しいテクノロジーと向き合ってきた過去から学べることがあるかもしれない。1世紀前、世界各国は機雷の全面禁止の合意に至ることはできなかったが、特定の機雷とその使用の禁止については合意することができた。現在のロボティクスに関する懸念と同じように、彼らは制御の効かない無繋維の機雷に対して共通の不安を抱えていた。なぜならそれは、機雷の設置国を含むあらゆる船舶を危機にさらすものだったからだ。

そこで、1907年の「ハーグ第8条約」で自動触発海底水雷の敷設に関する条約が制定され、無繋維および設置から1時間以内に無害化しない機雷の使用が禁止された。この条約は現在も有効だ。殺人ロボットに対しても、そうした先見の明が必要である。

次期大統領にとって「ロボティクスと戦争」という課題は避けて通れないものだが、それをチャンスに変えられる可能性はある。新たなテクノロジーに対する米国の政策は、思慮深く戦略的なものになるのだろうか？

RELATED

自律化されたロボットは、「倫理」を問われるだろう

INFORMATION

WIRED TV──新しい映像、新しい物語。ストーリーテリングの新時代

2016年12月10日発売の、雑誌『WIRED』日本版VOL.26。VRやMRが普及しオンライン動画が増殖し続けるなか、映像はいま、何を語り、どんな体験をもたらしうるのか？　VRニュースやVRテーマパーク、AmazonやNetflixといったSVODから、パブリック空間の新しいエンターテインメントやステージデザインをめぐる総力特集！　第2特集は、スイスのイノヴェイションの秘密をひも解く「SWISS MADE INNOVATION」。強化義体世界大会「サイバスロン」の参加チームに密着取材した。そのほか、まもなく任期終了となるバラク・オバマ大統領が「テクノロジーの希望と懸念」を語った対談も掲載！