確率的なAIの陥穽：ファットテール
しかし、自動運転車に搭載されたカルマン・フィルターのような「確率的なAI」（各種センサーで計測した位置情報などビッグデータを統計的に処理することから、「統計的なAI」とも呼ばれる）は、原理的な問題を抱えている。
それは「ファットテール（Fat Tail）」と呼ばれる問題だ（図3）。
ファットテールは「理論と現実との微妙だが、極めて重大なズレ」を指す用語だ。私たちの生きる世界で起きる確率的な事象を表現するためには、一般に（前述の）正規分布曲線が使われることが多い。つまり正規分布曲線とは、この世界を確率的に記述するための理論である。
ところが現実世界は、この正規分布曲線からは微妙にずれている。それは釣鐘型に広がる端（テール）の部分だ。図3を使って説明すると、青色の正規分布曲線（理論）では端の部分の確率は限りなくゼロに近い。つまり「事実上は起こり得ない事象」と見なされる。
これに対し現実世界の確率的事象を表現する曲線は、実は赤色の曲線であることが経験的に知られている。この曲線の場合、端の部分の確率がゼロよりも、かなり大きい。つまり「正規分布（理論）上は起こり得ない」とされることが、現実世界では意外に高い確率で起きるのである。
このように端（テール）の確率がゼロより十分大きく、視覚的には厚み（太さ）を帯びて見えることから、現実世界を記述する赤色の曲線は通称「ファットテール（太い端）」曲線と呼ばれる。
以上のような「理論（正規分布曲線）と現実（ファットテール曲線）とのズレ」がしばしば問題となるのは世界的な金融市場である。そこで取引される「デリバティブ」など複雑な金融商品は、たとえば「ブラック・ショールズ方程式」など、いわゆる金融工学によって開発されている。
この金融工学は正規分布曲線を理論的な礎にして構築されているが、前述の通り現実世界はファットテール曲線に従っている。そのため、両者のズレが、周期的に発生する世界的な金融恐慌の原因となっている。
たとえば2008年に世界の金融市場を崩壊させた「リーマン・ショック」は、米国の「サブプライム・ローン破綻」を引き金に起きた。
このサブプライム・ローン破綻のような事態は（正規分布に従う）金融工学上は「100万年に一度の事象」とされていた。つまり正規分布曲線のテール部分に位置する、「（確率ゼロに限りなく近い）実際には起こり得ない事象」と仮定されていたのだ。しかし実際には起きてしまった。
あるいは1997年の「巨大ヘッジファンドLTCM破綻」を引き起こした「ロシアのデフォルト（債務不履行）」、さらには1987年の「ブラック・マンデー」など、いずれも金融工学（正規分布）上は「100万年に一度」しか起きないような異常事態が、実際には「10年に一度」ぐらいの確率（ファットテール）で起きている。これが世界的な金融恐慌を周期的に引き起こす主な要因となっているのだ。
さて、ここで問題は、自動運転車も正規分布曲線をベースとする確率的な状況判断を行っている以上、原理的には上記「金融市場の破綻」のような深刻なトラブルに見舞われることが、（ある程度の確率で）免れ得ないということだ。それは以下の図で説明すると理解しやすいだろう。
図4に記された「矢印の推移」は、自動運転車の目（車載のビデオカメラやレーダーなど各種センサー）から見た、周囲の移動体（たとえば他のクルマX）の居場所を示している。ここから読みとれるのは、「このクルマXは明らかに等速直線運動をしている」ということだ。
そこで自動運転車（に搭載された人工知能カルマン・フィルター）は次のような予測を行う：
「となると（これまでと同じ時間間隔を置いた）T=t4の時点では、このクルマXはこの直線上で、これまでと同じ距離間隔を置いた前方のA地点にいるはずだ」
この「同じ距離間隔を置いた前方のA地点」とは、正規分布（図4における青色の曲線）上はピーク確率に該当する。つまりクルマXはA地点に移動している確率が最も高いので、自動運転車はクルマXとの衝突を回避するため、A地点には決して行こうとはしない。
この判断は間違っていない。それどころか、比較的容易に判断し得るケースである。
問題は、自動運転車がもっと微妙な判断を求められるケースだ。たとえば、それまで等速直線運動をしていたクルマXが突如、変速ギアをバックに入れて逆走し、B地点に達するといったケースだ。
これは図4における正規分布（青色の曲線）上ではテール（端）の部分に該当する。このB地点にクルマXが移動している確率は（正規分布上は）ほぼゼロに近い。だから自動運転車は「このB地点に行っても、クルマXと衝突することは多分ないだろう」と判断する。
ところが（繰り返しになるが）現実世界で起きる事象は、実際には青色の正規分布曲線ではなく赤色のファットテール曲線に従う。つまりテール（端）の部分に該当するB地点に、クルマXが移動している確率は「ゼロよりは、ずっと大きい」のである（図5）。
言い換えれば、「等速直線運動をしていたクルマXが突如、ギアをバックに入れて逆走し、B地点に達する」といった事態は、自動運転車（に搭載されている人工知能カルマン・フィルター）が算出した確率（限りなくゼロに近い）よりも、ずっと高い確率で起きる。したがって、自動運転車がウッカリB地点に移動してしまうと、クルマXと衝突してしまう。
つまり（それほど頻繁にではないが、ある程度の確率で）自動運転車が事故を起こすのは、（正規分布に従って、確率的な判断を行う人工知能を採用している以上は）原理的に不可避なのだ。