35歳から学び始める統計学の第２弾になります。
第１弾は「統計調査」について学びました。
第２弾の本日アウトプットしていく統計学知識は、次のことについてです。
☑ 恣意的抽出の危険性
ここでは、抽出とは何か。恣意的とはどういった状態なのか。などの初歩的な知識から、統計データを読み込む上で欠かせない"標本抽出に関する注意点"をできるだけ深く掘り下げていきたいと思います。
インチキ統計学に騙されないためにも、本日の内容は非常に重要ですので、一緒に確認していきましょう。
無作為抽出の重要性
全数調査 vs 標本調査でも述べましたが、統計的な分析を行う上で、全数調査は正確なデータを得やすい反面、時間や費用がかかるため、多くの調査では標本調査が主流となります。
標本調査の目的は、ターゲットとなる母集団から一部の標本を抽出することで、ターゲットの特徴を読み解いていくことであるため、標本をどのように抽出するかが鍵となってきます。
上図の主婦のように、スープの味を確認するのに、鍋いっぱいのスープを全部飲み干す人はいません。鍋の中のスープがよくかき混ぜられているならば、たったスプーン１杯の味見で鍋全体の味を予想することができます。
これを標本調査に当てはめると、鍋全体のスープが母集団となり、スプーン１杯の味見が標本に該当します。（統計学では、標本を選んでくる作業のことを「抽出」と呼びます。）
そして、標本調査が目的を達成するためには、スプーン１杯の味見にあたる標本を母集団から「無作為」に選ぶことができるかどうかにかかってくるのです。
先ほどの例でいえば、よくかき混ぜられた鍋から取り出したスプーン１杯には、鍋全体の様子がきちんと反映されているように、無作為に抽出された標本にも母集団の特徴が反映されることにつながるわけです。
一方、意図的にせよ、意図的ではないにせよ、偏った標本を抽出してしまうことで、分析した結果は、意味のない結論へつながるばかりか、それ以上に恐ろしい間違った結論に結び付くことさえありえることを頭に入れておきましょう。
恣意的抽出の危険性
恣意的とは、無作為や意図がないの反対の状態を表します。つまり、恣意的抽出とは、意図的に偏った標本を取り出すことを意味します。
例えば、CMやチラシでよく目にする商品の満足度ですが、こうした調査の一部は、調査元が「自社の研究所」であることが間々あります。
自社の製品を自社が調査するわけですから、こうした調査ではアンケートをお願いする相手を作為的に自社に対して友好的な人物を選ぶことは簡単し、モノや謝礼で結果を誘導することも可能なため、あまり信用しないほうが得策かもしれません。
恣意が無ければ、無作為なのか
そして、ここが非常に重要なところなのですが、標本調査において、恣意が働かない場合であっても、無作為抽出を行うことは非常に難しいとされています。
つまり、恣意的抽出ではないからといって無作為抽出ができているとは限らないというわけです。
「恣意的抽出ではないからといって無作為抽出ができているとは限らない」と聞いてすんなりこのフレーズの真意が落とし込める方は、統計学の知識が多少なりとも身になっている方ではないでしょうか。
多くの方は、このフレーズを聞いて「？」が頭に浮かんだはずです。そこでこのフレーズの真意を、昨年行われたアメリカの大統領選挙を例に挙げ、説明してみたいと思います。
画像引用：【写真特集】アメリカ大統領選 より
昨年行われたアメリカ大統領選挙において、事前の世論調査は常にヒラリー・クリントン有利の報道が続いていました。解説者によっては、絶対にトランプの当選はあり得ないとまで言い切っていましたよね。
結果は、ご存じのとおりドナルド・トランプの勝利で幕を閉じたわけですが、果たしてなぜ各種メディアはトランプ氏の当選を予想できなかったのでしょうか。
その要因としては、事前の世論調査が都市部を中心に行われた調査であり、トランプを支持していた田舎に住む貧困層の白人達の民意を反映した調査ではなかったことが指摘されています。
同じような抽出ミスは過去にも起こっています。
1936年のアメリカ大統領選挙の結果予想時にダイジェストという雑誌社は、200万人もの模擬投票結果をもとに大統領当選者の予想を高々と宣言したものの、当選者を見事に外しています。
このとき行われた標本調査のミスは、ダイジェストが模擬投票を上流階級の高年齢男性に偏った状態で行っていたことに寄ります。
いずれの世論調査においても、恣意的抽出を行う必要性はないはずで（メディアがトランプの不利を演出したかったという側面は否めないにしても）、無作為抽出を目指して調査が行われたにも関わらず、無作為抽出に失敗している例として歴史に刻まれています。
このように標本調査には、
- 恣意的抽出による悪意ある調査
- 悪意はないが、無作為抽出できなかった調査
の2種類のミスが混在しており、ときとして悪魔的な調査員がこの2つを使い分けていることがあるのです。
無作為抽出ができたとしても…
さらに、もうひとつ標本調査には問題が潜んでいます。
仮に、恣意的抽出ではなく無作為抽出による調査がきちんと行われた場合であったとしても、抽出された標本数が少ない場合、得られた結果は信用できないことが知られています。
例えば、ある法案において賛成と反対がちょうど半々である100万人の母集団（50万人が賛成、50万人が反対）から、10人という標本を無作為抽出で選び出してアンケートを実施したとします。
本来、賛成と反対がちょうど半々の母集団から無作為抽出した標本であれば、この10人のアンケート結果も賛成と反対がちょうど半々になってくれるはずです。
しかし、たかだか10人の標本の場合、取り出される標本の状態と出現確率は以下のようになります。
この表を見る限り、母集団の特徴を正確に反映した標本を抽出できる確率は25％にも満たず、さらに、賛成9人・反対1人という極端なアンケート結果を得る可能性もそれなりに高いことが確認できます。
つまり、抽出される標本数が少ない調査は、非常に危険な調査であると認識しておく必要があるわけです。
ちなみに、通常の世論調査では、1000くらいの標本が必要であるといわれています。1000ほどの標本数を無作為抽出で取り出すことができれば、母集団の特徴を95％程度（標本比率±3%）の確率で読み解くことができることになります。
本日学んだ統計学の知識
統計データを参考にして、アクションを起こすなら
- 標本は、無作為抽出されているか
- 標本の大きさ（数）は、適切なのか
という2点については、特に注意する必要があることを学びました。
調査によっては、恣意的な抽出を隠すためにもこれらの情報を隠して結果のみを公表しているケースもあるため、まさにタイトルにある悪魔より恐ろしい調査が横行しているともいえます。
次回は、正しい調査で得られたデータであったとしても、間違った分析を行ってしまうケースがあることを学んでいきたいと思います。
本日の参考文献
統計学の知識がなくても、具体的な例を用いて、世の中に溢れるインチキ統計データを読み解くポイントを解説してくれています。