こんにちは。

　今日は、最近Twitterなどでダニング・クルーガー効果というワードを使って盛大にイキり散らかしてる人たちをよく見かけるので、これ以上恥ずかしい人たちが出ないように、

ダニングクルーガー効果

とその間違いについて、実際の論文と共に猿でもわかるわかりやすさで見ていきます。

　これを機会に、ダニング・クルーガー効果について記事やつぶやき等を書いてしまった人は、ソースも精査せずに情報をネットに書いて、それをもって他人を批判してしまう自分の稚拙さを猛省してネットに流す情報の質について考え直してみてください。

そもそもダニング・クルーガー効果とは

　そもそもダニング・クルーガー効果について知らない人向けに、まずは日本のネット上でよく用いられている「ダニング・クルーガー効果」という単語の使われ方を紹介します。

　現在、Twitterを始めとする日本のSNSではダニング・クルーガー効果は以下のような使われ方がなされています。
・無知な人は無知を自覚してない
・謙虚な人のほうが能力が高い
・初心者は分かった気になる

　私はこの言説が有意な数値を持って科学的に検証されているような使われ方、言われ方をしている事について甚だ疑問に思っていました。

　そこで、今回このダニング・クルーガー効果に関する論文について調べてみました。

　まず、世の中でよく引用されるダニング・クルーガー効果
とか　ダニング・クルーガー曲線と呼ばれるグラフがこちら。

証跡として、Google検索結果も載せておきます。

似たような曲線がたくさんありますね。

　そしてこの曲線について、わけもわからない持論が展開されている記事が沢山あります。

　これらすべてが眉唾を通り越した嘘であるということをこれから説明していきます。

　ダニング・クルーガー効果が嘘である根拠としては大きく分けて以下の2つの理由があります。

・Google検索で出てくるグラフは論文上には記載がない
・グラフの問題を差し置いても、論文の内容自体に大きな問題がある

それぞれについて以下で説明します。

Google検索で出てくるグラフは論文上には記載がない

　まず、ダニングさんとクルーガーさんによって書かれたこれの元凶である論文を見つけてきたので見てみましょう。
リンクは以下に張っておきます。
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.64.2655&rep=rep1&type=pdf

　この論文で行われた実験を簡単に説明すると、
Cornell大学というダニングさんとクルーガーさんが居る大学のある学部の授業で・・・

1. 学生に学力テストを受けてもらう
2. その後、自分が何点ぐらい取れていて、その順位がどのくらいかの自己評価をつけてもらう
3. 実際の順位と自己評価を比較する

という3ステップから成る試みを行っています。

　その他にも、学生がテストが終わった後、自分と同じ能力レンジの別の学生のテストを見せて採点させ、テスト問題等も再び確認させ、改めて自分のテストの出来の評価をさせるという試みもして、色々出しています。

　そして、この論文にはそのテスト結果の4つのグラフが描かれています。
これを一つずつ見ていきましょう。

あれ？？？？おかしくない？？？

こんなグラフどこにも掲載されていないぞ？？
この曲線は一体どこから出たグラフなんですかね？？？　

グラフの問題を差し置いても、論文の内容自体に大きな問題がある

　この論文には以下のヤバめの問題点があります。

・グラフから「能力の低い人が自信過剰である」は言えない
・グラフの精度や母集団、被験者人数、テストの設問数に問題がある

　以下で実際の論文の内容を、修士号を持ち、国際学会での発表や英語論文の発表や受賞を多数経験している(大学の教員レベルではないものの素人よりは幾分かマシである)私の知見を交えて詳細に分析していきます。

縦軸にPercentileを使用することで結論に肯定的なデータに見せかけている

まず私は以下のグラフを見てある疑問を持ちました。

　このグラフを見て、
「能力の低い人が自信過剰である」ってなんで言い切れるの？？？？？？

まず、そもそもこのグラフの見せ方に落とし穴があります。

　こんなグラフを見せられたら、論文やグラフをよく見たことのない人は、
「実際の点数10点なのに自分70点だと思ったのｗｗｗｗ」
っと盛大なダニング・クルーガー勘違いをすることでしょう。

　しかし、これは縦軸がPercentileなので、例えばBottom Quartileの12というのは、12点ではなく、100人中下から数えて12番目の人ということです。

　母数は45人なので実際は下から6番目の人ということです。
（そもそも母数45人って何・・）

　見せ方に問題ありすぎだろこれｗｗｗｗｗ

　何に問題があるのかわからない方のため簡単に説明をします。

　例えばテストの設問が100問あり、100人の生徒が１-100まで全員別々のスコアを取ったとしたら、このグラフは見た目通りの機能をします。（多少同値があってもちゃんと分散していればある程度機能します）

　しかし、テストの設問が20問で、全員が18～11点をスコアした場合どうでしょう。点差があまり開いていないのに、Percentileを用いて学生を並べた場合大いに問題があります。同値同士が分位で区切られてしまう可能性や、そもそも11点の生徒を能力の低い生徒、18点の生徒を能力の高い生徒として取り扱ってよいのかなどの問題はだれでも比較的かんたんに思いつくのではないかと思います。

　仮に上位成績者群は平均17点、下位成績者群は平均11点だとしましょう。下位成績者は自分の点数を14点と自己採点し、20点満点のテストなので、「まあ半分よりは上かな」と見積もります。

　しかし、テストの結果としては11点で最下位、これをPercentileを用いて下から数えてしまうと一番下になります。

　したがって、たった3問自己採点を誤っただけで、その人があたかもものすごく能力は低いけど自己評価は高い人のように「グラフ上では」見えてしまうのです。

　つまり、このグラフは数字を巧妙に使った人を騙す目的で作られたと言っても過言ではない罠です。

　論文をちゃんと読まない人や、斜め読みする人、そもそもPercentileなどの数値表記の意味がわからない人、論文を見て疑問から入らない人は、このグラフを見て盛大に騙され、勘違いをしてしまいます。

　ソースを確認せずにそのまま知識として取り込んでしまう人は、このグラフを見て「調子乗ってるやつは皆馬鹿なんだな」と大いに優越感に浸りながら、この効果を曲解して語り継いでいくことでしょう。

統計の取り方、数値の提示の仕方に問題がある

実験方法（Method)にこうあります

　この実験方法では以下のような問題が発生することを、おそらく現代の真面目な理系学生であれば誰でも思いつくと思います。

・なんで横軸はQuartile（四分位数）を使っていて4単位しかないの？
・生徒の得点数の分散はどれぐらいだったの？
・Cornell大学の生徒の時点でだいぶ母集団にバイアスがかかってるし45人って少なくない？

などなど、素人でもツッコめるツッコミどころが満載です。

ツッコミ所1：四分位数の使い方について
　まず、なぜQuartile（四分位数）を用いた評価を行ったのでしょうか。なんでハズレ値除外やマス層の抽出等の目的で使う四分位数をこの局面で使っているのでしょうか。四分位数を、上位層、中間層、下位層に分ける目的で使うなんて聞いたことがありません。四分位数の使い方が間違っているのではないでしょうか。

　仮に傾向を出したいのであれば、四分位数とパーセンタイルを使わなくても、普通に学生のすべての点数データを並べてグラフにプロットしていけば傾向が言えます。ましてや四分位範囲でデータの中のマス層を絞るような使い方をしていないのであれば、そもそも四分位数である意味がありません。
にもかかわらずこのようなグラフの使い方をあえてしているのは・・・なぜでしょうか。

私にはグラフを操作することによる印象操作にしか見えません。

ツッコミ所2:テストの設問数と生徒の得点の分散について
　論文中のRaw test score　の　Actual　をご覧ください。

　Bottom平均9.2点　Top平均16.4点
そして、このBottomグループとTopグループの分散はなんと・・・

書いてませんｗｗｗｗ
ってかなんだよTopの平均点16,4点って・・・設問数少なすぎでしょ。
おそらく20点満点のテストを行っているような気がします。
こんな少ない設問数と得点の分散の仕方では有意差は出ないでしょう。

ツッコミ所3：母集団バイアスについて
　また、この論文の実験の被験者の母集団にはバイアスがのっていることも伺えます。そもそも同じ大学内の同じ授業を受けている学生なので、ほとんど能力が同じ人間の集団を評価しています。

　こんな母集団では大体生徒は同じぐらいの点数を取りますし、明確なアホと、明確な天才が分かれることはないでしょう。Cornell大生であること、20歳前後の若者の性格的なバイアスも間違いなく乗っているでしょう。

ツッコミ所4：データの総数について
　45人は明らかに有意なデータを取るにしては少ない母数です。
分位ごとに平均を取っており、1分位に対して11名しかデータがないので、1,2名の外れ値に、平均が大きく引っ張られます。学生のしょーもない統計研究じゃないんですから、最低でも500名のデータはほしいところです。

考察と批判

　以上の文句をあえて見て見ぬふりをしてグラフを見た上でも、「点数が低い学生の自己評価は高い」という本論文の結論にはたどりつかないのではと思います。その根拠は以下です。

・点数の低い学生は、予測順位自体は高い評価だが過剰に高い相対評価の予測は立てていない。
・予測順位は中間値より少し上の55~70percentileに集中している
・点数の高い生徒ほど、ちゃんと自身を点数を高く評価している

　自分だったらこのグラフを読んで、
「能力分散が小さい集団では、個人が自身の能力を正確に把握することは難しいため、皆、自身を平均かそれより少し上の評価をする傾向にある」
と結論を出します。
　「能力の低い人が自信過剰である」
みたいな悪意と棘しか無い結論は出しません。

　同じ大学では同じぐらいの学力レベルの人が集められているので、Cornell大学の学生全員が自分のことを、自国の民衆の中では60－70パーセンタイルぐらいの頭の良さだと思っているという、母集団バイアスに起因した自己評価感がある故の結果と分析します。

　中学高校で60－70パーセンタイルぐらいの位置にいる人間だったら、大学でも同じぐらいの能力の人間だと勘違いしちまうよな？

　恐らくですが、Cornell大生という超限定的な要素を取払って、ニューヨーク市民みたいな感じにスコープを拡大したら全く別の傾向が現れるでしょう。

例えばですが、

っと言われたらどうでしょうか。自分の学力、学歴、偏差値並の順位を指しそうだなと予測が付きます。

一方で、同じように東大からFラン大までの大学生を集めて、

このような実験をしたらどうでしょうか。
前者と後者で大分順位予想が変わりそうではないですか？

更に今回の実験では、母集団に同じ大学の生徒を使っているので、母集団の学力レベルはほぼ同等です。すると、もう前提から間違ってそうな気がしませんか？

（※筆者は学歴主義者ではありませんが、あえてテストの点数という内容において、現代社会で明確に階層分けされており、属している階層によって差が付きそうな学歴を例として挙げています）

　私が思うこの研究のクソな所は、学生の自分の順位の算出プロセスを推測できていない点です。学生は以下のプロセスによって自分の順位を予測しています。
1.自分の自己採点での得点(誤差が発生する可能性あり)
2.自己採点の結果をベースに順位予測
3.自己の頭の良さの認知バイアス

１で発生する誤差が2に対して与える影響がどのぐらいであるか。（具体的には1点の誤差が順位予測に与える影響はどれくらいか）に関して一切の考察ができていません。これがなぜ重要かというと、1の影響度があまりにも大きい場合、自分の頭の良さの認知バイアスの研究ではなく、自己採点の誤差と予測順位の相関に関する研究になってしまうからです。

　まあそんなこんなで横軸分解能4のクソみたいなグラフが錬成されたわけなんですが、横軸分解能4のグラフから

こんな曲線は間違っても導き出せないので、そもそもGoogleで「ダニングクルーガー」で検索して大量に出てくる上のグラフが眉唾通り越して大嘘ということがわかります。

（横軸分解能4じゃ二次曲線なのか直線なのか、外れ値なのか分散が単純にでかいだけなのかとか絶対わかりませんよね。）

また、論文のConclusionにはこうあります。

いや、全然自信ないじゃんｗｗｗｗｗ

「論文」という文字を見る時に気をつけてほしいこと

　世の中の皆さんには「論文」という文字を見た時に、以下のことについて気をつけてほしいと思っています。

インフルエンサーがエビデンスに論文を用いた時、内容の脚色に注意する

　最近インフルエンサーがエビデンスに論文を出すことが多くなりましたが、拡大解釈や、独自解釈がひどすぎることが多いので、必ず元の論文を当たってみてください。論文を引用している内容が、特にメッセージ性の強い内容である時は、大体自身が発したメッセージ性の強い発信に信憑性をもたせより多くの人々の信用を得るための道具として用いられている場合です。その場合内容が脚色されていることが多いです。最近は、ひ○ゆき氏などの「なんかそういうデータあるんですか？」がバズったように論文や研究所のデータがしょーもない喧嘩のために用いられることが多くなりました。その際、論文を読んでいるのは素人なので、理解度も素人並みと思っていたほうが良いです。

そもそもの論文の信憑性にも注意する

　私は大学院で（多分そこらへんの修士や博士よりもものすごく）多くの研究発表や論文にふれる機会がありましたが、「本当でござるか？」と思わず声を出してしまうような眉唾ものもかなり混じっていたのを覚えています。

　心理学や社会学、経済学、行動心理学、一部医学のような、社会や生体という物理的に法則性を解明することができていないブラックボックスに対してひたすらに統計的アプローチのみを取る分野の論文は特に怪しい内容が多い傾向にあります。社会学、経済学といった分野において、現代科学では再現不可能な時変の要素が無数にある中で、その無数の制御不可能な大量の変数を野放しにして、とりあえず統計を取るアプローチをするのはおかしいと思っています。（特に行動心理学等は社会の風潮が変わるだけで一変します。）

　Cornell大学というアメリカではそれなりに権威のある大学（日本で言うところの横国レベルでしょうか）の先生レベルでも、内容の怪しい論文は出てくるものなので、論文という単語には是非気をつけていただきたい。

っというか、この論文、イグノーベル賞受けてることからなんとなく予想がつくと思いますが、息抜きとかおふざけで書いて出したものかと思われます。

追記：イグノーベル賞がどうとか言って本記事を批判してた人、イグノーベル賞がおふざけの賞であること理解してますか？

結論

　上記を踏まえて言えることは以下です。

　そもそも内容自体が眉唾っぽいヤバめな論文が、更に誰かの都合の良い用に謎整形されて、出どころの分からない謎グラフや脚色まで追加された上で出回っている。

　これを「なんかそれっぽい名前と論文があるからこれは本当の事なんだろう。」と信用して、ソースも調べずに使ってしまっている人がたくさんいるように思います。

　巷で言われている「ダニング・クルーガーの馬鹿の山」というのはダニング・クルーガー効果を引用した記事やダニング・クルーガー効果を引用してSNSや掲示板等で人を叩いてる人たちの事ですかね？

　結局、人の能力を叩くときに、能力とはかけ離れた「自信」っていう曖昧な指標を使わずに、ちゃんと能力を評価して叩けって話です。

　自分の言葉と物事の尺度、理論と動機でちゃんと相手を殴れるほうが、私としては評価できますね。学術の世界でも同じだと思います。

そもそも、他人の能力の高い低いなんかにかまってる暇があったら、自分の能力を上げる努力をして社会貢献しろよ！！！！！！

論文も読めねぇカス共がよぉ！！！！！！

蛇足（昔話）

　そもそも、高い自己評価をする人は実際に能力の高い人に多い傾向は、この論文のグラフからも言える事実です。

　私は最初にこのダニングクルーガー効果を使って人を叩いてる人を見て、とても嫌な昔の出来事を思い出しました。

　私が小学校の頃好きだった女の子の話です。

　その女の子はある日小学校の水泳大会で優勝しました。しかし、その事を特に大っぴらに自慢し続けていたわけでもないにも関わらず、誰かが先生に嫉妬の声を漏らしたのか、はたまた、先生自身が優秀な生徒が嫌いだったのか、真相はわかりませんが、とにかく先生に後日「自慢するのは良くないことなので自制しなさい」と言われてしまいました。

　私はその後すぐに親の仕事の都合で渡米し、大学生になって日本に帰ってきたのですが、再会したその女の子は完全に自分に自信を失ってしまった突出した能力に欠ける平凡な女の子になっていました。

　小学校の頃成績もクラストップと優秀で、水泳も大会で優勝するレベルだったその女の子は、大人になる頃にはアスリートや、輝かしい経歴の有名大生ではなく、平凡な大学の平凡な女の子になってしまいました。

　もちろん、その女の子が平凡になってしまった理由は、先生の心無い言葉だけではないでしょう。しかし、その先生の一言は、彼女が大人になるまでに自信を失ってしまった要因の一つであることは間違いないと私は思います。

　人間社会は人と人とが相互に連結し、影響を相互に与えることで成り立っている複雑系なので、もし、あの時、先生が「自慢するのは良くないことなので自制しなさい」と女の子に言わなかった世界線があったとしたら、その世界線では女の子はオリンピック選手になっていたかもしれません。

人の発言一つが他人に与える情報や影響力は、皆さんが思っている以上に絶大です。

　日本で使われているダニング・クルーガー効果には、先生がその女の子に言い放った「自慢するのは良くないことなので自制しなさい」に似た意味合いを感じるのでとても不快です。これは才能の芽を潰すのに十分な威力を持った言葉であると思います。

　自分の長所をアピールすると「高慢」と言われて叩かれるような社会は、社会の競争を阻害し、やる気のない共産主義化を進めるので、私は良いとは思いません。

　持論ですが、人は自己顕示欲を満たすという報酬によってのみ能力を成長させ、自己を開花させることの出来る生物だと自分は思っています。（相対評価とか資本主義はそういう報酬を煽る仕組みなので）今のSNSのように、ちょっと強くなった人を、更に強い人や、それを妬む弱者がボコスカ裏で悪口を言ったり叩き散らかすような陰湿な世の中よりも、強くなった分だけ愚直にイキれる世の中のほうがよほど生産的だと思います。

持論

　ちなみに、私は人間の能力なんてちょっとした環境要因で大きく変化するもんだと思ってます。

ちょっとした実話をはさみましょう。

　私が昔勤めていた会社に、何もできない冴えない同期の男が居ました。その男に、ある日なにかの間違いかめちゃくちゃ可愛い彼女ができ、毎週末セックスできるようになりました。その日を堺にその男のパフォーマンスは圧倒的に変わり、その男はめきめきと仕事ができるようになりました。

　私が昔勤めていた会社に、バリバリに仕事のできる幹部候補の課長が居ました。ある日何かをきっかけに妻と離婚し、親権を取られ、毎日の養育費に追われるようになりました。その課長は抜け殻のようになり、高いパフォーマンスを発揮できなくなりました。

さて、上記の両名は果たして現時点での自分の実力を正しく認識することができるのでしょうか。

　元々上位80パーだった人が、ストレスでパフォーマンスが落ちたとき、
元々下位20パーだった人が、何らかのトリガーでやる気に満ち溢れパフォーマンスが上がったとき、その人達は自分の能力を果たして正しく認識できるのでしょうか？

そんな研究やるだけ「無駄」だと思います。

冴えない男に可愛い彼女ができたことも、課長が離婚し親権を取られたことも、それに対して別々の様々な固有の経験をしてきた個体がどのような反応を示すかに関しても、現代科学では物理学的に解明することも再現することも不可能です。

こういった様々な現代科学では解明不能な複雑な要素によって人間のパフォーマンスは著しく変化するものであるのにもかかわらず、それを人間の表面的な性格といった一面によってのみ捉えようという話自体が馬鹿な話です。

ましてや、そのような背景が個体ごとに異なり、その様々な背景を持つ個体の集合が人間社会です。そんな人間の集合体に対して、自信といった一つの物差しとテストのパフォーマンスという結果だけを固定した時に、一意に定まる線形の傾向が現れるでしょうか。世の中の多少数学をかじっている人であれば、この世界の複雑さは大変良く理解していると思いますので、誰でも否定するかと思います。

良い歳になっても「能力は人によって不変で、能力差のあるものである」と考えてる人は底の浅い人生を歩んできたんだなと思って見ています。
人の能力は時変で様々な要素によって左右されますし、観察する側の視点、観点によっても大きく変化するものです。

そもそもネットでの使われ方は論文の検証が正しいと仮定しても大半が間違っているという話

最後にもう一つだけ指摘をしたいと思っています。
ダニングクルーガー効果を

「自己評価の高い人は能力が低い」

っと言ってる人結構な数いる気がするんですが、これに関してはそもそも捉え方が間違っています。

本論文は命題P→Q（必要条件）を

　　「テストの評価が低い人は自己評価が実際のテストの評価よりも高い」
　　「テストの評価が高い人は自己評価が実際のテストの評価よりも低い」

として検証結果を出しています。

一方で逆命題Q→P（十分条件）

　　「自己評価が高い人は実際のテストの評価が低い」

については、まったく証明されていません。

必要条件のみが証明されても、それは必要十分条件とはなりえません。

　なんなら、本論文のグラフを用いて各Quartileの自己評価の値を比較すると、自己評価が相対的に高い人はちゃんとテストの得点が高く、自己評価が相対的に低い人はちゃんとテストの得点が低いです。

つまり、

「自己評価の高い人は能力が低い」

なんてダニング・クルーガー効果では一言も言われていないんです。

ですので、
「自己評価の高い人は能力が低い、こいつはダニング・クルーガー効果で自分は頭いいと思ってる馬鹿だ！」

とか言ってる人がいたら、あなたは必要条件、十分条件、必要十分条件みたいな中学高校の数学からやり直したほうがいいと言ってあげてください。

いかがでしたでしょうか。

（これやってみたかったんですよね）

　最近SNSでは、科学的な事実に基づく根拠があるようで、実はそれっぽい眉唾のルサンチマンや悪共感を煽って強者を叩くような内容のコンテンツがバズる事例が多い気がします。

　これは、過去にテレビやニュースが散々視聴率を稼ぐために使ってきた手法であり、私はネットの第2のテレビメディア化が進んでいると思っています。ネットで手に入る情報もそのうちテレビと変わらない情報の質になってしまうのではないかと危惧しています。

（もう既にGoogle検索やTwitterはダメだと思っています）

以上！

　最後に、ダニングクルーガー効果について間違った事を熱弁してる動画や記事たちを貼っておきます。

コロナで有名になった某医療系インフルエンサー
ある程度数値に詳しい人だったら、このグラフの異常性には気がつくはずですが。医者ではないのでしょうか。

（余談ですが、医者は全員博士号持ちですが、理数系の博士に数値の読み方や論理性で圧倒的に劣る人が多い印象です。医者は医者になる過程で付け焼き刃的に博士号取得があるので、数値に弱い人、論理に弱い人多すぎかなと思います。医者になるためだけに研究もしない人間にPh.D.取らせるのはやめたらいいのにと私は思っています。）

茂木健一郎氏の動画

なんかこういう知識系有名人とかも信じて言っちゃってるあたり、変わるんだろうなって思います。

https://www.youtube.com/watch?v=alLzdm59SBE

　この人は実体験としてダニングクルーガー効果を語っていますが、無能を自覚しないまま突っ走った自分が今の有能な自分を構成していることに気がついていません。最初から自分の無能を自覚していたら、そこで足を止めてしまっていたことでしょう。　ちょっとデキるようになってきた時の謎のやる気、できる感こそがその人の能力を開花させる原動力だと私は思っています。そこで自覚をして立ち止まったり、ダニングクルーガー大好きマンのような他人にへし折られた人は、前に進めません。

追記
ダニングクルーガー効果、ようやく色々否定されてるっぽいです。
https://www.sciencedirect.com/science/article/abs/pii/S0160289620300271

ブロガーなんて皆いい歳なんだから、他人を潰す観点ではなく、人を育てる観点で世の中の物を見ような。

育ててる側からしたらだいぶいい迷惑だぞ。

以上！

追記2：そもそもネットに出てくる前の嘘の出処について
　ダニング・クルーガー効果、結構高学歴の人が語っている事が多い印象を受けました。そこで、私の友人にどこでそれを始めて知ったのかを聞いてみた結果、進学校の高校の壁に学生を律するためのポスターとしてダニング・クルーガー効果とその簡易的な（間違った）説明が貼ってあったそうです。

子供を騙すのは簡単なので、教育の効果とは恐ろしいものですね。