エラーバーから何が読み取れるか

テーマ:
http://jseyama.blog53.fc2.com/blog-entry-375.html
↑コピペ元

エラーバーから何が読み取れるか?


Cognitive Dailyの記事に、研究者の多くはエラーバーの意味をろくに理解していない、という話がありました(そもそもエラーバーって何だ?という方はこちらの記事をどうぞ。エクセルでエラーバーを表示する方法が知りたいという方はこちらへ。)。
どうやら私自身もエラーバーの意味を理解していないようだったので、記事の元になった論文と、そのまた元になった論文に目を通してみました。

確かに私はエラーバーの意味をろくに理解していなかったようです (^^;





例えば、上の様なグラフがあったとして、何が読み取れるか?
(WBからいきなり「ペガサス級」という言葉を連想してしまったあなたは1960年代生まれ?)

1)エラーバーが95%信頼区間を表しているとすると、その長さ(WAまたはWB)は、標準誤差のだいたい2倍(信頼区間=標本平均±t×標本標準誤差。自由度が10以上だとtがだいたい2なので)。

2)エラーバーが標準誤差だとしたら、それはおおざっぱにいって68%信頼区間と同じ。

3)95%信頼区間を表すエラーバーが、下の図のようにちょうど接していると、AとBの平均値の差が5%水準で有意、と言いたくなるが、実はそれは間違い。



4)95%信頼区間を表すエラーバーWAとWBがだいたい同じ長さだとする。
このとき、エラーバーが半分くらい重なってしまっていると、AとBの平均値には有意な差が無いと思いたくなるかもしれない。
しかし、半分重なっている状態は、大ざっぱにいって5%水準で有意差あり。重なりが無い場合(エラーバーが接している場合)は、だいたい1%水準(0.6%水準)で有意差あり。

5)95%信頼区間を表すエラーバーWAとWBの長さが違う場合、両者の平均の長さをWとすると、Wの半分くらいエラーバーが重なってしまっていても、AとBは大ざっぱにいって5%水準で有意差あり。接していれば1%水準。
ただし、WAとWBの長さが倍以上違っていたり、サンプル数が10より少ないような場合には、このことは成り立たない。

6)エラーバーから条件間に差があるかないかを読み取れるのは、二つの平均値が独立なサンプルな場合、つまり被験者間要因の場合だけ。被験者内要因の場合、エラーバーから条件間の差についてなにも言えない。

エラーバーから何が読み取れるか、については次の論文で解説されています。
Cumming, G., & Finch, S. (2003). Inference by Eye: Confidence intervals and how to read pictures of data. American Psychologist, 60(2), 170-180.

また、心理学や医学の領域の研究者がエラーバーの意味をどれくらい理解しているかを調べたところ、「みーんな誤解していましたー!」という報告をしているのが次の論文です。
Belia, S., Fidler, F., Williams, J., & Cumming, G. (2005). Researchers misunderstand confidence intervals and standard error bars. Psychological Methods, 10(4), 389-396.

特に、95%信頼区間が重なっていなければ5%水準で有意、という誤解(上記の3)が広く信じ込まれてしまっているのだとか。
私も自分の論文のなかで、「95%信頼区間が重なっていなければ有意差ありと見なす」というようなことを書いてしまったことがあるので、この論文を読んだときはヒヤヒヤものでした。
でも、「5%水準で有意差ありと見なす」とは書かなかったので、一応セーフ (^^;

学会発表のときに、エラーバーとして95%信頼区間を示しておいて、「条件AとBが5%水準で有意差ありでした」、と主張したときに、「エラーバーが重なっているのになんで有意差ありなんですか?計算間違ってませんか?」という質問が出たら、その質問者も、エラーバーの意味を誤解している可能性があります。

やっぱ統計って難しいわ。
AD