そもそもeffect sizeとは何か

これって実は他に表現のしようがなくて、「母集団における効果の大きさ」としか言いようがないんですよね（汗）。ただ、こいつは実は未知母数みたいな扱いをされるべきもので、しかも実測値を積極的に求めに行くというよりも、むしろeffect sizeとは「仮想上の未知母数として定めた上でその前提に基づいて実験計画を立てる」ためのもの、と見た方が良いのだと思います。

実際、得られた標本から直でeffect sizeを求めるようなケースがあっても、メタアナリシス以外のケースでそれ単体で何かするということはない印象です*3。ちなみにメタアナリシスについて、web上で参照できるノートと言えば古典ですがこちらが有名です。

• メタアナリシス　meta-analysis

下手にWikipediaとか見るよりも、こちらにちゃんとeffect sizeの統合の仕方とか正しいeffect sizeの求め方とか*4紹介されているので、単純に知識を得たい人には個人的にはこちらの方がお薦めです。

Effect sizeとはどうやって使うものなのか

先日のTokyoRで話した流れに沿って言えば*5、こんな感じになると思います。

1. あらかじめ実験or測定する前から、想定される母集団に「○○ぐらいの大きさのeffect sizeがあるはずだ」という仮定を置く
2. 仮定したeffect sizeのもとで、最小限となるサンプルサイズを決定する
3. そのサンプルサイズのもとで実験or測定し、対立仮説が採択されれば「○○ほどのeffect sizeを伴う効果があった」と推定する
4. 逆に帰無仮説が採択されれば「effect sizeが○○ほどなかった」と推定する

もっとメタな概念として言ってしまうと、「今相手にしている母集団には有意な効果があるとしたら○○ぐらいのeffect sizeがあるはずだ！そうでないなら検定で引っ掛からなくてもおｋ！」みたいな「信条」を置くってことですね。そうすることで、積極的に必要なサンプルサイズを決めるための基準が生まれるというわけです*6。一般に、

• Effect sizeが大きければそれだけ第二種の過誤に至るような偏ったサンプルをつかまされることは少なく、その分サンプルサイズは小さめでもOK
• Effect sizeが小さければ逆に第二種の過誤に至るような偏ったサンプルをつかまされやすく、それを避けるためにもサンプルサイズは大きめにすべし

ということが言えるので、これは完全に検定力分析の考え方と表裏一体の関係にあります。なのですが。そんなこと言われても、普通の人にとってはそもそものeffect sizeの定義を知らないと使いようがないと思うのです。端的に言えば、特にCohen's dと称される等分散な2群の平均値の差のt検定におけるeffect sizeは

d = [標本平均の差の絶対値] / [Common error variance（対照群の標準偏差で代用されることもある）]

で表されます。つまりこれは「測定単位とは無関係に2群で共通化された標準偏差で正規化した『平均値の差の大きさ』」であり、言い換えると「平均値の差を生み出す効果の大きさ」と見て良いと思います。これの大小で、先ほどの「信条」を決めてサンプルサイズを決めよう！というのが、この辺のもろもろを含めた検定力分析の考え方なんですね。

ところで、Cohenがどうのこうのと聞いて何じゃらほい？と思った方はこちらの書籍をどうぞ。

Statistical Power Analysis for the Behavioral Sciences

• 作者: Jacob Cohen
• 出版社/メーカー: Routledge
• 発売日: 1988/01/15
• メディア: ハードカバー
• 購入: 1人 クリック: 35回
• この商品を含むブログ (1件) を見る

これはJacob Cohenによる検定力分析に関する大著なんですが、彼が提唱したのがいわゆる「Cohenのeffect size」というやつなんですね。Rの{pwr}パッケージでは以下の関数で検定力分析を行うことができるんですが、

それぞれに用いるべきCohenのeffect sizeは実はcohen.ES()関数で呼び出すことができます。ただし、これは単なるデータテーブルを読み出すだけの関数で、全部書き出すと以下のようになります。

この分類に従って、「この母集団のeffect sizeは大きそうかな～、小さそうかな～」と仮定を置いてサンプルサイズの決め方を考えれば良いということですね。ところで、effect sizeについて触れた和書って長らくなかったと思うんですが、Twitter上でこちらの書籍が最近出て評判が良いと聞いたので、未見ながら一応挙げておきます。

伝えるための心理統計: 効果量・信頼区間・検定力

• 作者: 大久保街亜,岡田謙介
• 出版社/メーカー: 勁草書房
• 発売日: 2012/01/26
• メディア: 単行本
• 購入: 9人 クリック: 164回
• この商品を含むブログ (13件) を見る

多分こちらの書籍を当たられた方が、こんな僕なんぞのいい加減なブログ記事よりも参考になるのではないかと思いますので（笑）、さらに深く勉強されたいという方はお試しあれ*7。

ところでeffect sizeの実測値はどう求めるのか

とまぁ色々書いてきましたが、既に触れた通りメタアナリシスなどが必要なケースでは、effect sizeの実測値がないと議論にもならないことが多々あるわけです。実際、心理統計や計量社会学の世界などではeffect sizeを報告せよと論文投稿時に要求されることもあると聞きます。

「Effect sizeが小さく、取るに足らない些細な効果を、不必要に馬鹿でかいサンプルサイズで無理やり検出してないかどうか」「effect sizeが大きいと見込まれ、サンプルサイズも十分に大きいのに、帰無仮説が採択されるような不自然な比較をしてないかどうか」みたいなことを、おそらく問われるんじゃないかと思うのです。そういうメタなレベルでの妥当性を判定するためにeffect sizeが用いられるというのには、納得がいきますね。

全部挙げていくとキリがないので、2群の平均値の差のt検定におけるCohen's dをRコードで直接求める方法を以下に紹介しておきます。

• r - Estimate Cohen's d for effect size - Stack Overflow

> set.seed(45)  # 単に再現性を出すため
> x <- rnorm(10, 10, 1)                
> y <- rnorm(10, 5, 5)
> 
> cohens_d <- function(x, y) {
+     lx <- length(x)- 1
+     ly <- length(y)- 1
+     md  <- abs(mean(x) - mean(y)) # 平均値の差
+     csd <- lx * var(x) + ly * var(y)
+     csd <- csd/(lx + ly)
+     csd <- sqrt(csd)  # Common error varianceはこれで出せる
+     
+     cd  <- md/csd  # これでCohen’s dが求まる
+ }
> res <- cohens_d(x, y)
> res
[1] 0.5199662 # 0.5はCohen’s dとしては結構デカい方

ちなみに求めるための式を厳密に書き出すとこうなります。

ただし

おそらく僕が知らないだけで、様々なeffect sizeの実測値を直接求めるCRANパッケージって探せば結構色々あるんじゃないでしょうか。例えば、カイ二乗検定であれば{vcd}パッケージで直接求められます。

• Statistics for HCI Research: Chi-square, Fisher's exact, and McNemar's test

ただし求まるのはCramer's Vみたいです。Cohenの提唱したもの以外にも様々なeffect sizeの定義があり、大体どの資料でも「Cohenのeffect sizeはあくまでもラフな目安であり絶対的なものではない」と断り書きがついているので、皆さん自身の目的に合ったものを調べてみるのが良いと思います。

最後に

今回はまとまった文献を参照しなかったので、代わりに参考にした短い資料を列挙しておきます。

• Rによる統計的検定: 独立な2群の比率差の検定
• wikipedia:en:Statistical_power
• wikipedia:en:Effect_size
• Quick-R: Power Analysis
• 検定力分析 by 葛西俊治2011

あと、Twitterでもよくお世話になってる@smrmktさんの記事はシンプルかつコンパクトで分かりやすいかと。

• 施策の効果をどうやって測るか(2) - 検出力と効果量 - About connecting the dots.

本当はこの記事にかこつけて色々書かせていただくつもりだったのが、気が付いたらTokyoRの講師引き受けたりして話が膨らんでしまったので、いつの間にやらeffect sizeの話ばかり長々とやることになってしまったのでした。。。ということでお後がよろしいようで。