今回は比率の差の検定について解説したいと思います。
フィット・過積載検証を例に説明します。
この動画では、出撃艦隊・支援艦隊それぞれでフィット・過積載砲の命中率を比較しています。
最初は出撃艦隊の方で説明します。霧島改二Lv99赤疲労1-1-1で命中検証をしたところ、46㎝砲4積みの場合は砲撃500回中112回命中、35.6㎝砲4積みの場合は砲撃503回中250回命中という検証結果になりました。この2つの装備の間で、実際に命中率に差はあるのでしょうか。
Rでは以下のようにしてこれを計算できます。
prop.test(c(112, 250), c(500, 503))
まずは緑枠で囲った部分を見てください。これはp値と呼ばれるものです。これは仮に46cm砲と35.6cm砲との間で実際の命中率が変わらないとしたときに、今回の検証結果のような差が偶然生まれる確率を表しています。今回はp値が2.2e-16未満となっています。e-16は10の-16乗を表しているので2.2×10^-16、つまり2.2京分の1程度の確率ということになります。ここまで確率が低いので、実際には命中率に差があるだろうと考えることができます。一般的には、このp値が5%以下であれば差があると考えます。これを有意水準5%で有意差ありという言い方をします。
次は赤枠で囲った部分を見てください。これは46㎝砲と35.6㎝砲との命中率の差の95%信頼区間です。つまり、実際の命中率にはおおよそ21.40681%以上33.19740%以下の差があることがわかります。
同様に支援艦隊の方で説明します。金剛型改二の砲撃支援で命中検証をしたところ、46㎝4積みの場合は砲撃300回中104回命中、35.6cm砲4積みの場合は砲撃300回中96回命中という検証結果になりました。
これもRで計算すると以下のようになります。
prop.test(c(104, 96), c(300, 300))
p値は0.5444となりました。これは、46cm砲と35.6cm砲との間で今回の検証結果のような差が54.44%で起きることを表しています。p値が5%以下になりませんでしたので、有意差ありとはなりませんでした。ここで注意してもらいたいのですが、p値が5%以上だからといって、実際の命中率に差がないかどうかはわかりません。なぜなら比率の差の検定では、実際に命中率に差がないのか、それとも試行回数が少ないだけなのかの区別がつかないからです。比率の差の検定では2つの命中率に差があることは言えても、差がないことは言えないことに注意してください。
2つの命中率の差の95%信頼区間は-5.207553%以上10.540887%以下となっています。
このように、比率の差の検定を使えば2つの確率の差について調べることができます。なお、たまに第2回で説明した95%信頼区間を2つの確率それぞれに対して計算し、2つの95%信頼区間を比較し、信頼区間が離れていれば差がある、離れていなければ差がないと判断される例が見受けられます。しかし、これは信頼区間の使い方としては間違っています。確率の差を比較したい場合は、必ず比率の差の検定をするようにしてください。
比率の差の検定の説明は以上です。皆さんもぜひ試してみてください。