p値の完全解説【保存版】

研究をする方は、p値（p value）とはよく向き合うと思います。p<0.05なら差がある、p≥0.05なら差がない。だいたい差を証明したいので、「p<0.05、よっしゃー！」という感じだと思います。

一方、「p値だけみるのは駄目だ！」という偉い人の意見も聞いたことがあるかもしれません。

あなたはきちんとp値の意味を解釈できますか？

この記事では、p値の正しい解釈、歴史、実践的解釈の順に完全解説をしていきます。

p値の解釈を極めましょう。

 

*簡略のため、この記事ではone-sidedとtwo-sidedについては無視します。そして、使用している統計モデルが正しくバイアスが無い前提です。

 

 

p値の解釈とは？

 

Question: 30人のクラスが2つありました。クラスAとクラスB。全員の握力を測定、クラスAの平均は30kg、クラスBの平均は35kgでした。握力はクラスBの方がクラスAより高い、と言えるでしょうか？

**********

こういう疑問に答えるのがp値。クラスメンバーそれぞれの握力データがあると、統計ソフトで簡単にp値を計算できます。p値＜0.05だと、「握力はクラスBの方がクラスAより高い、と言える！」と結論している人がほとんどだと思います。

しかし！！これではp値の本質が理解できません。

 

正確には、

「真実は ‘クラスAとクラスBの握力が同じである’ としたら、握力がクラスAとクラスBでこれほどの違い（平均5kg以上の差）が認められる確率」がp値なのです。

p=0.03であれば、「こんなにクラス間で差があるのに、実はクラス間の握力が同じ確率は3%だ」ということです。

 

 

 

α＝0.05とは？

αとはp値のカットオフのことです。

α=0.05の場合、「真実は ‘クラスAとクラスBの握力が同じである’ 時に、握力がクラスAとクラスBでこれほどの違い（平均5kg以上の差）が認められる確率」が5%未満であれば、その5%は無視するに足ると考える、ということです。

その場合「‘クラスAとクラスBの握力が同じである’という事が真実だとは考えにくい」と考えて「真実は‘クラスAとクラスBの握力が異なる’」と考える、という意味です。

（回りくどい表現になってしまいました....笑）

 

 

 

 

α＝0.05が妥当か？：批判的意見

0.05をp値のカットオフとしてしまうと、いくつか問題があります。

この問題は、例えばStanford大学の疫学グループのヘッド、John Ioannidisという教授が、権威ある医学雑誌で繰り返し主張しています（Eur Heart J. 2019;40(31):2553–2554., Eur Heart J. 2019;40(31):2555–2556.等）。

 

******

 

全て正しい批判です。John Ioannidisらはこれらを定量的に解析し、「α＝0.05は妥当でない。α＝0.005（や0.001）というカットオフが妥当だ」と主張します。

Table 1からp値が消えた経緯もこれに準ずるでしょう（Table 1についてはこちら参照）。

 

 

大事なポイント

もともとは「今後α＝0.005となるかは、おそらく本質的な議論ではありません」とここに書いていましたが、理論的背景を知っていくにつれ、考え方が変わってきました。

本質的な事は、「p値がどういう意味合いなのか」を理解することにあります。

 

 

おそらく、p<0.05をカットオフとして支持する人は、「p値の解釈＝type 1 error rate、つまりαの解釈」としている人だと思います。

でも違います。

この理解が大事です。

 

 

引き続き、この一見意味不明な議論を解説していきます。

まずは、P値の提唱者等のことを知りましょう。

 

 

結論【解釈編】

p値とは、「本当は差がないのに、この研究で認められた程以上の差が出てしまう確率」で、それ以上でも以下でもありません。

α：本当は真なのに誤って有意でないとしてしまう確率、とは異なります。

これを理解し、論文の批評や自分の研究に活かしましょう。

 

 

p値開発の歴史を知る

「帰無仮説が成り立つとした時に、今ある結果もしくはそれより極端な結果が認められる確率」がp値の定義、ということでした。

それがわかった上で、実践的にはどう解釈したらよいのか？

p値が表すことを理解するには、その歴史、帰納法/演繹法的な考え方、仮説検定との関連、likelihoodとの関連、Bayes統計、などを結びつける必要があります。

この記事ではこれらを説明し、「p値とは何か」について完全に理解することを目指します。

 

 

 

p値はFisherが開発した

ロナルド・フィッシャー（1890-1962）、Father of modern statisticsと呼ばれている人です。

彼は数学者でありながら、「数学の実践への応用」を非常に重視した人で、数学という抽象的な概念を使って実際のデータに何らかの結論を出す事を目指しました。

 

ベイズの定理というものがありますが、これは検査前確率を検査後確率に変換するもの。

実際ほとんどの場合、検査前確率はわからないので、ベイズの定理は実践的でない（とFisherは思っていた）。

彼は「検査前確率の必要のない統計推論」に強い興味があり、結果p値を開発したのです。

*最初にp値を使ったわけではありませんが、fisherが初めてその論理的背景をはっきり確立しました。

 

 

Fisherのp値の定義

Fisherのp値の定義は今と同じです。

「帰無仮説が成り立つとした時に、今ある結果もしくはそれより極端な結果が認められる確率」

 

Fisherは常に実践への応用が念頭にありました。

彼はp値を「significance probability」と呼び、「p値が小さければ帰無仮説を棄却する」という考えに基づいていました。

 

なんだ、今のと同じじゃん

と思うかもしれませんが、実は少し違います！！

 

 

これがp値を開発した方のp値の解釈でした。

 

 

NeymanとPearsonの仮説検定

type 1 error, type 2 error, 対立仮説、という考え方は、Fisherは持ち合わせていませんでした。

これらを作り上げたのが、NeymanとPearson。

彼らは「仮説検定」という理論を打ち立てました。

これは次のようなもの。

 

type 1 error rateとは、本当は帰無仮説が正しいのに、誤って「正しくない」と結論してしまう確率。

type 2 error rateとは、本当は帰無仮説が誤りなのに、誤って「正しい」と結論してしまう確率。

これを元に・・・

👇

 

事前にαを設定するという所がみそです。

p値はαの閾値を超えるか超えないかだけで判断されます。

そして、p値をαとして解釈するのは誤っています。これが超超重要！！！！！

 

ここで勘の良い方は、「帰無仮説はrejectされないだけでacceptはされないんでないの？」と思うかと思います。

その考え方は、（対立仮説という概念がない）Fisherの考え方なのです。

Neyman-Pearsonの仮説検定の枠組みでは、帰無仮説がacceptされます。

 

 

Neyman-Pearsonの仮説検定は物事を単純化しすぎでは？

仮説検定のポイントは、p値や他の値がなんであれ、「帰無仮説と対立仮説のどちらかをacceptする」という結論のみが重要だ、という点にあります。

これは流石に単純化しすぎではないか？

実はNeymanとPearsonもそのことに気づいていました。

 

ここからは少し抽象的・哲学的な話になってきますが、それこそがp値を理解する上で重要なポイントです。

 

******

NeymanとPearsonはこのように考えていました：

つまり、

「（そのデータを基にした）p値だけで、帰無仮説（あるいは対立仮説）が真実かはわからない」

ということを主張しているのです！！

仮説検定という枠組みを作っておきながら！！！！

 

じゃあp値や仮説検定は何なの？？？

彼らはこんな説明をしています：

 

意味わかったでしょうか？

噛み砕くと、仮説検定に基づいてある仮説＝真実と捉えることは、学問的な考え方（reasoning）ではない、という主張です。

統計は勿論学問ですが、いろんなプロセスの結果、「仮説の真実の是非を判断する」というのはreasoningに基づくものでなく、人が勝手に判断するものだ、ということ。

 

 

Fisherはムカついた

Fisherは怒り心頭でした。

だって彼は、実践的な応用をみこして、p値を学問的なものとして開発していたから。

そのp値を使って「仮説検定」を開発した人が、「そんなの（学問的な）推論でなく人の行為に過ぎない」と言っているから。

 

また、p値が仮説検定（yes/noの判断）に使われ、p値の意味がほぼどうでもよくなってしまうことを危惧していました。

今やそのとおりになってしまっていますね・・・

 

 

****

以上、p値が開発された歴史でした。

最終章は、更によりp値を深く考え、実践的に解釈できるようにしていきます。

 

 

p値の実践的解釈

p値を開発したFisherと、仮説検定を開発したNeyman-Pearsonの考え方の違いを学びました。

今回は、特に「αとp値の違い」「p値とlikelihoodの関連」を説明し、より実践的にp値を解釈することを目指します。

これが理解できれば、あなたもp値マスター！

（そしてBayes統計のスタート地点です）

 

 

p値とαの違い

p値は何らかの形でtype 1 errorの確率（type 1 error rate）=αを表すもの、と解釈されることが多いです。

 

でもαとp値は同じなのか？？？？

→違うのです。

実は、この違いをはっきり理解されている方は少なく、かつ極めて重要です。

ここではっきりさせましょう！

 

✔αとは何か。

帰無仮説に基づいた分布（例えば正規分布をイメージしてください）の、tailの部分です。

→例えばα=0.05であれば、「tailの面積＝0.05となる領域」がαです。

大事なポイントは、今観察されたデータとは完全に無関係だということです。

＝帰無仮説にのみ依存する分布だからです。

α、すなわちtype 1 error rateです。

 

✔pとは何か。

データから算出される値で、「帰無仮説に基づいた分布」の境界を示す所です。

例えばp=0.03であれば、「tailの面積＝0.03の領域」の境界となる場所に観察されたデータがあることを示します。

つまりtype 1 error rate（tailの面積）という解釈は誤っています。

→p値は面積でなくポイントなのです！

 

 

******

具体例を考えるとわかりやすいです：

あるクラスでの成績を考えましょう。

トップX%に入っている生徒を「トップX%以内の成績」と表現するとします。

例えば、

A君はトップ10%だから「トップ10%以内の成績」

B君はトップ20%だから「トップ20%以内の成績」

 

逆に、この「トップX%以内の成績」という表現から、その生徒が実際にトップ何%なのかはわかりませんよね。

でも実はその生徒はトップX%にいるのですが。

 

p値というのは、そういうものです。

p値 = 0.10だったとします。

これをp≤0.10とすれば、それは10percentile 以下の面積を指すので、type 1 error rateという解釈ができます。

しかしp = 0.10というのはポイントなので面積は計算できません。

つまりp値 = 0.10をtype 1 error rateと解釈するのは誤りです。

 

 

p=0.05とp≤0.05

「p=0.05とp≤0.05の違い」というのが超重要ポイントです。

必ず抑えましょう。

 

p≤0.05の解釈は：

帰無仮説が真実だと仮定した時に、5%の頻度でしかおきない事象が観察されていること。

つまりαの解釈と同じです。

（もしαが事前に0.05と設定されていたら、ということ）

→なので、「P≤0.05か否か」という仮説検定をすることがOKとなります。

 

ではp=0.05は？

上と同じ解釈をしてしまっていませんか？

繰り返しますが、p=0.05は分布の面積を表さないので、type 1 error rateという解釈は誤りです。

「今」観察されている結果が、α=0.05のポイントにいるデータだ、ということ。

これをよりわかりやすく解釈するとどうなるか？

ここでLikelihoodさんに登場頂きましょう。

 

 

p値とLikelihood

Likelihoodというのは、

「ある元の分布を仮定した時に、今観察されているデータが観察される確率」

を表します。

 

ここで、Likelihood ratioを

「帰無仮説でのLikelihood÷対立仮説でのLikelihood」

とすると、

その値は「真実がどれくらい（対立仮説でなく）帰無仮説である、ということを支持するか」を表しますね。

 

 

この図をみて考えてきましょう。

左が帰無仮説の分布、右が対立仮説の分布です。

実際得られたデータは一箇所、p=0.05の部分とします。

 

p≤0.05でのLikelihood ratioとは？？

分子：帰無仮説の「0.05より先の部分」、つまり赤の部分

分母：対立仮説の「0.05より先の部分」、つまりH1の緑以外の部分

この面積の比となります。

 

p=0.05でのLikelihood ratioとは？？

分子：Aというポイントの（yの）値

分母：Bというポイントの値

この比となります。

 

******

ほら、全然違いますよね。

論文では正規分布でsimulationしており、

となりました。

p≤0.05と比較し、p=0.05の方が11倍強く帰無仮説を支持するということ！！

 

ベイズの定理を使うと、検査前確率が50%としたときに、

となります。

 

*大きな差がありますが、pの値が0.001より低いときにはその差は大したことなくなります。

 

 

******

今でこそ、このようにクリアに違いを示すことができますが、それは「対立仮説」という概念あってのこと。

Fisherはp値を考案したものの「対立仮説」という概念がなかったので、彼は上のlikelihood ratioを近似する概念としてp値を考えていたものと考えられます。

なのでp値の解釈が曖昧であった。

 

 

Likelihood ratioこそが欲しい指標

どれくらい帰無仮説っぽいか（対立仮説っぽいか）というのは、p値は直接表さないことがわかりました。

ほしいのはlikelihood ratio。

でもこの値、対立仮説の分布によって変わっちゃいますよね。

 

一つ考案された方法は、「観測された結果を平均とする分布」を対立仮説とおく、という方法です。

これはstandardized likelihoodといわれます。

この方法では、

・p=0.05 → LR=6.7

となります。

帰無仮説である検査前確率が80%の場合、検査後確率は38%！！！

 

p=0.003なら、検査前確率が80%の場合、検査後確率は5%となります。

 

このあたりに、p値のカットオフを下げるべし、という議論の理論的背景があるのです。

 

 

じゃあどうする？？

実践応用するため、ポイントをまとめます。

 

A. Neyman-Pearsonの仮説検定の枠組み

✔事前にtype 1 error rate = αの値を設定することが味噌です

→p値がそれを上回るか下回るか、という結果が、type 1 error rateという解釈を可能にします。

→しかし、p値の実際の値、という情報をそぎ取ってしまいます。

 

・またこの枠組みでは、「p値がそれを上回るか下回るか、という結果を基に、帰無仮説が支持されるかどうかを判断する」行為は、科学的なものとして考えません。

（inductive behavior、なのでした）

 

・注意点は、p=0.001の時にα=0.001としてtype 1 error rateとして解釈するのは明らかな誤り、ということです。

→なのでαを事前に決めておく必要があります

*ちなみに「p<0.05を有意とする」という論文での一文は何も表していません。完全に無意味な文章です。

 

 

B. p値を連続値として解釈する

✔「どれくらい帰無仮説っぽいか」ということを数値化したいなら、likelihood ratioを念頭に置く必要があります。

 

・p=0.03だった時。

「もし本当は関連が無かったとして、今の事象もしくはより極端な事象が観察される確率は3%だ」

これ以上でも以下でもありません。

つまりは、結局何が言いたいかもわからない、ということです（1回しか今のデータは観測されないから）。

 

・p=0.03に対応するGaussian standardized likelihoodは0.10なので、より実践的な解釈は「何かしらの関連性があるという確率は、何も関連がないという確率と比較し、検査前確率の10倍高い」となります。

 

*ポイントは、現実的にp値を「〜の確率」として解釈することはできない、ということです。確率として解釈したいならlikelihoodを用いるしかな＝Bayesian methodを使う必要がある、ということです。

 

 

結論（実践的解釈編）

現実的なtake-home messageとしては、

・p値をαと混同してはいけない

・p値を仮説検定に用いる場合は、αを先に決め、p値がαより大きいか小さいかだけで判断する

・p値が0.001~0.05の時、それが与える印象は、実際のlikelihood ratioから算出される「確からしさ」より過大である

 

こんなところでしょう。

ではまた。