正規分布の事後確率(分散既知の場合の事後平均・事後分散の導出)|統計検定の解法を理解する #12

f:id:lib-arts:20210428234109p:plain

統計検定の問題を問題を解くだけでなく、本質的な理解も同時に行えるようにしようという意図のシリーズです。#11では一元配置分散分析で用いたF検定について取り扱いました。

#12では正規分布の事後確率に対して分散既知の場合の事後平均・事後分散の推定を行います。
以下、当記事の目次になります。
1. 事後平均・事後分散の導出
2. 問題と解法
3. まとめ


1. 事後平均・事後分散の導出
1節ではサンプルの母分散が既知の際の事後平均・事後分散の導出について取り扱います。

"Pattern Recognition and Machine Learning | Christopher Bishop | Springer" のSection2-3-6の記載を参考にします。

f:id:lib-arts:20210516221545p:plain

f:id:lib-arts:20210516193410p:plain

上記の(2.141)式と(2.142)式の導出を1節での目標とします。

基本的には(2.139)式の右辺の変形を行い、(2.141)式と(2.142)式を導出します。(2.139)式右辺のp(X|μ)p(μ)の数式は下記のようになります。

p(X|μ)=n=1Np(xn|μ)=1(2πσ2)Nexp(12σ2n=1N(xnμ)2)
p(μ)=12πσ02exp((μμ0)22σ02)

p(X|μ)は(2.137)式を用い、p(μ)は(2.138)の定義に基づいて記載しました。こちらに対して、exp(a)exp(b)=exp(a+b)が成立することを利用し、p(X|μ)p(μ)expの中身をlとすると、lは下記のようになります。

l=12σ2n=1N(xnμ)2(μμ0)22σ02

上記のμに関する平方完成を考えるにあたって、第1項をl1、第2項をl2とし、μ2μの係数の計算を行います。

l1=12σ2n=1N(μ22xnμxn2)=12σ2(Nμ22Nμn=1NxnN+Const)
 =12σ2(Nμ22NμMLμ+Const)
l2=12σ02(μ22μ0μ+Const)

上記を元にμ2μの係数をそれぞれc2, c1とすると、それぞれ下記のように計算できます。

c2=N2σ212σ02=Nσ02+σ22σ2σ02
c1=2NμML2σ22μ02σ02=2(Nσ02μML+σ2μ0)2σ2σ02

これにより、事後平均と事後分散をそれぞれμN, σN2とすると、それぞれ下記のように計算できます。

μN=Nσ02μML+σ2μ02σ2σ02×2σ2σ02Nσ02+σ2=Nσ02μML+σ2μ0Nσ02+σ2
1σN2=Nσ02+σ2σ2σ02=Nσ2+1σ02

事後平均と事後分散のμN, σN2を導出できたので1節はここまでとします。


2. 問題と解法

https://www.toukei-kentei.jp/wp-content/uploads/201906grade1semi.pdf

上記の問7を確認します。設問[1]〜[3]があり、以下それぞれについて確認します。

[1]

・Answer
1節で導出したμN, σN2と定義が同じなので、μ~=μN, σ~2=σN2とすることができる。この際にμML=X, N=1を代入し、整理すると"5"の結果が得られる。

・解説
基本的な導出は1節で行いましたが、母分散既知の際の母平均の推定量の事後分布はこのように計算を行うことができます。

[2]

・Answer
[1]の答えより、事後分布は対称なグラフとなる。また、1σ~2=Nσ02+σ2σ2σ02=Nσ2+1σ02より、Nが大きくなると事後分布の分散は小さくなる。よって"2"が正しい。

・解説
サンプルの数が増えるにしたがって最尤推定量の値が意味のあるものになるのと同様に理解しておくと良いです。

[3]

・Answer
(A)と(C)が正しいので"3"が正解となる。

・解説
解説は省略します。

一通り問題について確認できたので2節はここまでとします。


3. まとめ
#12では正規分布の事後確率について取り扱いました。
#13では共分散定常過程(covariance stationarity process)の直感的なイメージについて取り扱います。