15分でわかる(範囲の)ベイズ統計学

1. 15分でわかる(範囲の)ベイズ統計学数学カフェ第10回発表資料 2016/1/31 @kenmatsu4

2. MASAKARI Come On! щ(゜ロ゜щ) みんなで勉強しましょう https://twitter.com/_inundata/status/616658949761302528

3. 自己紹介: @kenmatsu4 ・Facebookページ https://www.facebook.com/matsukenbook ・Twitterアカウント @kenmatsu4 ・Qiitaでブログを書いています（統計、機械学習、Python等） http://qiita.com/kenmatsu4 （5400 contributionを超えました！）・趣味 - バンドでベースを弾いたりしています。 - 主に東南アジアへバックパック旅行に行ったりします（カンボジア、ミャンマー、バングラデシュ、新疆ウイグル自治区 etc）旅行の写真 : http://matsu-ken.jimdo.com Twitterアイコン

4. 本発表の内容は個人の見解であり所属する組織・団体の公式見解ではありません。

5. 事始め

6. ベイズ統計学の歴史 https://ja.wikipedia.org/wiki/トーマス・ベイズトーマス・ベイズ (1702-1761) らしき肖像画ベイズ統計学(Bayesian Statistics)は、ベイズの定理 p(A|B) = p(B|A)p(A) p(B) に基づき展開される。この定理は牧師であるトーマス・ベイズにより、1740年頃に発見され、それがリチャード・プライス(1723-1791) によって1763年にベイズの遺稿の中から発見され、世に公開された。 1936年に出版された本にある肖像画であるため本人であるかは疑わしい・・・

7. https://ja.wikipedia.org/wiki/ピエール＝シモン・ラプラスピエール＝シモン・ラプラスさらに、ラプラスがこれと同じ定理を再発見し、近代数学にふさわしい形式にまとめた。なので、ベイズよりもラプラスに端を発するとされる場合もある。しかし、ラプラスはその後すぐ関心が別なものに移ってしまった。ベイズ統計学の歴史

8. http://www.ton.scphys.kyoto-u.ac.jp/~shino/mathphys/tableprob.pdf ベイズ統計学の歴史 --- 確率論の始まり --- パスカル(1623-1662) "二項分布" フェルマー(1601-1665) "多項分布" ホイヘンス(1601-1665) 「サイコロゲームにおける計算について」ヤコブ・ベルヌイ(1654-1705) 「推論術」順列・組み合わせ,大数の法則ヨハン・ベルヌイ(1667-1748) ド・モアブル(1667-1754)「籤(くじ)の測定について」,「偶然論」モンモール(1678-1719) 「偶然ゲームに関する解析試論」ニコラス・ベルヌイ (1687-1759) ベイズ(1702-1762) "ベイズの定理" --- 古典確率論の集大成 --- ラプラス(1749-1827)「確率の解析的理論」「確率に関する哲学的考察」,"ラプラス変換","特性関数" 「偶然というものは存在しない.一見偶然とみられる現象も,我々が自然を支配する法則について無知であるからにすぎない.我々の知識は完全ではなく,逆に全く無知でもないところに確率論が成立する余地がある.」ガウス(1777-1855) "最小二乗法","正規分布"(ガウス分布) 1600 1700 1800 まだ正規分布も発見されておらず確率論が成熟前の時期！

9. ベイズの定理

12. ベイズの定理の応用例：検診問題ある国で病気Aは、1万人あたり40人の割合でかかっていることが知られている。病気Aに罹っている人が検診 Bを受けると8割の確率で陽性となる。健常な人が検診Bを受けると9割の確率で陰性となる検診Bによって陽性と判定された場合、その受信者が病気Aにかかっている確率はどれくらいか？つまり p(A1|B1) を計算する問題。陽性陰性計病気である 4/1000 * 0.8 4/1000 * 0.2 4/1000 病気でない 996/1000 * 0.1 996/1000 * 0.9 996/1000 B1 B2 A2 A1

13. p(A1|B1) = p(B1|A1)p(A1) p(B1|A1)p(A1) + p(B1|A2)p(A2) 陽性陰性計病気である 4/1000 * 0.8 4/1000 * 0.2 4/1000 病気でない 996/1000 * 0.1 996/1000 * 0.9 996/1000 B1 B2 A2 A1 病気の人が、陽性になる確率。事後確率：結果陽性で、病気にかかっている確率。病気にかかっている事前確率病気にかかっていない事前確率病気でない人が陽性になる確率ベイズの定理の応用例：検診問題

14. p(A1|B1) = p(B1|A1)p(A1) p(B1|A1)p(A1) + p(B1|A2)p(A2) ベイズの定理で表すと、 = 0.8 ⇥ 0.004 0.8 ⇥ 0.004 + 0.1 ⇥ 0.996 ⇡ 0.0311 よって、健康な人が陽性判定となった場合でも病気の確率は 3% !!! ベイズの定理の応用例：検診問題陽性陰性計病気である 4/1000 * 0.8 4/1000 * 0.2 4/1000 病気でない 996/1000 * 0.1 996/1000 * 0.9 996/1000 B1 B2 A2 A1

15. 逆確率 (逆問題) 検診問題では・病気A … 原因・検診B … 結果であった。通常の条件付き確率は p(結果 ¦ 原因) のように、時間の流れにあった形で利用される。しかし、ベイズの定理では、時間の流れが逆である時間の流れ p(原因 ¦ 結果) のような「原因の確率」を論じる。このような事後確率のことを「逆確率」という健康状態診断結果 1. 原因 2.結果例) 健康状態が良くないから診断の結果、病気と判断される健康状態診断結果病気だという結果が得られたということは、健康状態が悪いのでは?

16. ベイズ更新受信したEメールが・迷惑メール A1 ・迷惑メールでない A2 の確率に着目する。メールの特徴 B に基づいてAの事後確率を調べる。ベイズ流！！！ Eメール迷惑メール普通のメール？ A1 A2 B

17. ベイズ更新ここでさらに、追加的なメールの特徴 C (Bとは独立した情報)が得られた時、事後確率はどのように変化するか？条件付き確率より、 p(A, B, C) = p(A|B, C)p(B, C) が成り立ちますが、同時に p(A, B, C) = p(B, C|A)p(A) も、成り立っています。

21. ベイズ推論

22. とがこの分布 (密度関数)の形状を決めているベイズ推論確率分布に対する推論にベイズの定理を応用する。 ex) 正規分布 f(x; µ, 2 ) = 1 p 2⇡ 2 exp ✓ (x µ)2 2 2 ◆ µ µ x

23. ( とは決まっている) ベイズ推論素直に考えると、あるデータを生成する（乱数を生成する）機構があって、そのメカニズムに従ってデータが生成されている、と考えると自然。データ生成メカニズム生成結果 µ µ

24. mu = 60 sd = 10 # 確率密度関数の描画 xx = np.linspace(30,90,301) yy = st.norm.pdf(xx, mu, sd) plt.ylim(0, .045) plt.plot(xx,yy) # 生成された乱数のヒストグラム描画 x = rd.normal(mu, sd, size=200) plt.hist(x, bins=20) plt.show() 前ページのグラフを描くPythonコード（抜粋）ベイズ推論平均、標準偏差は決まっているデータを生成するメカニズム得られた結果のデータ

25. ベイズ推論逆問題として考えると、前提) データは入手できている問題) このデータがどのようなメカニズムから生成されたものなのかを知りたい。データ生成メカニズム生成結果逆転！得られた結果からメカニズムの構造を確率的に推論 µ

26. ベイズ推論逆問題として考えると、前提) データは入手できている問題) このデータがどのようなメカニズムから生成されたものなのかを知りたい。データ生成メカニズム生成結果逆転！得られた結果からメカニズムの構造を確率的に推論 µ 確率分布のパラメーター(正規分布の場合、μとσ) は確率変数とみなして推論する！

27. ベイズ推論 ✓ = (µ, ) x = (x1, x2, · · · , xN ) … 確率分布のパラメーター (求めたいもの) … 得られたN個のデータ(定数) 事後確率データを得た後に確率分布の構造に関するパラメーターを推定するので、「事後」。尤度詳細は次ページパラメーターθの事前分布正規化定数（θに依存していない） f(✓|x) = f(x|✓)f(✓) f(x)

28. ベイズ推論 θを動かして、が一番大きいところを探す問題なので、θに依存しない分母は除いて考えて良い。 f(✓|x) f(✓|x) = f(x|✓)f(✓) f(x) / f(x|✓)f(✓) が解析的に解ける場合は求められるが、難しい場合が多い。 f(✓|x)

29. は今回正規分布の密度関数であるが、はすでに得られているので定数。θが変数である。尤度とは？ https://goo.gl/iaTqAx アニメーションURL : f(x|✓) f(x|✓) = NY i=1 1 p 2⇡ 2 exp ✓ (xi µ)2 2 2 ◆ = NY i=1 f(xi|✓) x 密度関数尤度 f(xi|✓) f(x|✓)

30. マルコフ連鎖モンテカルロ法 (MCMC : Markov Chain Monte Carlo method)

31. 事後分布に基づく統計的推論事後分布の期待値、EAP(Expected a posterior) 推定量 ˆ✓eap = Z ✓f(✓|x)d✓ 事後分布 ✓ f(✓|x) データから得られる知見を、事後分布として表現したい。事前分布＆得られたデータ → 事後分布複雑すぎて解析的な評価は困難！特に積分が難しい

32. 事後分布に基づく統計的推論 ✓ 解析的には解けないので、母数θを確率変数とした乱数をなんらかの方法で生成する。ここから期待値をとってEAP推定値とする。中央値はMED推定値、最頻値はMAP推定量となる。事後標準誤差もサンプルから計算できる。 MAP推定量

33. 事後分布に基づく統計的推論正規分布の場合、μ、σの２次元の変数となる。 μ σ μ σ

34. メトロポリスヘイスティングス法デモ https://goo.gl/ZIAynV アニメーションURL :

35. メトロポリスヘイスティングス法デモ解析的に評価することが難しい事後分布の乱数生成を可能にする方法。これにより分布の評価ができる。

36. メトロポリスヘイスティングス法デモ遷移先候補あるルールに従い、この遷移先を受容・棄却を決める。これがポイント。現在位置

37. Stanで計算してみる確率的プログラミングの言語、Stanを使います。 http://mc-stan.org

38. Stanで計算してみる 8つの学校の結果の分布学校効果の平均標準偏差 A 28 15 B 8 10 C -3 16 D 7 11 E -1 9 F 1 11 G 18 10 H 12 18 8つの学校に対して、あるテスト対策を講じた際の効果のデータ。これをモデル化して推定する。 ex) 8-school https://github.com/stan-dev/rstan/wiki/RStan-Getting-Started#example-1-eight-schools

39. Stanで計算してみるモデル ⌘ ⇠ N(0, 1) ✓j = µ + ⌧⌘j µ ⇠ 十分な幅をとった一様分布十分な幅をとった0以上の一様分布 … 平均θj、標準偏差σjの正規分布yj ⇠ N(✓j, j) … 平均0、標準偏差1の標準正規分布 … 平均θj はηjと線形の関係 ⌧ ⇠

40. Stanで計算してみる data { int<lower=0> J; // number of schools real y[J]; // real<lower=0> sigma[J]; // s.e. of effect estimates } parameters { real mu; real<lower=0> tau; real eta[J]; } transformed parameters { real theta[J]; for (j in 1:J) theta[j] <-‐ mu + tau * eta[j]; } model { eta ~ normal(0, 1); y ~ normal(theta, sigma); } Stanコード

41. Stanで計算してみる推定結果

42. Stanで計算してみる mean se_mean sd 2.5% 25% 50% 75% 97.5% n_eff Rhat mu 7.8 0.07 5.0 -‐2.0 4.53 7.66 11.02 17.92 5600.0 1.0 tau 6.21 0.07 5.33 0.19 2.31 4.9 8.6 20.33 5600.0 1.01 eta[0] 0.38 0.01 0.97 -‐1.61 -‐0.26 0.42 1.03 2.22 5600.0 1.0 eta[1] 6.4e-‐4 0.01 0.88 -‐1.72 -‐0.58 4.0e-‐3 0.58 1.73 5600.0 1.0 eta[2] -‐0.21 0.01 0.94 -‐2.08 -‐0.84 -‐0.22 0.41 1.63 5600.0 1.0 eta[3] -‐0.04 0.01 0.89 -‐1.82 -‐0.63 -‐0.04 0.55 1.73 5600.0 1.0 eta[4] -‐0.32 0.01 0.9 -‐2.04 -‐0.94 -‐0.33 0.27 1.48 5600.0 1.0 eta[5] -‐0.2 0.01 0.9 -‐1.96 -‐0.79 -‐0.22 0.4 1.56 5600.0 1.0 eta[6] 0.37 0.01 0.87 -‐1.41 -‐0.18 0.38 0.92 2.06 5600.0 1.0 eta[7] 0.06 0.01 0.95 -‐1.8 -‐0.56 0.05 0.68 1.95 5600.0 1.0 theta[0] 11.09 0.11 8.32 -‐2.46 5.69 10.02 15.14 31.15 5600.0 1.0 theta[1] 7.68 0.08 6.09 -‐4.38 3.81 7.58 11.42 19.61 5600.0 1.0 theta[2] 5.9 0.1 7.5 -‐12.31 1.99 6.53 10.63 19.25 5600.0 1.0 theta[3] 7.5 0.09 6.44 -‐5.15 3.48 7.46 11.46 20.48 5600.0 1.0 theta[4] 5.18 0.08 6.36 -‐8.71 1.45 5.69 9.39 16.36 5600.0 1.0 theta[5] 6.17 0.09 6.65 -‐8.37 2.27 6.57 10.43 18.65 5600.0 1.0 theta[6] 10.49 0.09 6.68 -‐1.16 5.99 9.82 14.38 25.73 5600.0 1.0 theta[7] 8.5 0.11 7.9 -‐6.63 3.83 8.09 12.6 26.67 5600.0 1.0 lp__ -‐5.01 0.04 2.65 -‐10.78 -‐6.63 -‐4.79 -‐3.14 -‐0.45 5600.0 1.01 推定結果

43. Stanで計算してみる推定結果 ηj θj yj ⇠ N(✓j, j) yj ⇠ N(✓j, j)

44. 参考【統計学】尤度って何？をグラフィカルに説明してみる。 http://qiita.com/kenmatsu4/items/b28d1b3b3d291d0cc698 【統計学】マルコフ連鎖モンテカルロ法(MCMC)によるサンプリングをアニメーションで解説してみる。 http://qiita.com/kenmatsu4/items/55e78cc7a5ae2756f9da 基礎からのベイズ統計学輪読会資料第1章確率に関するベイズの定理 http://www.slideshare.net/matsukenbook/1-55165036 第4章メトロポリス・ヘイスティングス法 http://www.slideshare.net/matsukenbook/4-56002293

45. 参考異端の統計学ベイズ (シャロンバーチュマグレイン著) http://www.amazon.co.jp/dp/4794220014 基礎からのベイズ統計学 (豊田秀樹著) http://www.amazon.co.jp/dp/4254122128 図解・ベイズ統計「超」入門 (涌井貞美著) http://www.amazon.co.jp/dp/4797366575 ベイズ計算統計学 (古澄英夫著) http://www.amazon.co.jp/dp/4254128568

46. 参考今日使ったPythonコード https://github.com/matsuken92/Qiita_Contents/tree/ master/15min-bayes

15分でわかる(範囲の)ベイズ統計学

Ken'ichi Matsui

15分でわかる(範囲の)ベイズ統計学

A particular slide catching your eye?