確率変数の収束についてまとめる

はじめに

最近、自然科学の統計学という本を読んで、その内容をまとめた記事を書いたり書かなかったりしている。

kriver-1.hatenablog.com

現在第6回の内容を書いているのだが、その途中で確率収束という単語が出てきた。確率変数の収束についてはいくつか種類があって、確率収束だけでなく弱収束、強収束、概収束、分布収束など、いろいろな収束があることは知っているのだが、それぞれがどういう意味を表しているのか、正直あんまりわかっていない。
せっかくなので、調べてここにまとめてみようと思う。

間違い等を見つけたら積極的にマサカリを投げてほしい。

なお、この記事を書いている2018年5月現在で、この記事には書いてあるがwikipediaや他のブログ記事などを探してもなかなか見つからない内容は以下のとおりである。

• 分布収束するが確率収束しない例
• 概収束のお気持ち
• 確率収束するが概収束しない例
  • 確率収束するが概収束せず、少し変えるだけで概収束するようになる例
• 概収束するが確実収束しない例

以上を探している人はぜひこの記事を読んでいってほしい。

確率変数の収束の分類

とりあえず、wikipediaに載っているものについてまとめることにする。
以下では、たくさんの確率変数の列Xn(n=1,2,⋯)$X_n(n=1,2,\cdots )$が、ある確率変数X$X$へといろいろな意味で収束していくという状況についてまとめる。また、各変数は実数値を取るものとする。

名前	英語名、別名	書き方
分布収束	分布収束 (convergence in distribution)、弱収束 (weak convergence)、法則収束 (convergence in law)	Xn→dX$X_n\stackrel{d}{\to }X$
確率収束	確率収束 (convergence in probability)	Xn→pX$X_n\stackrel{p}{\to }X$
概収束	概収束 (almost sure convergence)、強収束 (strong convergence)、ほとんど至る所で収束 (almost everywhere convergence)、確率1で収束 (with probability 1 convergence or w. p. 1 convergence)	Xn−→−a.s.X$X_n\stackrel{a.s.}{\to }X$
確実収束	確実収束 (sure convergence)	（なし）
平均収束	r$r$次平均収束 (convergence in the r$r$-th mean)、Lr$L^r$-ノルムについて収束 (convergence in the Lr$L^r$-norm)	Xn−→LrX$X_n\stackrel{L^r}{\to }X$

正直
確率変数の収束 - Wikipedia
がかなりわかりやすいので、新たに記事を書くほどのものではないのかもしれないが、自分でまとめると勉強になるし、いろいろな視点から書かれていたほうが初学者の理解も進むかもしれない、ということで、ひとつひとつ説明していこうと思う。

分布収束

定義

確率変数列X1,X2,⋯$X_1,X_2,\cdots$が、ある確率変数X$X$へと分布収束するとは、Xn$X_n$、X$X$の累積分布関数をそれぞれFn$F_n$、F$F$としたとき、F$F$がx$x$で連続となるような任意のx∈R$x\in \mathbb{R}$について、
limn→∞Fn(x)=F(x)${\displaystyle \underset{n\to \mathrm{\infty }}{lim}{F}_n(x)=F(x)}$
が成り立つことを言う。

お気持ち

確率分布のグラフ自体が収束先のグラフにどんどん近づいていくという様子を考えればよい。
ぴったり完全に一致する日が来るとは言っていないが、分布自体のズレはどんどん小さくなっていく。

wikipediaにあった素晴らしいgif画像を貼っておこう。これは独立な一様確率分布をn$n$個発生させてその平均を取った確率分布なのだが、n$n$が大きくなるにつれて分布が正規分布っぽい形になっていくことが分かる。

実際、この分布は中心極限定理によって正規分布へと分布収束することが示される。

ただし、この収束はあくまでも分布のズレしか見ていないことに注意が必要だ。
確率変数の節で後述する通り、確率分布列と収束先の確率分布に怪しげな関係性があった場合、分布は一致しているのに確率変数の値はぜんぜん一致しない、という場合が存在する。このような場合でも、分布収束は（分布しか見ていないので）成り立ってしまう。

例

中心極限定理

太郎君はコイン投げが得意で、表と裏をちょうど半々の確率で出すことができる。
太郎君がコインをn$n$回投げたとき、表が出る回数をXn$X_n$とすると、中心極限定理からXn$X_n$の確率分布はX=N(μ=n2,σ2=n4)$X=\mathcal{N}(\mu =\frac{n}{2},{\sigma }^2=\frac{n}{4})$、すなわち平均n2$\frac{n}{2}$、分散n4$\frac{n}{4}$の正規分布に分布収束する。

このことを用いて、例えばイキった次郎君が太郎君に対してケンカを売ってきたとしても、次郎君にコインを4×104$4\times {10}^4$回投げさせて、表の出た回数が2×104−2×102$2\times {10}^4-2\times {10}^2$回以下だったり2×104+2×102$2\times {10}^4+2\times {10}^2$回以上だったりすれば、太郎君は有意水準5%で「君のコイン投げはまだまだだね」とイキリ返すことができる。なぜなら、次郎君のコイン投げが適切なら、こういうことが起こる確率は5%未満であり、したがってよっぽどの奇跡が起こったのでなければ次郎君のコイン投げは適切でなかったということになるからである。
こういう考え方を統計的仮説検定と言うが、それはまた別のお話。

確率収束

定義

確率変数列X1,X2,⋯$X_1,X_2,\cdots$が、ある確率変数X$X$へと確率収束するとは、任意の正の実数ε>0$\epsilon >0$について、
limn→∞Pr(|Xn−X|>ε)=0${\displaystyle \underset{n\to \mathrm{\infty }}{lim}\text{Pr}(|X_n-X|>\epsilon )=0}$
が成り立つことを言う。

お気持ち

確率変数が外れ値をだんだん取らなくなる様子を考えればよい。外れ値かどうかを認識する閾値がε$\epsilon$である。
値がぴったり完全に一致する日が来るとは言っていないが、値が大きく外れる確率はどんどん小さくなっていくし、「外れ値の出る確率をこのくらいに抑えてほしい」と言われれば「じゃあn>Nε$n>N_{\epsilon }$にすればいいよ」と言うことができる。

分布収束との関係

• 確率収束は分布収束よりも強い（厳しい）条件である。すなわち、Xn$X_n$がX$X$に確率収束するならば、Xn$X_n$はX$X$に分布収束する。
• X$X$が定数なら逆も成り立つ。すなわち、Xn$X_n$が定数X0$X_0$しか出ないような確率変数X$X$に分布収束するならば、Xn$X_n$はX$X$に確率収束する。

例

大数の弱法則

再び太郎君のコイン投げについて考えよう。
太郎君のコインは正確に二分の一の確率で表が出る。このコインをn$n$回投げたとき、表が出る割合をXn$X_n$としよう。大数の弱法則より、この確率変数列Xn$X_n$は定数X=0.5$X=0.5$に確率収束する。
したがって、表が出る割合が例えば0.6以上になる確率は、コインを投げる回数が増えればどんどん0に近づいていく。
また、確率収束は分布収束より強い条件なので、Xn$X_n$はX$X$に分布収束もする。

分布収束するが確率収束しない例

太郎君が普通のコインを1回だけ投げる。この試行をA$A$とし、この試行で表が出たかどうかを表す確率変数をXA$X_A$としよう。すなわち、試行A$A$で投げたコインが表ならXA=1$X_A=1$、裏ならXA=0$X_A=0$とする。
その横で、次郎君がイカサマコインを投げる。もしイカサマコインの裏が出たら、Xn$X_n$としてXA$X_A$の結果をそのまま採用する。もしイカサマコインの表が出たら、結果を反転させてXn=1−XA$X_n=1-X_A$とすることにしよう。
イカサマコインの裏が出る確率は1n$\frac{1}{n}$になるように調整されている。なので、このコインの裏が出る確率はn$n$が大きくなるとどんどん0に近づいていく。

イカサマコインの結果がどうだろうと、Xn=0$X_n=0$となる確率は0.5、Xn=1$X_n=1$となる確率も0.5である。したがって、試行A$A$とは独立に太郎君がコインを投げたときの分布をX$X$とすれば、Xn$X_n$はX$X$に確率収束する。
ここで、確率変数XA$X_A$について考えてみよう。XA=0$X_A=0$となる確率は0.5、XA=1$X_A=1$となる確率も0.5であるから、Xn$X_n$はXA$X_A$に分布収束すると言ってよい。
ところが、Xn$X_n$はXA$X_A$に確率収束しない。なぜなら、イカサマコインで表が出た場合（これはn$n$が大きくなるほど起こりやすくなる）、Xn$X_n$の結果は反転されていて、XA$X_A$とは逆の結果になっているからである。このとき|Xn−XA|=2$|X_n-X_A|=2$となるから、ε<2$\epsilon <2$となるようにε$\epsilon$を取ることによってXn$X_n$がXA$X_A$に確率収束しないことが示せる。

概収束

定義

確率変数列X1,X2,⋯$X_1,X_2,\cdots$が、ある確率変数X$X$へと概収束するとは、
Pr({ω:limn→∞Xn(ω)=X(ω)})=1${\displaystyle \text{Pr}\left(\{\omega :\underset{n\to \mathrm{\infty }}{lim}{X}_n(\omega )=X(\omega )\}\right)=1}$
が成り立つことを言う。ここで、ω$\omega$は起こりうる標本の集合Ω$\mathrm{\Omega }$の要素である。

お気持ち

確率収束はXn$X_n$とX$X$の値がどんどん近づいていくことを主張していたが、概収束はXn$X_n$がほとんど各点でX$X$に収束するということを主張している。
もっと言えば、これはXn(ω)≠X(ω)$X_n(\omega )\ne X(\omega )$となるようなn,ω$n,\omega$がたかだか有限個しか存在しないことを表している。
これまでの収束とはlim$lim$とPr$\text{Pr}$の位置関係が異なっていることに着目するとわかりやすいかもしれない。

なお、limn→∞Xn(ω)=X(ω)$\underset{n\to \mathrm{\infty }}{lim}{X}_n(\omega )=X(\omega )$となるω$\omega$が出る確率が1であることと、すべてのω$\omega$でlimn→∞Xn(ω)=X(ω)$\underset{n\to \mathrm{\infty }}{lim}{X}_n(\omega )=X(\omega )$が成り立つことは同値ではない。なぜなら、数学の世界ではある事象ω0${\omega }_0$が「確率0で起こる」場合があるからである。具体的な例は次項の「確実収束」の例で述べよう。

確率収束との関係

• 概収束は確率収束よりも強い（厳しい）条件である。すなわち、Xn$X_n$がX$X$に概収束するならば、Xn$X_n$はX$X$に確率収束する。
• 逆が成り立つわけではないが、確率収束するならば、概収束する部分列が存在する。すなわち、Xn$X_n$がX$X$に確率収束するならば、Xn$X_n$のある部分列Xkn$X_{k_n}$が存在して、Xkn$X_{k_n}$はX$X$に概収束する。

例

大数の強法則

前述した、コイン投げの表が出る割合についてもう一度考えよう。

太郎君のコインは正確に二分の一の確率で表が出る。このコインをn$n$回投げたとき、表が出る割合をXn$X_n$としよう。大数の弱法則より、この確率変数列Xn$X_n$は定数X=0.5$X=0.5$に確率収束する。

実は、この例では大数の強法則も成り立つ。すなわち、この確率変数列Xn$X_n$は定数X=0.5$X=0.5$に概収束する。

いつか終わるコイン投げ

太郎君は1日1回、日課のコイン投げをする。
ただし、裏が10日連続で出てしまったら、太郎君は自分のコイン投げ力に絶望してコイン投げをやめてしまう。その日からコインはずっと裏のままになる。

確率変数列Xn$X_n$を、n$n$日目にコインが表ならXn=1$X_n=1$、裏ならXn=0$X_n=0$と定めよう。この確率変数は0$0$に概収束する。なぜなら、十分長い時間が経てばいつかは裏が10連続で出てしまい、それ以降はずっとXn=0$X_n=0$になってしまうからである。

確率収束するが概収束しない例

次郎君のイカサマコインを考えよう。次郎君のイカサマコインは1n$\frac{1}{n}$の確率で裏が出る。つまり、n$n$が大きくなると裏が出る確率はどんどん小さくなっていく。
このイカサマコインを投げて、表が出たときXn=1$X_n=1$、裏が出たときXn=0$X_n=0$としよう。裏が出る確率はn$n$が大きくなるにつれてどんどん小さくなっていくから、十分小さいε$\epsilon$について、Pr(|Xn−1|>ε)=（裏が出る確率）$\text{Pr}(|X_n-1|>\epsilon )=\text{（裏が出る確率）}$は0に収束する。すなわち、Xn$X_n$は1$1$に確率収束する。

ところが、実はXn$X_n$は1$1$に概収束しない。
このことを示すのは少し骨が折れるが、Borel-Cantelliの補題 (英wiki: Borel–Cantelli lemma - Wikipedia )を認めた上で略証を試みよう。

まず、
∑n=1∞Pr({ω:Xn(ω)=0})=∞${\displaystyle \sum _{n=1}^{\mathrm{\infty }}\text{Pr}(\{\omega :X_n(\omega )=0\})=\mathrm{\infty }}$
であることを示す。これは∑∞n=11n=∞$\sum _{n=1}^{\mathrm{\infty }}\frac{1}{n}=\mathrm{\infty }$であることから簡単にわかる。

各Xn$X_n$が独立であることとBorel-Cantelliの補題から、Xn(ω)=0$X_n(\omega )=0$であるようなω$\omega$は infinitely often に起こる。
すなわち、無限回の試行を行えば、Xn(ω)=0$X_n(\omega )=0$であるようなn,ω$n,\omega$の組は（全体に比べれば非常に少ないかもしれないが、それでも）無限個持ってくることができる。

一方、もしXn$X_n$が1$1$に概収束すると仮定すると、定義から
Pr({ω:limn→∞Xn(ω)=1})=1${\displaystyle \begin{array}{r}\text{Pr}\left(\{\omega :\underset{n\to \mathrm{\infty }}{lim}{X}_n(\omega )=1\}\right)=1\end{array}}$
となるので、集合{ω:limn→∞Xn(ω)=1}$\{\omega :\underset{n\to \mathrm{\infty }}{lim}{X}_n(\omega )=1\}$をA$A$とすると、Pr(ω∈A)=1$\text{Pr}(\omega \in A)=1$となる。

いま、ω∈A$\omega \in A$を満たすようなω$\omega$を考えよう。このω$\omega$については、定義から、任意のε>0$\epsilon >0$についてあるN$N$があって、すべてのn>N$n>N$でXn(ω)=1$X_n(\omega )=1$が成り立つ。したがって、このようなω$\omega$については、Xn(ω)=0$X_n(\omega )=0$であるようなn$n$はたかだか有限個しかない。
また、ω∉A$\omega \notin A$については、Pr(ω∈A)=1$\text{Pr}(\omega \in A)=1$より、確率0でしか起こらないことがわかっている。

以上より、Xn(ω)=0$X_n(\omega )=0$であるようなn$n$が無限個ある確率は0である。
ところが、先ほどBorel-Cantelliの補題を用いて求めたとおり、Xn(ω)=0$X_n(\omega )=0$であるようなn$n$は無限個存在する。
これは矛盾であるから、Xn$X_n$が1$1$に概収束しないことが示された。

なお、以下の例では、設定をほとんど変えていないにも関わらずXn$X_n$が1$1$に概収束する。

区間[0,1]$[0,1]$の一様分布からランダムに1つ値を持ってきてs$s$とする。いま、Xn$X_n$を、0≤s≤1n$0\le s\le \frac{1}{n}$のときXn=0$X_n=0$、1n<s≤1$\frac{1}{n}<s\le 1$のときXn=1$X_n=1$と定めよう。
このとき、Xn$X_n$は1$1$に概収束する。

この2例の差は、各Xn$X_n$が独立かどうかという点にある。後者の例では各Xn$X_n$は独立でないから、Borel-Cantelliの補題は成り立たない。実際、各s>0$s>0$についてn>Ns=1/s$n>N_s=1/s$であればXn=1$X_n=1$が常に成り立つので、Xn$X_n$は1$1$に概収束する。

また、イカサマコインの裏が出る確率を1n$\frac{1}{n}$から1n2$\frac{1}{n^2}$に変更した場合も、Xn$X_n$は1$1$に概収束する。これは、∑∞n=1Pr({ω:Xn(ω)=0})$\sum _{n=1}^{\mathrm{\infty }}\text{Pr}(\{\omega :X_n(\omega )=0\})$が有限の値になってしまい、Borel-Cantelliの補題が成り立たなくなるためである。

確実収束

定義

確率変数列X1,X2,⋯$X_1,X_2,\cdots$が、ある確率変数X$X$へと確実収束するとは、
∀ω,limn→∞Xn(ω)=X(ω)${\displaystyle \mathrm{\forall }\omega ,\underset{n\to \mathrm{\infty }}{lim}{X}_n(\omega )=X(\omega )}$
が成り立つことを言う。ここで、ω$\omega$は起こりうる標本の集合Ω$\mathrm{\Omega }$の要素である。

お気持ち

言うまでもなく、概収束を確率0で起こる事象にも拡張したものである。
確率の世界で確率0の事象が問題になることはまずないので、概収束じゃダメ、確実収束じゃないと！なんて場面はまず訪れないと思っていい。
なので、確実収束自体の重要度もあまり高くない。

概収束との関係

• 確実収束は概収束よりも強い（厳しい）条件である。すなわち、Xn$X_n$がX$X$に確実収束するならば、Xn$X_n$はX$X$に概収束する。

例

概収束するが確実収束しない例

前述した「設定をちょっと変えるだけで概収束する例」を再掲しよう。

区間[0,1]$[0,1]$の一様分布からランダムに1つ値を持ってきてs$s$とする。いま、Xn$X_n$を、0≤s≤1n$0\le s\le \frac{1}{n}$のときXn=0$X_n=0$、1n<s≤1$\frac{1}{n}<s\le 1$のときXn=1$X_n=1$と定めよう。
このとき、Xn$X_n$は1$1$に概収束する。

この例では、Xn$X_n$は1$1$に概収束するが、1$1$に確実収束しない。というのも、s=0$s=0$の場合（このような事象が起こる確率は0なのだが）、n$n$がいくら大きかろうとXn≠1$X_n\ne 1$となってしまうからである。

平均収束

定義

1≤r∈R$1\le r\in \mathbb{R}$について、確率変数列X1,X2,⋯$X_1,X_2,\cdots$がある確率変数X$X$へとr$r$次平均収束するとは、（Xn$X_n$やX$X$に適切なモーメントがちゃんと定義できるとして、）
limn→∞E[|Xn−X|r]=0${\displaystyle \underset{n\to \mathrm{\infty }}{lim}\mathbb{E}\left[{|X_n-X|}^r\right]=0}$
が成り立つことを言う。

特に、r=1,2$r=1,2$のとき、すなわち、
limn→∞E[|Xn−X|]=0${\displaystyle \underset{n\to \mathrm{\infty }}{lim}\mathbb{E}\left[|X_n-X|\right]=0}$
limn→∞E[(Xn−X)2]=0${\displaystyle \underset{n\to \mathrm{\infty }}{lim}\mathbb{E}\left[{(X_n-X)}^2\right]=0}$
が成り立つとき、それぞれXn$X_n$はX$X$に平均収束する (converges in mean)、 二乗平均収束する (converges in mean square) という。

お気持ち

r$r$次平均収束自体がめちゃくちゃ役に立つ、というわけではないと思う。
ただ、X$X$がXn$X_n$の平均を表しているときは、Xn$X_n$がX$X$に二乗平均収束することと、Xn$X_n$の分散が0に収束することが同値になるので、他の収束を示すよりも二乗平均収束を示したほうが楽なことがある。そういうときに便利。

他の収束との関係

• 任意のr>s≥1$r>s\ge 1$について、r$r$次平均収束はs$s$次平均収束よりも強い（厳しい）条件である。すなわち、Xn$X_n$がX$X$にr$r$次平均収束するならば、Xn$X_n$はX$X$にs$s$次平均収束する。
  • 平均収束の次数は自由に減らしていいということ。
  • 特に、Xn$X_n$がX$X$に二乗平均収束するならば、Xn$X_n$はX$X$に平均収束する。
• 平均収束は確率収束よりも強い（厳しい）条件である。すなわち、Xn$X_n$がX$X$に平均収束するならば、Xn$X_n$はX$X$に確率収束する。

例

r$r$次平均収束するが概収束しない例

先の例で示した、「確率収束するが概収束しない例」を再掲しよう。

次郎君のイカサマコインを考えよう。次郎君のイカサマコインは1n$\frac{1}{n}$の確率で裏が出る。つまり、n$n$が大きくなると裏が出る確率はどんどん小さくなっていく。
このイカサマコインを投げて、表が出たときXn=1$X_n=1$、裏が出たときXn=0$X_n=0$としよう。裏が出る確率はn$n$が大きくなるにつれてどんどん小さくなっていくから、十分小さいε$\epsilon$について、Pr(|Xn−1|>ε)=（裏が出る確率）$\text{Pr}(|X_n-1|>\epsilon )=\text{（裏が出る確率）}$は0に収束する。すなわち、Xn$X_n$は1$1$に確率収束する。

ところが、実はXn$X_n$は1$1$に概収束しない。

この例は、確率収束するだけでなく、任意の実数r≥1$r\ge 1$についてr$r$次平均収束する。
実際、定義に従って計算すると、

E[|Xn−X|r]⇔limn→∞E[|Xn−X|r]===1n×|0−1|r+n−1n×|1−1|r1n0${\displaystyle \begin{array}{rcl}\mathbb{E}\left[{|X_n-X|}^r\right]& =& \frac{1}{n}\times |0-1{|}^r+\frac{n-1}{n}\times |1-1{|}^r\\ & =& \frac{1}{n}\\ \iff \underset{n\to \mathrm{\infty }}{lim}\mathbb{E}\left[{|X_n-X|}^r\right]& =& 0\end{array}}$

となるので、Xn$X_n$はX$X$にr$r$次平均収束する。

概収束するがr$r$次平均収束しない例

今度は、前述した「設定をちょっと変えるだけで概収束する例」を再掲しよう。

区間[0,1]$[0,1]$の一様分布からランダムに1つ値を持ってきてs$s$とする。いま、Xn$X_n$を、0≤s≤1n$0\le s\le \frac{1}{n}$のときXn=0$X_n=0$、1n<s≤1$\frac{1}{n}<s\le 1$のときXn=1$X_n=1$と定めよう。
このとき、Xn$X_n$は1$1$に概収束する。

この例は、概収束するし、平均収束もする。
少し例を変えよう。

区間[0,1]$[0,1]$の一様分布からランダムに1つ値を持ってきてs$s$とする。いま、Xn$X_n$を、0≤s≤1n$0\le s\le \frac{1}{n}$のときXn=n$X_n=n$、1n<s≤1$\frac{1}{n}<s\le 1$のときXn=0$X_n=0$と定めよう。
このとき、Xn$X_n$は0$0$に概収束する。

この例では、Xn$X_n$は0$0$に概収束する。しかしながら、Xn$X_n$は0$0$に平均収束しない。（したがって、任意の実数r≥1$r\ge 1$についてr$r$次平均収束しない。）
定義に従って計算すると、

E[|Xn−X|1]⇔limn→∞E[|Xn−X|1]===1n×|n−0|+n−1n×|0−0|11≠0${\displaystyle \begin{array}{rcl}\mathbb{E}\left[{|X_n-X|}^1\right]& =& \frac{1}{n}\times |n-0|+\frac{n-1}{n}\times |0-0|\\ & =& 1\\ \iff \underset{n\to \mathrm{\infty }}{lim}\mathbb{E}\left[{|X_n-X|}^1\right]& =& 1\ne 0\end{array}}$

となり、Xn$X_n$が0$0$に平均収束しないことがわかる。

まとめ

確率変数列の収束性について、5種類の収束（分布収束、確率収束、概収束、確実収束、平均収束）を紹介した。
また、それらの関係性や簡単な性質などについて、多少数式を交えつつ説明した。

最後のまとめとして、wikipediaのわかりやすい図を載せておこう。

みなさんの役に立てば幸いである。

参考サイト

• 確率変数の収束 - Wikipedia
• Convergence of random variables - Wikipedia
  • 結構網羅的にまとまっていてわかりやすい。日本語版は数式が時々抜けてたりする。
• http://home.hiroshima-u.ac.jp/~wakaki/lecture/probstatB13/slide1016.pdf
  • 分布収束するが確率収束しない例がわかりやすい。
• http://www2.econ.osaka-u.ac.jp/~takeuchi/lec10/gec1/pdf/econome1_2010_hw12.pdf
  • 分布収束するが確率収束しない例がこっちにも載っている。
• Proofs of convergence of random variables - Wikipedia
  • 各収束性間の関係性の証明。全部は読めていない。
• http://www2.math.kyushu-u.ac.jp/~hara/lectures/10/coin-and-CLT.pdf
  • 中心極限定理のお気持ちがわかる。
• 大数の法則と中心極限定理の意味と関係 | 高校数学の美しい物語
  • 大数の法則、中心極限定理についてのお気持ちがわかる。
• 二項分布の正規近似（ラプラスの定理） | 高校数学の美しい物語
  • 二項分布に中心極限定理を適用した例。
• 中心極限定理 - 初級Mathマニアの寝言
  • もう少しマニアックな中心極限定理の紹介。
• 大数の法則 - Wikipedia
• Law of large numbers - Wikipedia
  • 大数の法則のガチ解説。弱法則と強法則の違いとかも載っている。日本語版は流石に内容がショボすぎる。
• 大数の法則の具体例と証明 | 高校数学の美しい物語
  • 大数の弱法則の証明がわかりやすい。
• 大数の法則 | 高校物理の備忘録
  • 大数の法則の話。弱法則がわかりやすい。強法則は説明が足りないかもしれない。
• ほとんど (数学) - Wikipedia
• Almost everywhere - Wikipedia
  • ほとんど至る所で、のお気持ちをもう少しはっきり知りたかったので読んだが、測度について深い理解が要求されてしまってあまり読めなかった。
• ルベーグ積分 - Wikipedia
• Lebesgue integration - Wikipedia
  • ほとんど至る所で、の話で当然ルベーグ積分が出てくるのでさらっと眺めた。読み物としては面白そうだが流石に今回の記事と無関係すぎる。
• 各点収束と一様収束の違いと具体例 | 高校数学の美しい物語
  • lim$lim$を取るところで各点収束か一様収束かわからない部分があったので復習した。高校数学の美しい物語は内容が全く高校数学でないという点を除けば最高に良いサイトだと思う。
• 概収束と確率収束の違い - yasuhisa's blog
  • 確率収束と概収束の話。追記の数式がわかりやすいかもしれない。
• 概収束と確率収束 - 落書き、時々落学
  • 確率収束するが概収束しない例が載っている。外側の点が無限個あれば直感的に収束しそうでも概収束しない、という例を出したかったので、この記事では載せなかった。
• in probability収束するがa.s.収束しない確率変数列の例: photogenic blue note
  • 確率収束するが概収束しない、と同値な命題が載っている。表題にあるような具体例が載っているわけではないが、数式がわかりやすい。
• http://www.ma.noda.tus.ac.jp/u/sh/pdfdvi/Prob1.pdf
  • ガチの本。内容がわかりやすいわけではないし演習の解答も載っていないが、定理の証明等がpdfだけで完結しているのがよい。
• 数学の問題です。確率収束するが、概収束しない確率変数列｛Xn... - Yahoo!知恵袋
  • 回答者の頭の中を覗いてみたい。
• random variable - Convergence in probability vs. almost sure convergence - Cross Validated
  • 概収束のお気持ちがよく分かる良回答。
• probability theory - How to show this almost sure convergence - Mathematics Stack Exchange
  • 良回答その2。質問は違うが、言われてることは上とだいたい同じ。
• Almost sure convergence
  • めっちゃわかりやすい。欲を言えば概収束しない例も欲しかった。普通に本として優秀そうなのでそのうち全部読みたい。
• https://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-436j-fundamentals-of-probability-fall-2008/lecture-notes/MIT6_436JF08_lec17.pdf
  • 概収束と確率収束の違いが簡潔に説明されていて良い。
• Almost Sure Convergence
  • 概収束の説明。演習がとてもわかりやすい。定理の証明が一切ないのでそこが残念。
• terminology - Why do we say "almost surely" in Probability Theory? - Mathematics Stack Exchange
  • 概収束の説明。infinitely oftenとうまく絡めた説明でわかりやすい。
• Borel–Cantelli lemma - Wikipedia
  • Borel-Cantelliの補題について必要十分に記述されていて良い。なぜ日本語版がないのか（お前がauthorになるんだよ）。
• http://www.math.kobe-u.ac.jp/HOME/higuchi/h23kogi/h23kouki/p1-10.pdf
  • Borel-Cantelliの補題の証明がわかりやすく載っている。
• http://user.numazu-ct.ac.jp/~hmatsu/14resume12.pdf
  • Borel-Cantelliの補題のわかりやすい証明がこちらにも載っている。
• Limit superior and limit inferior - Wikipedia
  • Borel-Cantelliの補題を使うときに必要な、liminf$liminf$とlimsup$limsup$の話。
• https://pdfs.semanticscholar.org/5f39/77517f99558bf11a9bcaf6f0011544d05187.pdf
  • infinitely oftenの定義とお気持ちがわかりやすく説明されている。

ありがとうございました。