(cache)マルコフ連鎖の基本とコルモゴロフ方程式

マルコフ連鎖とは，大雑把に言うと時刻 $t + 1$ の状態が，時刻 $t$ の状態のみに依存する（時刻 $t - 1$ 以前の状態には依存しない）ようなモデルのことです。

この記事では，確率過程の基本的な話題の一つである，マルコフ連鎖について解説します。

マルコフ連鎖とは

マルコフ連鎖とは，
$P (X_{t + 1} ∣ X_{t}, X_{t - 1}, \dots, X_{1}) = P (X_{t + 1} ∣ X_{t})$
を満たすような確率変数の列 ${X_{t}}$ のことです。

上の式は，
$X_{t + 1}$ が $X_{t}$ のみに依存する（ $X_{t - 1}$ 以前には依存しない）ことを表しています。

例えば， $t$ 日目の天気を $X_{t}$ とし，以下の2つが成立するとしましょう。

$X_{t}$ によって $X_{t + 1}$ の傾向が決まる
（例. 今日晴れたら明日も晴れやすい）
$X_{t - 1}$ 以前は $X_{t + 1}$ に影響しない
（2日前の天気は関係ない）

このとき， ${X_{t}}$ はマルコフ連鎖になります。

マルコフ連鎖の用語

マルコフ連鎖に関する基本的な用語を整理しました。

$X_{t}$ がとりうる値の集合のことを状態空間と言うことがあります。例えば，天気の例だと状態空間は $S = {$ 晴れ，曇，雨 $}$ と考えることができます。晴れ，曇，雨の各状態をそれぞれ $1, 2, 3$ で表すと便利です。このとき $S = {1, 2, 3}$ と書けます。

また， $P (X_{t + 1} ∣ X_{t})$ のことを遷移確率（推移確率）と言うことがあります。例えば「今日曇りだと確率 $0.3$ で明日晴れになる」場合，遷移確率は $P (X_{t + 1} = 晴れ ∣ X_{t} = 曇) = 0.3$ となります。

また，状態空間を頂点で表し，遷移確率を枝で表した図のようなグラフを状態遷移図と言うことがあります。確率はかなり適当ですがマルコフ連鎖の理解には役立ちます。

注：この記事では時間的に均一（遷移確率が時刻によらない）なマルコフ連鎖を考えています。

マルコフ連鎖の推移確率行列

マルコフ連鎖において，遷移確率を並べた行列を考えてみましょう。

すなわち， $i j$ 成分に「 $i$ から $j$ に遷移する確率」を入れたものを推移確率行列（または遷移確率行列，遷移行列）と言います。例えば，上のマルコフ連鎖の例では推移確率行列 $P$ は以下のようになります：
$P = (\begin{matrix} 0.7 & 0.3 & 0 \\ 0.4 & 0.4 & 0.2 \\ 0.3 & 0.3 & 0.4 \end{matrix})$

確率が満たすべき性質より，以下が分かります：

推移確率行列の各要素は $0$ 以上 $1$ 以下である。
推移確率行列のどの行も，行和は $1$ である。

チャップマン–コルモゴロフ方程式

マルコフ連鎖の推移確率行列について「推移確率行列の $n$ 乗」と「 $n$ 回の遷移の確率」が対応するという性質が成り立ちます。

先ほどの天気の例：
推移確率行列の二乗 $P^{2}$ を計算してみると， $P^{2} = (\begin{matrix} 0.61 & 0.33 & 0.06 \\ 0.5 & 0.34 & 0.16 \\ 0.45 & 0.33 & 0.22 \end{matrix})$
これは「今日の天気が分かったときに，二日後の天気がどうなるか」の確率を表します。例えば，今日晴れたら二日後晴れる確率は $0.61$ です。

同様に， $n$ 日後の天気の確率を求めたいときは $P^{n}$ を計算すればよいです。

もう少しきちんと書いてみます。 $n$ 時刻経過に対する推移確率行列を $P^{(n)}$ と書くことにします。つまり， $P (X_{t + n} = j ∣ X_{t} = i)$ を $i j$ 成分に持つ行列を $P^{(n)}$ とします。

すると， $P^{(n)} = P^{n}$ が成立します（右辺は推移確率行列の $n$ 乗）。

証明

$n = 1$ ：定義より $P^{(1)} = P$
$n = 2$ ：時刻 $t + 1$ での状態で場合分けして $t \to t + 2$ への遷移確率を計算する。 $P$ の $i j$ 成分を $p_{i j}$ と書く。

$P^{(2)}$ の $i j$ 成分
$= P (X_{t + 2} = j ∣ X_{t} = i) = \sum_{s \in S} P (X_{t + 2} = j ∣ X_{t + 1} = s) P (X_{t + 1} = s ∣ X_{t} = i) = \sum_{s \in S} p_{s j} p_{i s}$
$= P^{2}$ の $i j$ 成分
・ $n = 3$ 以降も同様に証明できる。

上記の定理より， $P^{(n + m)} = P^{(n)} P^{(m)}$ が成立します（ $n$ 時刻ぶんの遷移の様子 $P^{(n)}$ と $m$ 時刻ぶんの遷移の様子 $P^{(m)}$ が分かれば $n + m$ 時刻ぶんの遷移の様子 $P^{(n + m)}$ も分かる）。この等式をチャップマン–コルモゴロフ方程式と言います。

マルコフ連鎖とマルコフ過程

この記事では，マルコフ連鎖について解説しましたが，一般に，未来の状態（の確率）が過去の状態によらず現在の状態のみで決まるような確率過程のことをマルコフ過程と言います。

特に，確率変数がとりうる値の集合（状態空間）が離散的なマルコフ過程のことをマルコフ連鎖と言います。

マルコフ連鎖で記述できる入試問題もけっこうあります（特に行列が範囲内だった時代）。

Tag: 数学的モデリングまとめ