こんにちは！krです！
今回はマルコフ情報源における「定常分布と極限分布」について簡単に解説していきます！
定常分布とは
定常分布とは「1度その確率分布になったら、それ以降確率分布がずっと変わらない分布」です。
例えば、大学生の$A$君の通学手段を例に考えてみましょう。通学手段は「徒歩か自転車」の2択にします。
図で示されているように、前日どうやって行ったかで翌日の通学手段が確率的に変わるとします。
これを行列で表してみましょう。
行列で表すと次のようになります。
今回の例では定常分布は「ある時を境に$A$君が徒歩、自転車通学する確率がずっと変わらなくなる」ような分布だと言えるでしょう。
では、どうやって定常分布を求めるのかを説明しましょう。
定常分布の求め方
「$A$君が翌日徒歩、自転車通学する確率」が$\boldsymbol{z}=\begin{bmatrix} P_{徒歩} & P_{自転車} \\ \end{bmatrix}=\begin{bmatrix} z_1 & z_2 \\ \end{bmatrix}$から変わらなくなったとしましょう。
また、確率をまとめた行列を$P=\begin{bmatrix} \frac{1}{3} & \frac{2}{3} \\ \frac{2}{3} & \frac{1}{3} \end{bmatrix}$とします。
この行列を状態遷移行列と言います。
$\boldsymbol{z}$から変わらないということは、今後どれだけ$P$を掛けても確率が変わらないということです。
つまり、
$$\boldsymbol{z}=\boldsymbol{z}P$$
となるはずです。したがって、
$$\begin{bmatrix} z_1 & z_2 \\ \end{bmatrix}=\begin{bmatrix} z_1 & z_2 \\ \end{bmatrix} \begin{bmatrix} \frac{1}{3} & \frac{2}{3} \\ \frac{2}{3} & \frac{1}{3} \end{bmatrix}$$
となり、これを解くと、$$\begin{eqnarray} \left\{ \begin{array}{l} z_1 = \frac{1}{3}z_1 + \frac{2}{3}z_2 \\ z_2 = \frac{2}{3}z_1 + \frac{1}{3}z_2 \end{array} \right. \end{eqnarray}$$
という連立方程式になります。また、$z_1, z_2$は確率なので、足したら必ず1になります。
したがって、
$$z_1+z_2 = 1$$
という式も成り立ちます。
以上より、次の3式が成り立つことが分かります。
$$\begin{eqnarray} \left\{ \begin{array}{l} z_1 = \frac{1}{3}z_1 + \frac{2}{3}z_2 \\ z_2 = \frac{2}{3}z_1 + \frac{1}{3}z_2\\ z_1 + z_2 =1 \end{array} \right. \end{eqnarray}$$
これを解くと、$\boldsymbol{z}=\begin{bmatrix} \frac{1}{2} & \frac{1}{2} \\ \end{bmatrix}$となります。
では、これが何を表しているか分かりますか？
A君の通学手段の定常分布ですか？
正解!
すなわち、ある時を境に、A君が徒歩か自転車で通学する確率がそれぞれ$\frac{1}{2}$から全く変化しなくなるということです。
ただ、今回の例では最初からそれぞれの確率が$\frac{1}{2}$なので、最初から定常状態になっています。
極限分布とは
極限分布は「どんな確率分布からスタートしても最終的に辿り着くような確率分布」です。
極限分布は絶対に存在するわけではなく、情報源が正規マルコフ情報源である必要があります。
このように、「情報源が正規マルコフ情報源であれば、極限分布が存在する」のです。マルコフ情報源については「マルコフ情報源を具体例を用いて分かりやすく解説！」をご覧ください。
さて、最初のA君の通学手段の例では、状態遷移行列が
$$P=\begin{bmatrix} \frac{1}{3} & \frac{2}{3} \\ \frac{2}{3} & \frac{1}{3} \end{bmatrix}$$
でした。
つまり、この例の情報源$S=\{徒歩, 自転車\}$は正規マルコフ情報源で、極限分布が存在します。
極限分布は求めるのが難しいのですが、実は「極限分布は定常分布と一致する」のです。
それについて少し説明しましょう。
極限分布が存在するならば、定常分布が存在する
例えば、A君の通学手段の例では、$\boldsymbol{z}=\begin{bmatrix} \frac{1}{2} & \frac{1}{2} \\ \end{bmatrix}$となりますが、これは極限分布でもあります。
というのも、極限分布は「どんな確率分布からスタートしても最終的に辿り着くような確率分布」です。
つまり、極限分布はそれ以上変化することがないのです。
ということは何が言えるでしょうか？
極限分布は定常分布と同じってことっすね！
その通り！
ということで、「極限分布が存在するならば、定常分布が存在する」と言えるのですが、実はその逆は成り立たないのです。
定常分布が存在しても、極限分布が存在するとは限らない
例えば、図のように前日徒歩なら翌日自転車、前日自転車なら翌日徒歩で通学する確率がそれぞれ$1$であるとしましょう。
状態遷移行列は
$$P=\begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix}$$
となります。このとき定常分布は
$$\begin{bmatrix} z_1 & z_2 \\ \end{bmatrix}=\begin{bmatrix} z_1 & z_2 \\ \end{bmatrix} \begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix}$$
と
$$z_1+z_2 = 1$$
という式より、$\boldsymbol{z}=\begin{bmatrix} \frac{1}{2} & \frac{1}{2} \\ \end{bmatrix}$と求まります。
一方、極限分布を考えてみると、状態遷移行列$P$が何回掛け合わさっても全ての成分が$0$でなくなることがありません。
そのため、正規マルコフ情報源ではなく、極限分布が存在しないのです。
だから、「定常分布が存在しても、極限分布が存在するとは限らない」のです！
今回はここまで！
状態遷移行列$P$を$t$回掛け合わせた$P^t$のすべての成分が0でないとき、この情報源を正規マルコフ情報源という。
例えば、次のような状態遷移行列を考えましょう。
$$P=\begin{bmatrix} 1 & 0 & 1 \\ 1 & 1 & 0 \\ 0 & 1 & 1 \end{bmatrix}$$
この行列を掛け合わせると、
$$P^2=\begin{bmatrix} 1 & 1 & 2 \\ 2 & 1 & 1 \\ 1 & 2 & 1 \end{bmatrix}$$
となり、すべての成分が0でなくなったので、情報源$S=\{0, 1, 2\}$は正規マルコフ情報源です。