こんにちは！krです！
今回は2つの事象が同時に起こったときに得られる平均情報量を表す「結合エントロピー」について簡単に解説していきます！
あんまり長くないので、ぜひ最後までご覧ください！
結合エントロピーとは？
共通点がないとき
例えば、「コイントス」と「サイコロ」の2つを考えましょう。
まず、「コインが表か裏か」を知ることで得られる平均情報量を$H(A)$、「サイコロの出た目」を知ることで得られる平均情報量を$H(B)$とします。
では、「コインの表裏」と「サイコロの出た目」を両方同時に知ることで得られる平均情報量は何になるでしょうか？
$H(A)+H(B)$っすか？
正解！
「コイントス」と「サイコロ」には全く共通点がありません。
なので、2つの情報を同時に知ったときに得られる平均情報量は単純に2つの平均情報量を足し合わせたものになるはずです。
$H(A)+H(B)$を結合エントロピーといい、
$$H(A, B)=H(A)+H(B)$$
という記号で表されます。
共通点があるとき
次は、サイコロだけに注目して考えてみましょう。
「3以下か4以上か」を知ることで得られる平均情報量を$H(A)$、「偶数か奇数か」を知ることで得られる平均情報量を$H(B)$とします。
では、「3以下か4以上か」と「偶数か奇数か」を両方同時に知ることで得られる平均情報量は何になるでしょうか？
$H(A)+H(B)$…ではなさそうですね。
その通り！
先ほどの時と違い、「3以下か4以上か」と「偶数か奇数か」というのは互いに独立しているわけではなく、2つの情報には図のように「共通している部分」があります。
例えば、「4以上」と「偶数」という2つの情報を得たとしましょう。
2つが互いに関係のない情報ならば、得られる情報量はそれぞれを知ることで得られる情報量の和になるはずです。
しかし、実際には次のように2つの情報には共通している部分があります。
そのため、単純に両方の情報量を足せば良いということにはならないのです。
以上のことから、「3以下か4以上か」と「偶数か奇数か」を両方同時に知ることで得られる平均情報量は以下の図で表されます。
このとき、平均情報量は条件付きエントロピーを使い、次のような式で表すことが出来ます。
$$H(A)+H(B|A)=H(B)+H(A|B)$$
$H(B|A)$は「$A$に関する情報を抜いた$B$から得られる平均情報量」というように考えることができ、これを図で表すと次のような意味になります。
よって、「3以下か4以上か」と「偶数か奇数か」を両方同時に知ることで得られる平均情報量、つまり、結合エントロピー$H(A, B)$は
$$H(A, B)=H(A)+H(B|A)=H(B)+H(A|B)$$
となります。
例題
先ほどの例の結合エントロピーを具体的に求めてみましょう。
(1)
サイコロの目が偶数である確率は$P(b_1)=\frac{1}{2}$、奇数である確率は$P(b_2)=\frac{1}{2}$
よって、事象系$B$のエントロピー$H(B)$は、
$$\begin{eqnarray} H(B) &=& -P(b_1)log_{2}P(b_1)-P(b_2)log_{2}P(b_2) \\ &=& -\frac{1}{2}log_{2}\frac{1}{2}×2 \\ &=& -log_{2}\frac{1}{2} \\ &=& 1 \end{eqnarray}$$
(2)
偶数であるという事前情報があるときに、$A$のどちらかであるかを知ったときに得られる平均情報量は
$$\begin{eqnarray} H(A|b_1) &=& -P(a_1|b_1)log_{2}P(a_1|b_1)-P(a_2|b_1)log_{2}P(a_2|b_1) \\ &=& -\frac{1}{3}log_{2}\frac{1}{3}-\frac{2}{3}log_{2}\frac{2}{3} \\ &=& -\frac{1}{3}(log_{2}1-log_{2}3)-\frac{2}{3}(log_{2}2-log_{2}3) \\ &=& log_{2}3-\frac{2}{3} \end{eqnarray}$$
また、奇数であるという事前情報があるときは、
$$\begin{eqnarray} H(A|b_2) &=& -P(a_1|b_2)log_{2}P(a_1|b_2)-P(a_2|b_2)log_{2}P(a_2|b_2) \\ &=& -\frac{2}{3}log_{2}\frac{2}{3}-\frac{1}{3}log_{2}\frac{1}{3} \\ &=& -\frac{2}{3}(log_{2}2-log_{2}3)-\frac{1}{3}(log_{2}1-log_{2}3) \\ &=& log_{2}3-\frac{2}{3} \end{eqnarray}$$
よって、条件付きエントロピー$H(A|B)$は
$$\begin{eqnarray} H(A|B) &=& H(A|b_1)P(b_1)+H(A|b_2)P(b_2) \\ &=& (log_{2}3-\frac{2}{3})×\frac{1}{2}+(log_{2}3-\frac{2}{3})×\frac{1}{2} \\ &=& log_{2}3-\frac{2}{3} \\ &\approx& 0.918 \end{eqnarray}$$
(3)
結合エントロピー$H(A, B)$は
$$ \begin{eqnarray} H(A, B)=H(B)+H(A|B) = 1+0.918 &\approx& 1.92 \end{eqnarray} $$
お疲れ様でした！
サイコロを１回振るとき、「サイコロの目が3以下であるか4以上であるか」という事象系$A=\{a_1, a_2\}$と、「サイコロの目が偶数であるか奇数であるか」という事象系$B=\{b_1, b_2\}$について以下の問に答えなさい。
(1) 事象系$A$のエントロピー$H(B)$を求めなさい。
(2) 条件付きエントロピー$H(A|B)$を求めなさい。
(3) 結合エントロピー$H(A, B)$を求めなさい。