こんにちは！krです！
今回は平均情報量（エントロピー）に条件が付いた「条件付きエントロピー」について簡単に解説していきます！
あんまり長くないので、ぜひ最後までご覧ください！
条件付きエントロピーとは？
簡単な例
例として「サイコロ」を考えましょう。
サイコロはそれぞれの目が出る確率は$\frac{1}{6}$です。
それぞれの目が出ることを「事象」と考え、次のように書いてみます。
このとき、平均情報量は
$$H(A)=-\displaystyle \sum_{i=1}^6 P(a_i)log_{2}P(a_i)=-\frac{1}{6}log_{2}\frac{1}{6}×6 \approx 2.58$$
というように計算できます。
サイコロの出た目を知ることで得られる情報量の平均が$2.58$ということですね。
平均情報量について
学んですぐの頃は、平均情報量のことを「サイコロの目の数の平均」みたいに思ってしまうかもしれませんが、そうではありません。
情報量は「事象の確率が高ければ少なくなり、低ければ多くなる」だけのものです。だから、確率以外のことは一切関係ないということを念頭に置いておいてくださいね。
ここで、「次は奇数が出る」という事前情報が入ってきたとします。
すると、「奇数だと分かっている状態で、サイコロの出た目を知ることで得られる平均情報量」はいくらになるでしょうか？
何だか良くわかんないっす！
つまり、こういうことです。
「奇数である」ことが事前に分かるのですから、「情報量は減る」ということは何となく分かります。
では、まず「偶数が出る」という事象と、「奇数が出る」という事象について、以下のようにまとめましょう。
また、「サイコロの目が出る」という事象については、以下のようにまとめられました。
このとき、「奇数が出る」と分かっているときの、サイコロの出る目の確率を次のような条件付き確率で書き表すことにします。
$$P(a_{i}|b_{2})$$
すると、この確率を使って、条件付き平均情報量$H(A|b_{2})$は
$$H(A|b_{2})=-\displaystyle \sum_{i=1}^6 P(a_{i}|b_{2})log_{2}P(a_{i}|b_{2})$$
と書けます。
さて、「奇数が出る」という事前情報があるときの、各数字の出る確率は以下のようになります。
これを先ほどの平均情報量の式に代入すると、
$$H(A|b_{2})=-\displaystyle \sum_{i=1}^6 P(a_{i}|b_{2})log_{2}P(a_{i}|b_{2})=-\frac{1}{3}log_{2}\frac{1}{3} ×3=-log_{2}\frac{1}{3} \approx 1.58$$
これが「奇数だと分かっている状態で、サイコロの出た目を知ることで得られる平均情報量」です！
条件が付くことで減る情報量
ここまでで、「条件が付く前の平均情報量」と「条件が付いた後の平均情報量」は次のような値であることが分かりました。
平均情報量の差は何を表しているか分かりますか？
「奇数が出る」と知ることで得られる情報量ですか？
その通り！
つまり、「奇数が出る」と事前に知ることで、「サイコロの出た目を知ること」で得られる平均情報量が$1$下がったということですね。
例題
(1)
条件付きエントロピーであるから、
$$H(A|スペード)=-\displaystyle \sum_{i=1}^{52} P(a_{i}|スペード)log_{2}P(a_{i}|スペード)$$
$$ \qquad \qquad \quad =-\frac{1}{13}log_{2}\frac{1}{13}×13=-log_{2}\frac{1}{13} \approx 3.70$$
(2)
条件付きエントロピーであるから、
$$H(A|キング)=-\displaystyle \sum_{i=1}^{52} P(a_{i}|キング)log_{2}P(a_{i}|キング)$$
$$ \qquad \quad =-\frac{1}{4}log_{2}\frac{1}{4}×4=-log_{2}\frac{1}{4} \approx 2$$
お疲れ様でした！
ジョーカーを除いた52枚のトランプから1枚カードを引くという確率事象系$A$を考える。
(1) 事前に「次のカードはスペードである」と知っているときに得られる平均情報量$H(A|スペード)$を求めなさい。
(2) 事前に「次のカードはキングである」と知っているときに得られる平均情報量$H(A|キング)$を求めなさい。