こんにちは！krです！
今回は新しい分野の情報理論における「自己情報量」について分かりやすく説明していきます！
ぜひ最後までご覧ください！
情報量の性質
自己情報量を説明する前に、まず「情報量の性質」について簡単に説明しておきます。
性質１ 確率の関数
例えば、
・ガリガリ君が当たった
・隕石が頭に当たった
という2つのニュースでは、どちらの方が「情報の価値」は高いでしょうか？
隕石の方に決まってるっす！
ちなみにガリガリ君は$\frac{1}{25}$、隕石は$\frac{1}{100億}$の確率で当たるそうですよ（本当かは分かりません）
このとき、私たちは次のような尺度で情報の価値を決めているはずです。
情報の珍しさ（すなわち確率） ＝ 情報の価値
つまり、情報の価値を「情報量」と置き換えると、「情報量は確率の関数で表される」と考えることが出来るわけです。
性質２ 減少関数
ガリガリ君が当たる確率は$\frac{1}{25}$、隕石が頭に当たる確率は$\frac{1}{100億}$でした。
また、「隕石が頭に当たる方が情報量は高い」と考えられるため、次の２つの式が成り立つと考えられます。
つまり、確率が高くなるほど、情報量が少なくなるわけです。グラフにしてみると次のような感じになっているはずです。
このグラフから、「情報量は減少関数」であると分かります！
性質３ 加法性
「ガリガリ君が当たること」と「隕石が頭に当たること」は互いに関係がありません。
つまり、次の図のような関係が言えるわけです。
これはつまり、「情報量には加法性がある」ということで、2つの事象が独立であれば、2つの事象が同時に起こった時の情報量は、それぞれの情報量の和と等しくなります。
「確率の関数」、「減少関数」、「加法性」の３つが情報量の性質です！
自己情報量
さて、本題の自己情報量について解説していきます。
自己情報量とは何か？
今まで「情報量」という言葉を普通に使ってきましたが、実は情報量には2種類あります。
の２つです。
つまり、自己情報については、次の図のようなことが言えます。
だから、自己情報量についてはあんまり意味を考える必要はありません。そのままの意味です。
この記事で説明するのは「自己情報量」だけで、「平均情報量」について知りたい方はこちらの「平均情報量とは？計算方法を分かりやすく解説！」の記事をご覧ください。
自己情報量の定義
さて、自己情報量を数学的に考えるためにも、自己情報量を数式で表す方法を考えなくてはなりません。
情報量、つまり自己情報量には、「確率の関数」かつ「減少関数」かつ「加法性」という３つの性質がありました。
これらの性質を満たすような数式として次のようなものが使えそうです。
$$I(x) = -log_{2}P(x)$$
これが3つの性質を満たしているのか確認してみましょう。
確率の関数
$I(x) = -log_{2}P(x)$というのは紛れもなく確率の関数なので、これは何の問題もないでしょう。
減少関数
$I(x) = -log_{2}P(x)$をグラフ化してみると、次のようになります。
どう見ても減少関数ですね。
加法性
例えば、ガリガリ君が当たる確率を$P(x)$、隕石が頭に当たる確率を$Q(x)$としましょう。
このとき、「ガリガリ君が当たって、かつ、隕石が頭に当たる」というあり得ないことが起こる確率は$P(x)Q(x)$となります。
すると、この事象の自己情報量は
$$I(x)=-log_{2}P(x)Q(x)$$
となりますが、この式は対数関数の性質より、次のように変形できます。
$$I(x)=-log_{2}P(x)Q(x)=-\{log_{2}P(x)+log_{2}Q(x)\}$$
加法性があるっす！
この性質を持つ初等関数は対数関数しかないのです。
よって、「確率の関数」かつ「減少関数」かつ「加法性」という情報量の3つの性質を満たしていることが分かったため、自己情報量の式は
$$I(x) = -log_{2}P(x)$$
と定義されるのです。
なぜ自己情報量がこの式になるのかよく分からない方もいると思いますが、自己情報量が「確率の関数」・「減少関数」・「加法性」の３つの性質を持っており、$I(x) = -log_{2}P(x)$という関数がちょうど３つの性質を満たすから、自己情報量を表す式として定義しようと決めただけです。だからこの式自体には意味なんてないんです。
例題
最後に簡単な例題で、自己情報量の計算の仕方を理解しましょう。
問題
「コインの表が出る」、「コインの裏が出る」という事象の自己情報量を求めなさい。
解答
コインの表が出る確率は$P(x)=\frac{1}{2}$。裏が出る確率も同じ。
よって、
$$I(x)=-log_{2}P(x)=-log_{2}\frac{1}{2}=1$$
となり、「コインの表が出る」、「コインの裏が出る」という事象の自己情報量はどちらも１である。
今回はここまで！
お疲れ様でした！
・事象そのものの情報量を指す「自己情報量」
・様々な事象の情報量の平均を指す「平均情報量」