相互情報量とは?簡単に解説してみました!

相互情報量

こんにちは!くるです!

今回は2つの情報がどれだけ関係があるかを示す「相互情報量」について簡単に解説します!

そんなに長くないので、ぜひ最後までご覧ください!

相互情報量とは?

相互情報量は一言で言えば、「2つの情報が互いにどれだけ影響し合っているか」を表すものです。

まずは、簡単な例を使って相互情報量について説明していきます。

簡単な例

例えば、「ジョーカーを除いた52枚のトランプの内どれを引くか」についての事象系$A$を考えましょう。

それぞれのカードの引く確率は$\frac{1}{52}$なので、平均情報量$H(A)$は

$$H(A)=-\frac{1}{52}log_{2}\frac{1}{52}×52=-log_{2}\frac{1}{52} \approx 5.70$$

となります。

また、「スペードである」という事前情報がある場合、スペードのカード13枚から1枚を引くことになり、その確率は$\frac{1}{13}$となります。

よって、条件付きエントロピー$H(A|スペード)$は

$$H(A|スペード)=-\frac{1}{13}log_{2}\frac{1}{13}×13 \approx 3.70$$

となります。

ここで、平均情報量$H(A)$と条件付きエントロピー$H(A|スペード)$の差を考えてみると、

$$H(A)-H(A|スペード) \approx 5.70-3.70 =2.00$$

となります。

この差は何を表しているでしょうか?

先生
先生
くるる
くるる

スペードである」と事前に知ることで減った情報量っすか?

正解!

先生
先生

スペードのカードを引く確率は$\frac{1}{4}$なので、「スペードである」と知ることで得られる情報量$I(スペード)$は

$$I(スペード)=-log_{2}\frac{1}{4}=2.00$$

となります。これは先ほどの差と同じ値になっていますよね?したがって、

ということが分かります。

このとき、「スペードである」と事前に知ることで減った情報量を$I(A;スペード)$と表すことにすると、

$$I(A;スペード)=H(A)-H(A|スペード)$$

という式が成り立ちます。

一般的に

先ほどの話は「クラブ、ダイヤ、ハート」についても同じことが言えます。

つまり、

ということが言えるわけです。

これって要するに、「クラブ、ダイヤ、ハート、スペードのどれを引くか」についての事象系を$B$とし、「カードのマークを事前に知ることで減る情報量」を$I(A;B)$と表すことにすると、次のような式で表すことが出来ますよね?

$$I(A;B)=H(A)-H(A|B)$$

この$I(A;B)$という式が表しているのが相互情報量です。

先生
先生

相互情報量の意味

冒頭で、相互情報量は「2つの情報が互いにどれだけ影響し合っているか」を表すと言いました。

これをもっと具体的に言うと、ある2つの事象系$A, B$があるとき、「$A, B$どちらか一方の平均情報量について知りたいときに、もう片方の情報が入ってくることで、知りたかった方の曖昧さがどれだけ減るか」を表すのが相互情報量であると言えます。

例えば、1から13までの13枚のトランプに対して、

偶数か奇数か」についての事象系$A$

10以下か11以上か」についての事象系$B$

という2つの事象系を考えましょう。

まず、「偶数か奇数か」について考えているときに、「10以下か11以上か」が事前に分かったとしましょう。

このとき、「偶数か奇数のどちらになるか」は少し分かるようになります。言い換えれば、「どちらになるか分からない曖昧さ」が減ります。

逆に、「10以下か11以上か」について考えているときに、「偶数か奇数か」が事前に分かったとしましょう。

このとき、「10以下か11以上のどちらになるか」は少し分かるようになります。言い換えれば、「どちらになるか分からない曖昧さ」が減ります。

どちらのパターンでも相互情報量は同じになります

先生
先生

なので、相互情報量は

$A, B$どちらか一方の平均情報量について知りたいときに、もう片方の情報が入ってくることで、知りたかった方の曖昧さがどれだけ減るか

と言えるわけですが、これはつまり、

2つの情報が互いにどれだけ影響し合っているか

ということ風にも言えるということです。

今回はここまで!

お疲れ様でした!

先生
先生

シェアしてね!

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です