こんにちは！krです！
今回は通信路がどれだけ優れているかを表す「通信路容量」について簡単に説明していきます！
伝送情報量（相互情報量）とは？
伝送情報量の式
通信路容量について理解するためには、まず「伝送情報量」について理解しなければなりません。
伝送情報量とは「相互情報量」と同じもので、通信路における相互情報量のことを「伝送情報量」と呼びます。
なので、「伝送情報量＝相互情報量」と理解すれば良いでしょう。
さて、例えば次のように送信記号集合が通信路を介して受信記号集合へと変化するという状況を考えてみましょう。
外乱とは「外部からの動作を乱す要因全般」のことです
ここで、$A, B$の各要素の確率を次のように決めます。
すると、伝送情報量（相互情報量）は次のような式で表されます。
$$I(A;B)=H(A)-H(A|B)$$
この式が今回のキーポイントです！
平均情報量（エントロピー）$H(A)$が分からない方は「平均情報量とは？計算方法を分かりやすく解説！」をご覧ください
また、条件付きエントロピー$H(A|B)$が分からない方は「条件付きエントロピーとは？簡単に解説！」をご覧ください。
伝送情報量の式の意味を考える
伝送情報量の式の右辺の２つの項の意味はそれぞれ次のようになります。
したがって、伝送情報量の式は次のような意味になります。
$I(A;B)=H(A)-H(A|B)$
＝$A$の持つ情報量 ー $B$を受信して$A$の情報が一部分かった後、$A$の持つ残りの情報量
＝$B$を受信することで得られた$A$についての情報量
＝$A$の持つ情報量のうち、通信路がちゃんと伝送できた情報量
となります。
言葉の意味が難しいよ～
ここは難しいですが、しっかりと意味を理解しておきましょう！
伝送情報量について
$A$を伝送するんだから、「伝送情報量＝$A$の情報量」になるんじゃないの？と思うかもしれませんが、違います。
もし、全く外乱のない通信路であれば、「伝送情報量＝$A$の情報量」になるのですが、現実的には外乱が存在し、$A$を送信しても$B$を受信してしまいます。
このとき、通信路が伝送できた情報量は「$A$の情報量」と等しいでしょうか？$A$を正しく送信できていないのですから当然違いますよね。
なので、伝送情報量は「伝送するものの情報量」ではなく、「正しく伝送できた情報量」なのだと理解しましょう。
通信路容量とは？
通信路容量の意味と定義式
さて、伝送情報量について説明したので、次は「通信路容量」について説明していきます。
通信路容量(channel capacity)は簡単に言えば、「通信路が伝送できる情報量の最大値」です。
通信路容量$C$は次のような式で表されます。
$$C=max \ I(A;B)$$
つまり、「伝送情報量の最大値」が通信路容量なのです！
伝送情報量の最大値とは？
伝送情報量の最大値ってどういうことっすか？伝送情報量は1つに決まらないんすか？
詳しく説明しましょう！
送信記号集合$A$の各要素の確率は以下のように定義されていました。
ここで、記号の発生確率だけを変えた送信記号集合$A’$というものを考え、各要素の確率が以下のように定義されているとします。
この２つの送信記号集合の伝送情報量は異なるものになります。だって確率が違うのならば、$H(A)$や$H(A|B)$は異なりますよね？
こんな感じで、例えば、$A’, A”, A”’…$というように発生確率だけを変えた送信記号集合を考えていきます。
そして、その送信記号集合の中で、伝送情報量が最大となるものを見つけるのです。
これが「伝送情報量の最大値」の意味です！
定義式の意味
さて、通信路容量は次のような式で表されました。
$$C=max \ I(A;B)$$
この式より通信路容量は「伝送情報量の最大値」と言えるわけですが、伝送情報量の意味についてもう一度考えてみましょう。
伝送情報量$I(A;B)$は次のような意味を持っていました。
$I(A;B)$ ＝ $A$の持つ情報量のうち、通信路がちゃんと伝送できた情報量
したがって、通信路容量は次のような意味を持っているともいえるのです。
$A$の持つ情報量のうち、通信路がちゃんと伝送できた情報量の最大値
つまり、通信路容量は「通信路が最大でどれだけ情報を送ることが出来るか」を表し、「通信路の有効性」を示していると言えます。
まとめ
・通信路における相互情報量のことを「伝送情報量」と呼ぶ
・伝送情報量＝通信路がちゃんと伝送できた情報量
・通信路容量＝通信路が伝送できる情報量の最大値＝通信路の有効性
お疲れ様でした！
・$H(A)$ ＝ $A$の持つ情報量
・$H(A|B)$ ＝ $B$を受信して$A$の情報が一部分かった後、$A$の持つ残りの情報量