【情報理論】通信路容量って何?簡単に解説します!
こんにちは!くるです! 今回は通信路がどれだけ優れているかを表す「通信路容量」について簡単に説明していきます! 伝送情報量(相互情報量)とは? 伝送情報量の式 通信路容量について理解するためには、まず「伝送情報量」につい...
こんにちは!くるです! 今回は通信路がどれだけ優れているかを表す「通信路容量」について簡単に説明していきます! 伝送情報量(相互情報量)とは? 伝送情報量の式 通信路容量について理解するためには、まず「伝送情報量」につい...
こんにちは!くるです! 今回は通信路によって送信記号がどう変化するかを表す「通信路行列」について簡単に説明していきます! 通信路行列とは? 冒頭でも述べた通り、通信路行列は「通信路によって送信記号がどう変化するか」を表し...
こんにちは!くるです! 今回は符号化するときに重要になる「平均符号長」について簡単に解説していきます! 平均符号長とは? 平均符号長とは「次に送信される符号の符号語長の期待値」と言うことができます。 例えば、次のような符...
こんにちは!くるです! 今回は情報源符号化の方法の1つ「ハフマン符号」について説明していきます! ハフマン符号とは? まずは、簡単にハフマン符号について説明しておきます。 ハフマン符号は簡単に言えば「情報を最適な形で符号...
こんにちは!くるです! 今回は情報源符号化の方法の1つ「シャノン・ファノ符号」について説明していきます! シャノンファノ符号とは? まずは、簡単にシャノン・ファノ符号について説明しておきます。 シャノン・ファノ符号は簡単...
こんにちは!くるです! 今回は符号が瞬時符号であるための条件の「クラフトの不等式」について簡単に説明していきます! そんなに長くないので、ぜひ最後までご覧ください! クラフトの不等式とは? クラフトの不等式の定義 各符号...
こんにちは!くるです! 今回はマルコフ情報源における「定常分布と極限分布」について簡単に解説していきます! 定常分布とは 定常分布とは「1度その確率分布になったら、それ以降確率分布がずっと変わらない分布」です。 例えば、...
こんにちは!くるです! 今回は「マルコフ情報源」と呼ばれる情報理論において重要な概念について説明していこうと思います! マルコフ情報源とは? マルコフ情報源の例 マルコフ情報源とは簡単に言えば、「過去に依存する情報源」で...
こんにちは!くるです! 今回は2つの情報がどれだけ関係があるかを示す「相互情報量」について簡単に解説します! そんなに長くないので、ぜひ最後までご覧ください! 相互情報量とは? 相互情報量は一言で言えば、「2つの情報が互...
こんにちは!くるです! 今回は2つの事象が同時に起こったときに得られる平均情報量を表す「結合エントロピー」について簡単に解説していきます! あんまり長くないので、ぜひ最後までご覧ください! 結合エントロピーとは? 共通点...