自己情報量とは?分かりやすく解説します!
こんにちは!krです! 今回は新しい分野の情報理論における「自己情報量」について分かりやすく説明していきます! ぜひ最後までご覧ください! 情報量の性質 自己情報量を説明する前に、まず「情報量の性質」について簡単に説明し...
こんにちは!krです! 今回は新しい分野の情報理論における「自己情報量」について分かりやすく説明していきます! ぜひ最後までご覧ください! 情報量の性質 自己情報量を説明する前に、まず「情報量の性質」について簡単に説明し...
こんにちは!krです! 今回は平均情報量の関数「エントロピー関数」について分かりやすく簡単に解説していきます! そんなに長くないので、ぜひ最後までご覧ください!(*’ω’*) エントロピー関数とは...
こんにちは!krです! 今回は平均情報量(エントロピー)に条件が付いた「条件付きエントロピー」について簡単に解説していきます! あんまり長くないので、ぜひ最後までご覧ください! 条件付きエントロピーとは? 簡単な例 例と...
こんにちは!krです! 今回は2つの事象が同時に起こったときに得られる平均情報量を表す「結合エントロピー」について簡単に解説していきます! あんまり長くないので、ぜひ最後までご覧ください! 結合エントロピーとは? 共通点...
こんにちは!krです! 今回は2つの情報がどれだけ関係があるかを示す「相互情報量」について簡単に解説します! そんなに長くないので、ぜひ最後までご覧ください! 相互情報量とは? 相互情報量は一言で言えば、「2つの情報が互...
こんにちは!krです! 今回は「マルコフ情報源」と呼ばれる情報理論において重要な概念について説明していこうと思います! マルコフ情報源とは? マルコフ情報源の例 マルコフ情報源とは簡単に言えば、「過去に依存する情報源」で...
こんにちは!krです! 今回はマルコフ情報源における「定常分布と極限分布」について簡単に解説していきます! 定常分布とは 定常分布とは「1度その確率分布になったら、それ以降確率分布がずっと変わらない分布」です。 例えば、...
こんにちは!krです! 今回は情報源符号化の方法の1つ「ハフマン符号」について説明していきます! ハフマン符号とは? まずは、簡単にハフマン符号について説明しておきます。 ハフマン符号は簡単に言えば「情報を最適な形で符号...
こんにちは!krです! 今回は符号が瞬時符号であるための条件の「クラフトの不等式」について簡単に説明していきます! そんなに長くないので、ぜひ最後までご覧ください! クラフトの不等式とは? クラフトの不等式の定義 各符号...
こんにちは!krです! 今回は情報源符号化の方法の1つ「シャノン・ファノ符号」について説明していきます! シャノンファノ符号とは? まずは、簡単にシャノン・ファノ符号について説明しておきます。 シャノン・ファノ符号は簡単...