情報量

情報量とエントロピー

情報量（じょうほうりょう）とエントロピー（エントロピー）は、情報理論における主要な概念です。これらは、特定の出来事や情報がどれだけの意味を持っているか、またはどれほど起こりにくいかを示す尺度です。

情報量

まず、情報量について説明します。情報量は、特定の事象が発生した際に、それがどれほど「意外」であるかを示します。一般的に、ありふれた出来事（例：「風の音」）は少ない情報を持ち、その一方で特異な出来事（例：「曲の演奏」）はより多くの情報を含んでいると考えられます。

この情報量は、数学的に次のように定義されます。事象Eが起こる確率をP(E)とした場合、その事象が発生したことを知らされたときの自己情報量I(E)は、次の式で表されます。

$$
I(E) = - ext{log}(P(E))
$$

確率P(E)の値は0から1の範囲ですので、自己情報量I(E)は常に非負となります。確率が小さいほど、すなわち起こりにくい事象の方が、より高い情報量を持つことになります。

平均情報量

この情報量には、自己情報量と平均情報量という二つの側面があります。自己情報量が特定の事象に対するものであるのに対し、平均情報量は全体の情報の分散を示すものです。

平均情報量は確率空間における事象の分布を用いて計算され、次のように表現されます。すべての事象A_iに対して、各事象の確率P(A_i) と自己情報量I(A_i)を用います。

$$
H(P) = - ext{Σ}_{A_i ext{ in } Ω} P(A_i) ext{log}(P(A_i))
$$

このH(P)は、エントロピーとも呼ばれ、情報量の期待値を示します。エントロピーは、情報理論における非常に重要な概念であり、通常は正の値またはゼロを取ります。

情報量の加法性

情報量には加法性があり、独立した事象AとBが同時に発生した場合、それらの情報量の合計になります。この特性は、以下のように数学的に表現できます。

$$
I(A, B) = I(A) + I(B)
$$

例えば、52枚のトランプから1枚を選び、そのカードが「ハートの4」である場合、その情報量はlog(52)です。別々の事象「カードのスートがハート」である情報量と「カードの数字が4」である情報量を考えると、これらの情報量の合計は全体として同じ情報量を形成します。

条件付き情報量とエントロピー

情報理論では、条件付き情報量も重要です。事象Bが発生している状態での事象Aの情報量は、次のように表現されます。

$$
I(A | B) = - ext{log}(P(A | B))
$$

また、確率変数Xが存在する場合、Xの条件付きエントロピーH(X | B)は、これを基にして確率の期待値を考慮することで得られます。

エントロピーの応用

エントロピーは、情報量の効率性を示すための基盤であり、さまざまな分野で利用されます。例えば、通信システムやデータ圧縮の技術の設計において、エントロピーを最小化することが求められます。また、熱力学においてもエントロピーの概念は適用され、物質の乱雑さやエネルギーの分散の度合いを測定するために使用されます。

エントロピー発展の歴史

エントロピーの概念は、熱力学の分野で1865年にルドルフ・クラウジウスによって提唱されました。その後、1948年にクロード・シャノンが情報理論におけるエントロピーを定義し、シャノン情報量として知られるようになりました。彼の研究は、情報の理論的側面と実用的側面の両方に革新をもたらしました。

このように、情報量とエントロピーは相互に関連し、情報理論の土台を形成する重要な概念です。

もう一度検索