結合エントロピー

結合エントロピー（Joint Entropy）

結合エントロピーとは、情報理論において2つの確率変数に関連する情報量を表す概念です。このエントロピーは、通常、確率変数XとYが与えられたとき、記号H(X, Y)で示されます。また、その単位は、使用する対数の底に応じて、ビット（bit）、ナット（nat）、ディット（dit）などがあります。

統計的背景

確率変数Xに対するエントロピーH(X)を考えた場合、これは事象xが発生する確率pxで表現されます。

$$
H(X) = - ext{∑}_x p_x ext{log}_2(p_x)
$$

同様に、確率変数Yについても定義します。Yのイベントyが発生する確率をpyとし、YのエントロピーはH(Y)と表されます。ここでXとYが相互に関連する場合、系全体のエントロピーH(X, Y)は分けて計算したH(X)とH(Y)の単純な合計にはならないことに注意が必要です。

例えば、1から8までの整数を例に、Xを選んだ整数が奇数かどうか、Yをその整数が素数かどうかだと定義します。この場合、H(X)とH(Y)はそれぞれ1となりますが、Xが偶数である場合、Yによる制約により、全体のエントロピーH(X, Y)は2ビットより低下します。

結合エントロピーの定義

結合エントロピーは、考えうる結果の対(x, y)を考慮し、それぞれの発生確率px,yを利用して表現されます。これにより、結合エントロピーは次の式で定義されます。

$$
H(X, Y) = - ext{∑}_{x,y} p_{x,y} ext{log}_2(p_{x,y})
$$

よって、XとYの相互作用を考慮した情報量の合計の理解が可能となります。

特性

結合エントロピーには特有の性質がいくつかあり、まずは次の二点に注目します：
1. 不確かさの増加：結合エントロピーH(X, Y)は常に各単独のエントロピーH(X)やH(Y)以上の値をとるため、他の確率変数を追加するときに不確かさが減少することはありません。

$$
H(X, Y)
geq H(X)
$$

この不等式が等式になるのは、YがXのより決定的な関数である場合に限ります。

2. 劣加法性：結合エントロピーはそれぞれのエントロピーの総和を超えることはないとされ、以下の関係が成立します：

$$
H(X, Y)
leq H(X) + H(Y)
$$

この等式が成り立つのは、確率変数XとYが独立であるときになります。さらに、他のエントロピーと同様に、結合エントロピーも常に0以上の値を持ちます。

$$
H(X, Y)
geq 0
$$

他のエントロピーとの関係

結合エントロピーは、他のエントロピーの概念、特に条件付きエントロピーや相互情報量を理解する上でも重要です。条件付きエントロピーH(X|Y)は次のように表現され、結合エントロピーとH(Y)の関係を示しています。

$$
H(X|Y) = H(X, Y) - H(Y)
$$

また、相互情報量I(X; Y)はH(X)やH(Y)、およびH(X, Y)の組み合わせにより定義されます。

$$
I(X; Y) = H(X) + H(Y) - H(X, Y)
$$

このように、結合エントロピーは情報理論の中で非常に重要な役割を果たしており、情報の流れや関係性を把握するための基盤となっています。

参考文献

• - Korn, Theresa M. & Korn, Granino Arthur. Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review. New York: Dover Publications.

もう一度検索