ギブスの不等式

ギブスの不等式

ギブスの不等式（英: Gibbs' inequality）は、情報理論の分野において、離散的な事象に対する確率分布のエントロピーの性質を示す基本的な不等式です。これは19世紀の物理学者であり数学者でもあるウィラード・ギブスによって初めて提示されました。

この不等式は、情報の量や不確実性を測る尺度であるエントロピーに関する議論の出発点となり、情報理論における多くの重要な結論や他の関連する不等式（例えば、情報の損失に関するファーノの不等式など）の基礎となっています。

定義

ギブスの不等式は、二つの離散確率分布の間になりたつ関係を示します。いま、ある事象が取りうるn通りの結果に対し、実際の確率分布を P = \{p_1, p_2, \ldots, p_n\} とし、もう一つの比較対象となる確率分布を Q = \{q_1, q_2, \ldots, q_n\} とします。ここで、それぞれの確率 $p_i$ および $q_i$ は非負であり、その合計は1であるとします（すなわち $\sum_{i=1}^n p_i = 1$, $\sum_{i=1}^n q_i = 1$）。

このとき、以下の不等式が成り立ちます。

$$ -\sum_{i=1}^n p_i \log_2 p_i \leq -\sum_{i=1}^n p_i \log_2 q_i $$

ここで、左辺は確率分布 P のエントロピー $H(P)$ に他なりません。右辺は、PとQを用いたある特定の計算結果を示しています。この不等式は、エントロピー $H(P)$ が、PとQを用いたこの計算結果によって上限が与えられることを意味します。

この不等式において等号（$\leq$ ではなく $= $）が成立するのは、二つの確率分布 P と Q が完全に一致する場合、すなわち全ての $i$ について $p_i = q_i$ である場合に限られます。

カルバック・ライブラー情報量との関係

ギブスの不等式は、情報理論で広く用いられるカルバック・ライブラー情報量（Kullback-Leibler divergence）あるいは相対エントロピー（relative entropy）と呼ばれる量と密接に関係しています。カルバック・ライブラー情報量 $D_{\mathrm{KL}}(P\|Q)$ は、確率分布 Q が確率分布 P をどれだけうまく近似できるか（または、QによってPを記述する際に失われる情報量）を示す尺度であり、次のように定義されます。

$$ D_{\mathrm{KL}}(P\|Q) = \sum_{i=1}^n p_i \log_2 \frac{p_i}{q_i} $$

この定義を展開すると、

$$ D_{\mathrm{KL}}(P\|Q) = \sum_{i=1}^n p_i (\log_2 p_i - \log_2 q_i) = \sum_{i=1}^n p_i \log_2 p_i - \sum_{i=1}^n p_i \log_2 q_i $$

となります。ここで、ギブスの不等式 $ -\sum p_i \log_2 p_i \leq -\sum p_i \log_2 q_i $ の両辺に $ \sum p_i \log_2 p_i $ を加えると、$ 0 \leq \sum p_i \log_2 p_i - \sum p_i \log_2 q_i $ となります。これはまさに $ D_{\mathrm{KL}}(P\|Q) \geq 0 $ を意味します。

したがって、ギブスの不等式は「二つの確率分布PとQの間のカルバック・ライブラー情報量は常に非負である」という、カルバック・ライブラー情報量の基本的な性質を示したものに他なりません。これは「異なる確率分布間には必ず何らかの「隔たり」や「情報量の差」が存在する」ことを示唆しています。

証明の概要

ギブスの不等式は数学的に厳密に証明することができます。証明にはいくつかの方法がありますが、よく用いられるのは自然対数（ln）の基本的な性質である「$ \ln x \leq x-1 $ が全ての正の実数 $x$ に対して成り立ち、$x=1$ のときのみ等号が成り立つ」という関係を利用する方法です。

この性質を用いることで、$ -\sum p_i \ln (q_i/p_i) \geq 0 $ を導き、これから $ -\sum p_i \ln q_i \geq -\sum p_i \ln p_i $ を得ます。対数の底の変換公式を使えば、底が2の場合でも同様の不等式が成り立つことが示されます。等号が成り立つのは、先の自然対数の性質で等号が成り立つ条件（$q_i/p_i = 1$）と、証明の途中で使われる他の条件が同時に満たされる場合であり、それが結局 $p_i = q_i$ となる場合に限られることが導かれます。

また、凸関数に関するイェンセンの不等式を用いてギブスの不等式を証明することも可能です。これは、エントロピーが数学的に凸関数と関連が深いことを示しています。

系：エントロピーの上限

ギブスの不等式から導かれる重要な帰結の一つに、離散確率分布のエントロピーの上限に関するものがあります。n個の異なる事象に対する確率分布 $P = \{p_1, \ldots, p_n\}$ のエントロピー $H(P)$ は、常に $\log_2 n$ という値以下になります。

$$ H(P) \leq \log_2 n $$

この証明は比較的容易です。ギブスの不等式において、比較対象とする確率分布 Q として、全ての事象の確率が等しい一様分布 $Q = \{1/n, 1/n, \ldots, 1/n\}$ を選びます。つまり、$q_i = 1/n$ とします。ギブスの不等式にこれを代入すると、

$$ -\sum_{i=1}^n p_i \log_2 p_i \leq -\sum_{i=1}^n p_i \log_2 (1/n) $$

右辺は $ -\sum p_i (-\log_2 n) = (\sum p_i) \log_2 n $ となります。$\sum p_i = 1$ なので、右辺は $ \log_2 n $ となります。したがって、$H(P) \leq \log_2 n$ が得られます。

この結果は、「ある事象に関する不確実性（エントロピー）は、その事象が取りうる結果の数が n 個である場合、全ての結果が等しい確率で出現する場合（一様分布）に最大となる」という直感的な理解を数学的に裏付けるものです。

ギブスの不等式は、情報理論の基礎をなす概念であり、確率分布の性質や情報量の解析において不可欠なツールとなっています。

もう一度検索