イェンセンの不等式

イェンセンの不等式は、1906年にデンマークの数学者ヨハン・イェンセンによって発表された、凸関数に関する非常に重要な不等式です。この不等式は、関数の「平均値」をとる操作と、関数自身をとる操作の順序を入れ替えたときに生じる関係性、特に凸関数においては「平均値を取ってから関数を適用する」よりも「関数を適用してから平均値を取る」方が値が大きくなる（あるいは等しくなる）という性質を定式化したものです。

直感的には、凸関数のグラフをイメージすると理解しやすいでしょう。凸関数とは、どの2点を結んだ線分も、その区間のグラフより上側またはグラフ上にあるような関数のことです。いくつかの点の関数値を重みをつけて平均した値と、それらの点の重み付き平均を計算してから関数値を求めた値を比較すると、前者が後者以上になるという関係を示しています。

この不等式は、確率論や測度論の言葉を用いるとより簡潔に、そして一般的に表現できますが、初等的には離散的な場合と連続的な場合に分けて考えることができます。

離散の場合: 実数上の凸関数 $f$ と、合計が1となる正の実数の列 $p_1, p_2, \ldots$、および実数の列 $x_1, x_2, \ldots$ に対して、以下の関係が成り立ちます。

$$ \sum_{i} p_i f(x_i) \geq f\left(\sum_{i} p_i x_i\right) $$

ここで、左辺はそれぞれの点 $x_i$ における関数値 $f(x_i)$ を重み $p_i$ で平均した値（期待値）であり、右辺は点 $x_i$ 自体を重み $p_i$ で平均した値（期待値）$\sum p_i x_i$ における関数値です。つまり、「関数の期待値は、期待値の関数以上である」と読み替えられます。

連続の場合: 実数上の凸関数 $f$ と、積分が1となる正の可積分関数 $p(x)$、および可積分関数 $y(x)$ に対して、以下の関係が成り立ちます。

$$ \int f(y(x)) p(x) dx \geq f\left(\int y(x) p(x) dx\right) $$

ここで、$p(x)$ が確率密度関数、$y(x)$ が確率変数 $X$ の関数と考えると、これは連続版の「関数の期待値は、期待値の関数以上である」という関係に対応します。ルベーグ積分の観点からは、離散的な場合も連続的な場合も、確率測度 $\mu$ と可測関数 $g$ に対して $\int f(g) d\mu \geq f(\int g d\mu)$ という一つの形式で捉えることができます。

イェンセンの不等式の証明は、凸関数の基本的な性質に基づいています。関数 $f$ の、平均値 $E[X]$（離散の場合は $\sum p_i x_i$、連続の場合は $\int y(x)p(x)dx$ など）における接線を考えます。凸関数の性質として、その点での接線は常にグラフの下側（あるいはグラフ上）に位置します。この接線の方程式を利用して、不等式が成り立つことを示すことができます。

この不等式は、数学の様々な分野、特に確率論や統計学、情報理論、さらには経済学や物理学など、広範な領域で活用されています。統計学においては、ある量の期待値の下限や上限を評価する際に不可欠なツールとなります。

例えば、情報理論における重要な概念であるカルバック・ライブラー・ダイバージェンスが常に非負であることを証明する際に用いられます。また、数学の古典的な不等式である相加相乗平均の関係も、凸関数 $f(x) = -\log x$（または $f(x) = \log x$ を凹関数として扱うか、不等号を反転させて）に対してイェンセンの不等式を適用することで導出できます。

確率論の文脈では、特にシンプルに $E[f(Y)] \geq f(E[Y])$ と表現され、期待値と関数の相互作用を理解する上で中心的な役割を果たします。

イェンセンの不等式は、凸関数という単純ながらも強力な概念が持つ性質を浮き彫りにし、抽象的な平均操作と関数の値の関係に深い洞察を与えてくれます。そのシンプルさと普遍性から、多くの分野で理論の基盤や証明の道具として広く利用されています。

もう一度検索