フィッシャー情報量

フィッシャー情報量とは

フィッシャー情報量（Fisher Information）は、統計学と情報理論において、確率変数がパラメータに関連してどれだけの情報を持つかを測る指標です。この量は、統計学者ロナルド・フィッシャーの名に由来します。

定義

フィッシャー情報量は、確率変数 $X$ が母数 $\theta$ に関連する情報の量として定義されます。まず、$\theta$ を母数、$X$ を確率密度関数 $f(x|\theta)$ で表される確率変数とします。この場合、$\theta$ の尤度関数 $L(\theta | x)$ は次のように定義されます。

$$
L(\theta | x) = f(x | \theta)
$$

スコア関数 $V(x; \theta)$ は、対数尤度関数の偏微分により定義され、次の式で表されます。

$$
V(x; \theta) = \frac{\partial}{\partial \theta} \ln L(\theta | x)
$$

このスコア関数の2次のモーメントとしてフィッシャー情報量 $\mathcal{I}_{X}(\theta)$ が定義されます。

$$
\mathcal{I}_{X}(\theta) = \mathbb{E}\left[V(x; \theta)^{2} | \theta \right]
$$

ここで、$E[\cdot]$ は期待値を表します。フィッシャー情報量は、確率変数 $X$ の分布が持つ情報の量を示し、$X$ が持つ確率密度関数 $f(x|\theta)$ のみに依存します。

特性

フィッシャー情報量は常に非負であり、特に分布が独立している場合、フィッシャー情報量は加算性を持ちます。これは、2つの独立な確率変数 $X$ と $Y$ に対して、次のように表現されます。

$$
\mathcal{I}_{X,Y}(\theta) = \mathcal{I}_{X}(\theta) + \mathcal{I}_{Y}(\theta)
$$

また、フィッシャー情報量は、母数 $\theta$ の不偏推定量についてコクラン–ラオの不等式に従い、以下のように表されます。

$$
\mathrm{var}(\hat{\theta}) \geq \frac{1}{\mathcal{I}(\theta)}
$$

これは、推定量の分散が小さいほど、真の母数に近い値を得ることができることを示しています。

フィッシャー情報行列

フィッシャー情報量は多次元のケースに拡張され、フィッシャー情報行列と呼ばれます。$N$次元のパラメータベクトルに対して、フィッシャー情報行列は次のように定義されます。

$$
\mathcal{I}(\mathbf{\theta}) = \mathbb{E}\left[\frac{\partial}{\partial \mathbf{\theta}} \ln f(X; \theta)\frac{\partial}{\partial \mathbf{\theta}^{T}} \ln f(X; \theta)\right]
$$

スカラーではなく行列として表現され、各要素はそれぞれ関連するパラメータ間の情報の依存関係を示します。

具体例

フィッシャー情報量は、特定の確率分布において具体的な計算が可能です。例えば、ベルヌーイ分布におけるフィッシャー情報量は、試行の成功数 $A$ と失敗数 $B$ に基づいて次のように計算されます。

$$\mathcal{I}(\theta) = \frac{n}{\theta (1-\theta)}$$

ここで、$n$ は試行回数です。また、正規分布、ガンマ分布など、他の多くの分布においても同様に計算が可能です。

まとめ

フィッシャー情報量は、統計的推定やデータ解析において非常に重要な概念です。情報の量を定量的に把握できるこの指標は、多様な分野において応用可能であり、確率論の理解を深める助けとなります。

もう一度検索