尤度方程式

尤度方程式について

尤度方程式（ゆうどほうていしき）は、統計学において重要な役割を果たす方程式であり、対数尤度関数の極値条件を示します。この方程式は、最尤法という統計的推定手法の一部として利用されます。

概要

まず、n個の独立同分布の確率変数を考えます。これを観測データ`D = {Di | i ∈ {1, ..., n}}`とし、観測値を`d = {di | i ∈ {1, ..., n}}`と定義します。これらのデータは、真の分布から無作為に抽出されていると仮定します。次に、確率密度関数`f(X | θ)`に従う確率モデルが導入されます。この関数におけるθは、分布パラメータの集合で、パラメータ空間Θに属します。目的は、与えられた観測データdを最もよく説明するθを求めることです。この過程が最尤推定です。

尤度関数と対数尤度関数の定義

与えられたデータに対する尤度関数`L(θ | d)`と対数尤度関数`l(θ | d)`は次のように定義されます。

• - 尤度関数：

L(θ | d) = ∏ (i=1 to n) f(X = di | θ)

• - 対数尤度関数：

l(θ | d) = ln L(θ | d) = ∑ (i=1 to n) ln f(X = di | θ)

これにより、尤度関数は観測データの各値の尤度の積となり、対数尤度関数はその和となります。最尤法では、対数尤度関数を最大化するθを求めます。

尤度方程式の導出

最尤推定値`θ^`は、対数尤度関数 `l(θ | d)` の勾配がゼロになるという条件を満たします。すなわち、

∂l(θ | d) / ∂θ = 0

この方程式が尤度方程式と呼ばれ、左辺に現れる勾配ベクトルはスコア関数と呼ばれます。多くの場合、最尤推定値の導出は、尤度方程式を解くという形で整理されます。

具体例

尤度方程式を用いる具体的な例として、正規分布やワイブル分布、ガンマ分布の最尤推定が挙げられます。たとえば、正規分布に従うデータの対数尤度関数は、平均μと分散σ²を用いて定義され、尤度方程式を解くことにより最尤推定値が得られます。

正規分布の例

d_iが平均μ、分散σ²の正規分布に従う場合、対数尤度関数は次の形を取ります。：

l(μ, σ², x) = - (n/2) ln(2π) - (n/2) ln(σ²) - (1/(2σ²)) ∑ (i=1 to n) (xi - μ)²

ここから、任意のμとσ²に対する勾配を計算し、尤度方程式を解くことによって最尤推定が得られます。

その他の分布

他にも、ワイブル分布やガンマ分布についても同様に尤度方程式を用いて分析が可能です。

数値解法

尤度方程式が解析的に解けない場合には、数値微分によってスコア関数をゼロにするパラメータを求める必要があります。代表的な方法としてニュートン＝ラフソン法があり、これは収束が早いですが、計算負荷が高くなるため、初期値の設定には注意が必要です。フィッシャーのスコア法は、ニュートン＝ラフソン法の代替手段として使用されることもあります。

まとめ

以上のように、尤度方程式は統計的推定において重要な役割を果たし、データから最適なモデルのパラメータを導出するための基盤となります。最尤推定は、様々な分布の解析に応用され、実際の問題解決に寄与しています。

もう一度検索