尤度関数

尤度関数とは

尤度関数は、ある前提条件に基づいて特定の結果が観察される際の、その条件の尤もらしさを数値で表現するものです。統計学では、前提条件が正しいとした場合に観察される確率を示し、特に最尤法や尤度比検定などで重要な役割を果たします。尤度関数自体は単に「尤度」とも呼ばれますが、その相対的な値に重点が置かれます。

概要

ある事象Aが、条件Bが成立したもとで起こる確率は条件付き[[確率]]として表現されます。この確率を基にして、Aが観察によって確認された場合のBについての推測が行われます。実際、尤度関数は次のように定義されます：

$$
L(b | A) = α imes P(A | B = b)
$$

ここで、αは任意の正の定数です。尤度の重要性を理解するうえで、具体的な数値よりも尤度比、つまり異なる条件下での尤度の比較が重要であることをあらためて認識しましょう。尤度比が1より大きければ、条件b2のほうがより尤もらしいという判断がされます。

ベイズ推定との関係

尤度関数はベイズの定理と密接に関連しています。条件付き[[確率]]は、観察結果が与えられた際にそれに基づいて条件を推測するために使用されます。また、逆に観察結果から前提条件を推論する場合も尤度関数が必要です。ベイズの定理は以下の形で表されます：

$$
P(B | A) = \frac{P(A | B) P(B)}{P(A)}
$$

この式によって、事前[[確率]]に基づく条件付き[[確率]]を計算することができます。尤度関数と確率密度関数は異なる概念であることに注意が必要です。

簡単な例

例えば、コイン投げにおいて表が出る確率をpHとします。2回投げて両方が表になる確率は\(P(HH | pH = 0.5) = 0.25\)です。この場合、尤度関数は\(L(pH = 0.5 | HH) = P(HH | pH = 0.5) = 0.25\)と表せます。尤度は基本的には推測される条件の強さを示すものであるため、観察結果と確率の関係を誤解しないことが重要です。

母数を含むモデルにおける尤度関数

母集団の分布を表現するために、母数を含む確率密度関数を考慮します。統計学では、観察結果から母数を推定する過程で尤度関数を使用します。尤度関数は次の形で表されます：

$$
L(θ | x) = f(x | θ)
$$

ここで、θは推定される母数、xは観察値です。尤度関数が示すのはあくまでも観察結果に基づく仮説の尤もらしさであり、これを確率と混同しないことが必要です。

負の対数尤度

負の対数尤度（NLL）は、尤度関数の対数に-1を掛けたものであり、次のように表されます：

$$
NLL(θ) = -log(L(θ | x)) = -log(p(x | θ))
$$

NLLは尤度の「ありえなさ」を直感的に示します。また、尤度関数が最大のとき、NLLが最小になるという特性があります。最尤推定法や機械学習の損失関数としてNLLが使用されることも多いです。

結論

尤度関数は観察結果と前提条件との関係性を数値的に表現し、統計的推定や検定において不可欠なツールです。その理解は、確率統計に関する知識を深める一助となるでしょう。

もう一度検索