ガウス＝マルコフの定理

ガウス＝マルコフの定理

ガウス＝マルコフの定理（Gauss-Markov theorem）は、統計学、特に線形回帰分析の分野における非常に基本的な定理です。この定理は、ドイツの数学者カール・フリードリヒ・ガウス（Carl Friedrich Gauss）と、ロシアの数学者アンドレイ・マルコフ（Andrey Markov）によって、それぞれ独立または関連する研究の中で確立されました。

定理の概要

この定理の核心は、線形回帰モデルにおいて、いくつかの特定の仮定が満たされるならば、最も一般的な推定手法の一つである最小二乗法によって計算される推定量が、数ある推定量の候補の中から最良線形不偏推定量（BLUE: Best Linear Unbiased Estimator）となることを保証することです。簡単に言えば、最小二乗推定量が、線形かつ不偏であるようなすべての推定量の中で、最も「良い」、すなわち最もばらつきが小さいという性質を持つことを示しています。

線形回帰モデルと最小二乗推定量

定理が対象とするのは、以下のような線形回帰モデルです。

`Y = Xβ + ε`

ここで、Yは目的変数（観測される結果）のベクトル、Xは説明変数（観測される原因や要因）を含む計画行列、βは推定したい未知の係数（パラメータ）のベクトル、εは観測できない誤差項のベクトルです。

統計分析の目的は、観測されたデータ（YとX）を用いて、未知のβの値を推定することです。最小二乗法は、この推定を行う標準的な方法の一つです。最小二乗法では、実際の観測値Yと、モデルによって予測される値（Xβ）との間の差（残差）の二乗和が最小になるようにβを決定します。このようにして得られるβの推定値を、最小二乗推定量 `β̂` と呼びます。数学的には、この推定量はデータ行列Xと観測値ベクトルYを用いて次の式で与えられます。

`β̂ = (XᵀX)⁻¹XᵀY`

ただし、(XᵀX)⁻¹が存在することを前提とします。

ガウス・マルコフ仮定

ガウス＝マルコフの定理が成立するためには、誤差項εに関して以下の重要な仮定（ガウス・マルコフ仮定）が満たされている必要があります。

1. 線形性: モデルは係数βに対して線形である。
2. 厳密な外生性（または固定されたX）: 説明変数Xは誤差項εと相関しない。インプットに示された `E[ε] = 0` という仮定は、より一般的な線形回帰の文脈では `E[ε|X] = 0` という条件付き期待値のゼロを意味することが多いです。
3. 不偏性: 誤差項の期待値はゼロである。`E[ε] = 0`。これは誤差に系統的な偏りがないことを意味します。
4. 等分散性（Homoscedasticity）: すべての誤差項の分散は一定である。`Var(εᵢ) = σ²`。つまり、誤差のばらつきはデータのどこを見ても同じであると仮定します。
5. 無相関性（Uncorrelatedness）: 異なる観測に対応する誤差項の間には相関がない。`Cov(εᵢ, εⱼ) = 0 (i ≠ j)`。これは、あるデータの誤差が他のデータの誤差に影響しないことを意味します。

これらの仮定をまとめると、誤差項の分散共分散行列が対角行列になり、その対角成分がすべて等しい `Cov[ε] = σ²I` （σ²は未知の正の定数、Iは単位行列）という形で表現できます。

重要な点として、これらの仮定の中には、誤差項が正規分布に従うという仮定は含まれていません。正規性の仮定は、推定量のt検定やF検定を行う際に必要になりますが、最小二乗推定量がBLUEであること自体は正規性を必要としません。

定理の内容

上記のガウス・マルコフ仮定が満たされるとき、最小二乗推定量 `β̂` は最良線形不偏推定量（BLUE）である。

「線形」とは、推定量が観測値Yの線形関数（または線形結合）として書けることを意味します。
「不偏」とは、推定量の期待値が真のパラメータ値βに一致することを意味します。つまり、平均的には真の値からずれない推定量です。
「最良（Best）」とは、線形かつ不偏であるようなすべての推定量の中で、最も分散が小さい（または分散共分散行列が他のどの線形不偏推定量の分散共分散行列よりも小さい、というより正確には非負定値である）ことを意味します。分散が小さい推定量は、ばらつきが少なく、より精密な推定を与えると考えられます。

したがって、定理は、適切な条件下では、最小二乗法で得られる推定値が、線形かつ不偏な推定量としては最も信頼できる（最も精度が高い）推定値であると述べているのです。

定理の意義

ガウス＝マルコフの定理は、回帰分析において最小二乗法がなぜこれほどまでに広く用いられるのかを理論的に正当化するものです。仮定が満たされる限り、他の線形不偏推定量を探す必要はなく、最小二乗推定量を用いることが最適であることがわかります。逆に、これらの仮定が満たされない状況では、最小二乗推定量はもはやBLUEではなくなり、例えば一般化最小二乗法（GLS）などの別の推定方法がより効率的になる場合があります。

証明の概略

証明では、任意の線形不偏推定量 `β̃` を `β̃ = CY` とおき、これが不偏である条件 `CX = I` を利用します。最小二乗推定量 `β̂` は `Ĉ = (XᵀX)⁻¹Xᵀ` に対応します。誤差項の仮定から、`β̃` の分散共分散行列は `σ²CCᵀ`、`β̂` の分散共分散行列は `σ²ĈĈᵀ` となります。証明の要点は、`CCᵀ - ĈĈᵀ` が非負定値行列であることを示すことです。これは、`ĈX = I` および `CX = I` という不偏性の条件と、適切な行列演算を用いることで導かれます。最終的に `Cov[β̃] ⪰ Cov[β̂]` という関係が示され、`β̂` が最良であることが証明されます。これは、行列A ⪰ B が A-B が非負定値行列であることを意味する記法です。

ガウス＝マルコフの定理は、統計学における推測の理論的な基盤を理解する上で不可欠な定理です。

もう一度検索