リッジ回帰

リッジ回帰の概要

リッジ回帰（Ridge regression）は、重回帰分析において独立変数間に強い相関がある場合の係数推定手法です。この手法は、計量経済学や化学、工学など様々な分野で広く利用されています。リッジ回帰は、最小二乗法による推定量の不正確さを改善し、より信頼性の高い推定を提供します。

歴史的背景

リッジ回帰は1970年にHoerlとケナードによって初めて提唱されました。彼らは論文「RIDGE regressions: biased estimation of nonorthogonal problems」と「RIDGE regressions: applications in nonorthogonal problems」内で、リッジ分析に関する約10年間の研究成果を発表しました。これにより、リッジ回帰の理論が確立され、多くの研究者に影響を与えることとなりました。

リッジ回帰の必要性

通常、重回帰分析においての最小二乗推定量（OLS）は、多重共線性が存在する場合に不安定になることがあります。この問題な多重共線性は、複数の独立変数間で強い相関が存在する際に発生します。リッジ回帰は、こうした状況での推定の精度を向上させるために、特別に設計されています。

リッジ回帰の数理モデル

数学的には、n×1の列ベクトルであるyと、n×pの計画行列Xがあるとします。この場合、pは通常nよりも小さい値です。リッジ回帰では、Xの列ベクトルが相関していると仮定し、最小二乗推定量を次のように計算します。

最小二乗推定量の式

最小二乗推定量は以下の式で表されます。
$$
egin{aligned}
eta^{ ext{hat}} &= (X'X)^{-1}X'y
ext{この式において、}
eta^{ ext{hat}}は推定された係数のベクトルです。
ext{しかし、多重共線性がある場合は、次のようにリッジ回帰推定量を求めます。}
eta^{ ext{hat}}_{ ext{ridge}} = (X^{ op}X + kI_{p})^{-1}X^{ op}y
ext{ここで、}
I_{p}はp×pの単位行列、kは0より大きい小さな値です。
ext{これにより、リッジ回帰は安定した推定を実現します。}
ext{このモデルが有効な理由は、最小二乗法に対して正則化項を追加することで、推定のばらつきを減少させるからです。}
ext{リッジ回帰の調整されたとり方により、推定スタビリティが高まります。}
ext{これにより、モデルのパフォーマンスが向上し、新しいデータに対しても耐性が生まれます。}

結論

リッジ回帰は、多重共線性が存在するデータに対して、その問題を解決するための強力な手段です。さまざまな応用があるため、研究者や実務者によって利用が進んでいます。信頼性の高い推定を求める際には、リッジ回帰の特性を理解し、適切に活用することが重要です。

もう一度検索