最小二乗法

最小二乗法（Least Squares Method）

最小二乗法は、測定データに含まれる誤差の二乗の和を最小化して、最も妥当な関係式を求める手法です。この方法は、物理現象の測定値を様々な関数（例えば一次関数や対数関数）で近似し、残差平方和を最小にするための係数を求めるためによく使用されます。

歴史

最小二乗法は、1805年にアドリアン＝マリ・ルジャンドルによって初めて公表されました。しかし、カール・フリードリヒ・ガウスは1809年にこの手法を1795年に既に考案していたと主張し、最小二乗法の発明者が誰であるかは不明となっています。

法の概要

最小二乗法では、測定データを次のように表現します。

$$
y = f(x) + \varepsilon
$$

ここで、$y$は測定値、$f(x)$はモデル関数、そして$\varepsilon$は誤差です。測定データには系統誤差と偶然誤差が含まれています。特に偶然誤差は、測定の信号経路に起因し、通常は正規分布に従うと考えられます。誤差が正規分布に従わない場合、得られたモデル関数が信頼性に欠ける可能性があるため注意が必要です。

前提条件

最小二乗法の背後には、以下のような前提があります：
1. 測定値の誤差は無偏で、平均値は0である。
2. 測定誤差の分散は既知であり、測定データごとに異なる場合も許される。
3. 測定は互いに独立であり、誤差の共分散は0である。
4. 誤差は正規分布に従う。

基本概念

想定する関数が一次である場合、例えば$ f(x) = ax + b $とし、測定データをもとに$a$と$b$を求めることができます。このラインフィッティングは、実際の測定データ$(x_i, y_i)$に対する誤差を最小化することが目的です。誤差の大きさは、次のように各$i$について算出されます。

$$
$$

この残差の平方和を最小化し、最適なパラメータを導き出すことが最小二乗法の中心的な目的です。

一次関数の場合の求め方

一次関数の場合、次の式で求められます：

• - $$ a = \frac{n \sum_{k=1}^{n} x_k y_k - \sum_{k=1}^{n} x_k \sum_{k=1}^{n} y_k}{n \sum_{k=1}^{n} x_k^2 - \left( \sum_{k=1}^{n} x_k \right)^2} $$
• - $$ b = \frac{\sum_{k=1}^{n} x_k^2 \sum_{k=1}^{n} y_k - \sum_{k=1}^{n} x_k y_k \sum_{k=1}^{n} x_k}{n \sum_{k=1}^{n} x_k^2 - \left( \sum_{k=1}^{n} x_k \right)^2} $$

解法と拡張

最小二乗法の一般的な解法には、行列を利用した方法が含まれ、正規方程式により解を得ることができます。特に、非線形最小二乗法では、関数が$a_k$の線形結合として表せないときに、反復的な手法（例：ガウス-ニュートン法、レーベンバーグ-マーカート法）が用いられます。

異常値は最小二乗法による近似に対して悪影響を及ぼすため、修正トンプソン-τ法などを用いて除去することが検討されます。

まとめ

最小二乗法はデータ解析やモデルフィッティングにおいて非常に重要な手法であり、さまざまな分野で広範に使用されている技術です。その原理を理解することで、より効果的なデータ解析を行うことが可能となります。非線形問題への応用や異常値への対処方法についての知識も含めて、データ科学における重要なスキルの一部として活用されます。

もう一度検索