前のページ 1/2 次のページ

最小二乗法(さいしょうにじょうほう、さいしょうじじょうほう;最小自乗法とも書く)は、測定で得られた数値の組を、適当なモデルから想定される一次関数、対数曲線など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、残差の二乗和を最小とするような係数を決定する方法、あるいはそのような方法によって近似を行うことである。

◆前提条件

誤差が正規分布するという前提条件が成り立つならば測定データはモデル関数と白色雑音の和で表わせる。測定データがモデル関数と白色雑音の和で表わせるならば、測定データとモデル関数の差の分散を最小にするようにモデル関数を決定することができる。分散を測定データ点数で乗ずると、残差の二乗和となる。

物理現象の測定データには、誤差が含まれ、それは系統誤差と偶然誤差を含んでいる。このうち、偶然誤差は、測定における信号経路の微視的現象に由来するならば、白色雑音であると期待されることが多い。白色雑音の強度は正規分布することが分かっている。また、社会調査などの誤差理由の特定が困難な場合でも誤差が正規分布になると期待する考え方がある(正規分布#正規分布の適用を参照してください)。

誤差が正規分布に従わない場合、最小二乗法によって得られたモデル関数はもっともらしくないことに注意する必要がある。偶然誤差が正規分布していない場合、系統誤差が無視できないくらい大きくそれをモデル関数に含めていない場合、測定データに正規分布から大きく外れた異常値を含む場合などが該当する。

◆基礎的な考え方

話を簡単にするため、測定値は x, y の二次元の平面に分布するものとし、想定される分布が y = f(x) の形である場合を述べる。想定している関数 f は、既知の関数 g(x) の線型結合で表されていると仮定する。すなわち、

:$f(x)\; =\backslash sum\_^a\_k\; g\_k(x)$

たとえば、g_k(x)=x^{k-1 は、多項式近似であり、特に m=2 の時は $f(x)\; =\; a\_1\; +\; a\_2\; x$ という直線による近似(線形回帰)になる。図は多項式近似で m を 1 から 10 まで増やした例。}

今、測定で得られた、次のような数値の組の集合があるとする。

:$(x,\; y)\; =\; (x\_1,\; y\_1),\; (x\_2,\; y\_2),\; \backslash ldots\; ,\; (x\_n,\; y\_n)$

これら (x, y) の分布が、y = f(x) という関数に従うと仮定したとき、想定される理論値は (x₁, f(x₁)), (x₂, f(x₂)), ..., (x_n, f(x_n)) ということになり、実際の測定値との残差は、各 i につき |y_i - f(x_i)| ということになる。

この残差の大きさは、xy-平面上での (x_i, y_i) と (x_i, f(x_i)) との距離でもある。

ここで、理論値からの誤差の分散の推定値は残差の平方和

:$J\; =\; \backslash sum\_^n\; (y\_i\; -\; f(x\_i))^2$

で与えられるから、J が最小になるように想定分布 f を(すなわち a_kを)、定めればよいということになる。

それには、上式は a_k を変数とする関数と見なすことができるので、J を a_k について偏微分したものをゼロと置く。こうして得られた m 個の連立方程式(正規方程式)を解き、a_k を決定すればよい

◇ 一次方程式への近似

いま、

:$(x,\; y)\; =\; (x\_1,\; y\_1),\; (x\_2,\; y\_2),\; \backslash ldots\; ,\; (x\_n,\; y\_n)$

という測定結果が得られたとする。求めたい一次方程式の式を

:$y=ax+b\backslash ,$

とおくと、aとbは次式で求められる。

:

:

◆正規方程式による解法

当てはめたい関数 f は、

:$f(x)\; =\; (g\_1(x),\; g\_2(x),\; \backslash ldots,\; g\_m(x))\; (a\_1,\; a\_2,\; \backslash ldots,\; a\_m)^T$

と、行列で表すことができる。ここに上つき添字 T は転置行列を表す。

すると、最小にする関数 J は

:$J\; =\; (G\; a\; -\; y)^T\; (G\; a\; -\; y)$

と、表される。ここに、G は、$G\_=\; g\_j(x\_i)$ なる成分を持つ行列、$a\; =\; (a\_1,\; a\_2,\; \backslash ldots,\; a\_m)^T$ で、$y\; =\; (y\_1,\; y\_2,\; \backslash ldots,\; y\_m)^T$。

前章で述べたように J を a のそれぞれの成分で偏微分してゼロと置いた m 個の式(正規方程式)は行列を用いて、

:$G^T\; G\; a\; =\; G^T\; y$

と、表される。行列 G^T G の逆行列が存在すれば、それを用いて a を求めることができる。数値的に解くには、LU分解 や、コレスキー分解 を用いることができる。

J の行列表現は、優決定の連立一次方程式 $G\; a\; =\; y$ を近似的に解くという意味にも解釈できる。これは特異値分解(あるいは擬似逆行列)を用いて解ける。こうすれば、正規方程式の行列 G^T G が正則でない場合も解くことができる。

◆拡張

◇多次元

想定される分布が媒介変数 t を用いて (x, y) = (f(t), g(t)) の形(あるいは f, g は複数の媒介変数によって決まるとしても同様)であっても考察される。

すなわち、測定値 (x_i, y_i) がパラメータ t_i に対する (f(t_i), g(t_i)) を理論値として近似されているものと考えるのである。

この場合、各点の理論値 (f(t_i), g(t_i)) と測定値 (x_i, y_i) の間に生じる残差は

:$\backslash sqrt$

である。ゆえに、残差平方和は

:$$

\sum_^\left\

となるから、この値が最小であるように、f, g を決定するのである。

このように、n 組の (x, y) の測定値 (x_i, y_i) (i = 1, 2, ..., n) を n 組の (x₁, x₂, $\backslash ldots$ x_m) の測定値 (x_1i, x_2i, ..., x_mi) (i = 1, 2, ..., n) に拡張したものも考察することができる。

◇測定の誤差が既知の場合

n 回の測定における誤差があらかじめわかっている場合を考える。異なる測定方法で測定した複数のデータ列を結合する場合などでは、測定ごとに誤差が異なることはしばしばある。誤差が正規分布していると考え、その標準偏差 $\backslash sigma\_i\; (i=1,2,\backslash ldots,n\; )$ で、誤差の大きさを表す。すると、誤差が大きい測定より、誤差が小さい測定の結果により重みをつけて近似関数を与えるべきであるから、

:$J\text{'}\; =\; \backslash sum\_^n\; \backslash frac$

を、最小にするように f を定めるほうがより正確な近似を与える。

毎回の測定が独立ならば、測定値の尤度は exp(-J') に比例する。そこで、上記の J' を最小にする f は、最尤推定値であるとも解釈できる。また、J' は自由度 n-m のカイ二乗分布に従うので、それを用いてモデル f の妥当性を検定することもできる。

毎回の測定誤差が同じ場合、J' を最小にするのは J を最小にするのと同じ意味になる。

◇非線型最小自乗法

前のページ 1/2 次のページ

・最小二乗法 page1

・最小二乗法 page2