最小2乗法にはさまざまな顔がありますが、 ここでは、もっぱら得られたデータを何らかの関係式(実験式)に当てはめる際の、 パラメーターの決定手法という立場から、 そのポイントをまとめておきます。 また関係式としては線形の関係式に限定します。
ある物理量 \(x\) を種々変えて実験を行って物理量 \(y \)を測定し、 \(N\) 個のデータのセット \((x_i, y_i)~(i = 1 \ldots N)\) を得たとしましょう。 このデータを \(y = ax + b\) という線形の関係式に当てはめてパラメータ \(a, b\) を推定する際、 通常最小2乗法が用いられます。
測定データ \(y_i\) の精度(分散)は一定で、実験条件 \(x_i\) には誤差がないものとしましょう。 最小2乗法は残差2乗和
\begin{equation} S = \sum_i {(y_i - a x_i - b)^2} \label{eq:rsqsum} \end{equation}
を最小にするようにパラメータ \(a, b\) を決めます。 それには次の連立方程式(正規方程式)を解けばよいのです。
\begin{eqnarray} S_{xx} a + S_x b &=& S_{xy} \label{eq:neq1} \\ S_x a + N b &=& S_y \label{eq:neq2} \end{eqnarray}
ここで \(S_q = \sum_i {q_i}\) です。 ここからパラメータは次のように定まります。
\begin{eqnarray} a &=& \frac{N S_{xy} - S_{x}S_{y}}{N S_{xx} - S_{x}^2} \label{eq:leq1} \\ b &=& \frac{S_{y} - a S_{x}}{N} = \frac{S_{xx}S_{y} - S_{xy}S_{x}}{N S_{xx} - S_{x}^2} \label{eq:leq2} \end{eqnarray}
最小2乗法で定めた直線は点 \((\bar{x}, \bar{y})\) を通ります (ここで \(\bar{x}, \bar{y}\) はそれぞれ \(x, y\) のデータセットの平均 \(S_x/N, S_y/N\))。 また残差2乗和の最小値 \(S_\mrm{min}\) は次式で与えられます。
\begin{equation} S_\mrm{min} = S_{yy} - (a S_{xy} + b S_y) \label{eq:minsq} \end{equation}
観測データの変動を説明する立場からは、次の関係式を想定し、係数 \(a\) の存在の当否、 そしてその値を推定する問題として最小2乗法が現れます (この立場からはしばしば回帰分析と呼ばれます)。
\begin{equation} y - \bar{y} = a (x - \bar{x}) \label{eq:regeq} \end{equation}
\(x\) と \(y\) の間の相関の強さを示す量として次式で与えられる相関係数 \(r\) があります。
\begin{equation} r = \frac{NS_{xy} - S_x S_y}{\sqrt{(N S_{xx} - S_x^2)(N S_{yy} - S_y^2)}} \label{eq:colcoeff} \end{equation}
相関係数の絶対値は 1 より小さく(\(|r| \le 1\))、 \(x\) と \(y\) の間に直線関係が精確に成立すれば相関係数は+1あるいは -1になり、 直線関係が認められなくなるに従って 0 に近づきます。 しばしば相関係数 \(r\) は寄与率(決定係数)\(r^2\) の形で扱われます。
\begin{equation} r^2 = 1 - \frac{NS_\mrm{min}}{N S_{yy} - S_y^2} \label{eq:detcoeff} \end{equation}
寄与率は \(y\) の \(x\) に対する依存性を考えることで、 どれほど\(y\) の変動を説明できるかを示す指標と考えることができます。
測定値 \(y_i\) の分散を \(\sigma^2\) とすると最小2乗法で定めたパラメータ \(a, b\) の分散 \(\sigma_a^2\)、\(\sigma_b^2\) および共分散 \(\sigma_{ab}\) は次式で与えられます。
\begin{eqnarray} \sigma_a^2 &=& \frac{N}{N S_{xx} - S_{x}^2} \sigma^2 \label{eq:peq1} \\ \sigma_b^2 &=& \frac{S_{xx}}{N S_{xx} - S_{x}^2} \sigma^2 \label{eq:peq2} \\ \sigma_{ab} &=& -\frac{S_x}{N S_{xx} - S_{x}^2} \sigma^2 \label{eq:peq3} \end{eqnarray}
測定データを \(y = ax + b\) に当てはめてパラメータ \(a, b\) を精度よく推定するには、 測定値のばらつき \(\sigma^2\) を抑えるのは無論のこと、 測定にあたってできるだけ \(x\) の範囲を広くとって測定するのが望ましく(\(N S_{xx} - S_{x}^2\) を大きく)、 切片 \(b\) については \(x = 0\) 周りのデータを取るのがよい(\(S_{xx}\) を小さく)、 わけです。 またパラメータ \(a, b\) は一般には統計的に独立でないので、 \(a, b\) から誘導される量の誤差の推定には注意が必要です。
なお測定値 \(y_i\) の分散 \(\sigma^2\) があらかじめ分かっていない時には、 \eqref{eq:minsq} 式で与えられる残差2乗和の最小値 \(S_\mrm{min}\) を用いて、 次式で推定することができます。
\begin{equation} \sigma^2 = \frac{S_\mrm{min}}{N - 2} = \frac{S_{yy} - (a S_{xy} + b S_y)}{N - 2} \label{eq:evalvar} \end{equation}
多くの科学技術系のソフトウェアでは、 (デフォルトの設定では)測定値の分散をこの式に基づいて求めて、 パラメーターの標準偏差を評価しているようです。 けれども実際の測定データでは、 必ずしもデータの間の統計的な独立性が成り立っておらず、 しばしば過小評価になりがちなことには注意が必要です。
もっと一般的に、実験条件が温度・圧力・濃度等の m 個の要素 (温度・圧力・濃度といったものでなくとも \((1, x, x^2, ..., x^{m-1})\) といった多項式を考えてもよい) で与えられ、その下で物理量 \(y\) を測定して同様に線形の関係式を考えたとしましょう。 これは実験条件を \(m\) 成分のベクトル \(\vec{x}\) で表すと \(y = {}^\mrm{t}\vec{x} ~\vec{a}\) という関係に、 \(N\) 個の実験条件 \(X\)(\(X\) は \(N\)行\(m\)列の行列)に対する \(N\) 個の実験結果 \(\vec{Y}\) を当てはめる問題と見ることができ、 コンパクトに最小2乗法の表現を与えることができます。
上記の表記に基づけば残差2乗和は次式で表され、
\begin{equation} S = (\vec{Y} - X \vec{a})^2 \label{eq:rsqsum2} \end{equation}
正規方程式は次式のようになります。
\begin{equation} {}^\mrm{t}X X \vec{a} = {}^\mrm{t}X \vec{Y} \label{eq:normeq2} \end{equation}
ですからパラメータ \(\vec{a}\) は次式で与えられ
\begin{equation} \vec{a} = ({}^\mrm{t}X X)^{-1} {}^\mrm{t}X \vec{Y} \label{eq:normeqmul} \end{equation}
残差2乗和の最小値は次式で与えられることになります。
\begin{equation} S_\mrm{min} = {}^\mrm{t}\vec{Y} (\vec{Y} - X \vec{a}) \label{eq:rsqmin2} \end{equation}
またパラメータの分散を与える共分散行列 \(\langle \langle \vec{a} {}^\mrm{t}\vec{a} \rangle \rangle\) は次式で与えられます。
\begin{equation} \langle \langle \vec{a} {}^\mrm{t}\vec{a} \rangle \rangle = ({}^\mrm{t}X X)^{-1} {}^\mrm{t}X \langle \langle \vec{Y} {}^\mrm{t}\vec{Y} \rangle \rangle X ({}^\mrm{t}X X)^{-1} = ({}^\mrm{t}X X)^{-1} \sigma^2 \label{eq:covarmat} \end{equation}