最終更新: 2026-06-23

定義

単回帰は、説明変数 x と目的変数 y の関係を、次の形の直線で当てはめてモデル化します。

$\hat{y} = a + b\,x$

ここで b は傾き（x が 1 単位変化したときの y の平均的な変化量）、a は切片（x = 0 のときに予測される y の値）です。予測値 ŷ は、与えられた x に対する y の推定値です。観測値 yᵢ とその予測値の差 $e_i = y_i - \hat{y}_i$ を残差とよびます。

最小二乗法

点の集まりの中には、無数の直線を引くことができます。最小二乗法は、残差の二乗和を最小にする直線を選びます。

$\sum_{i=1}^{n} e_i^2 = \sum_{i=1}^{n}\bigl(y_i - a - b\,x_i\bigr)^2.$

二乗することで、大きなずれを小さなずれより重く評価し、正と負の残差が相殺されるのを防ぎます。この和の最小化には閉じた形の解があるため、反復計算は必要ありません。

計算式

$\bar{x}$ と $\bar{y}$ を x と y の平均とします。最小二乗法による傾きと切片は次のとおりです。

$b = \frac{\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^{n}(x_i - \bar{x})^2}, \qquad a = \bar{y} - b\,\bar{x}.$

b の分子は x と y がどれだけ共変するかを表し、分母は x のばらつきを表します。切片の式により、回帰直線が必ず平均点 $(\bar{x}, \bar{y})$ を通ることが保証されます。

決定係数

決定係数 $R^2$ は、回帰直線が説明する y の分散の割合を表します。

$R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}.$

値は 0（直線が変動を全く説明しない）から 1（直線がすべての点を正確に通る）までの範囲をとります。単回帰では $R^2$ はピアソンの相関係数 r を二乗した値と一致するため、相関が強いほど $R^2$ も高くなります。関連の度合いを測る指標についてはピアソン相関係数の計算ツールの計算をご覧ください。

計算例

既定のデータ X = [1, 2, 3, 4, 5]、Y = [2, 4, 5, 4, 5] を用いると、平均は $\bar{x} = 3$、$\bar{y} = 4$ です。偏差の和を計算すると、$S_{xx} = \sum(x_i - \bar{x})^2 = 10$、$S_{xy} = \sum(x_i - \bar{x})(y_i - \bar{y}) = 6$、$S_{yy} = \sum(y_i - \bar{y})^2 = 6$ となります。

求めた回帰直線 ŷ = 2.2 + 0.6·x は、x が 1 増えるごとに y が 0.6 増加し、y の変動のおよそ 60% を説明します。

前提と限界

最小二乗直線は、いくつかの条件が満たされるときに最も信頼できます。

• 線形性。 直線がデータの傾向を妥当に要約していること。点が曲線を描く場合、直線当てはめでも中程度の $R^2$ が得られる一方で傾向を系統的に外すことがあるため、傾きを信頼する前に散布図を確認します。
• 外れ値。 残差を二乗するため、1 つの遠い点が直線をその方向へ引き寄せ、傾きと $R^2$ の両方を歪めることがあります。結論を出す前に極端な点を吟味します。
• 予測の範囲。 観測した x の範囲から大きく外れた外挿は危険です。そこでは線形関係が成り立たない可能性があり、切片は x = 0 がデータの近くにある場合にのみ解釈できます。
• 相関は因果ではない。 良い当てはまりは x と y が連動して動くことを示すだけで、x が y の原因であることを示すものではありません。背後にある第三の変数が両方を動かしている場合もあります。変数をZスコア計算ツールで標準化すれば効果を比較しやすくなりますが、因果関係の主張には統制された研究が必要です。

これらの注意点はあるものの、単回帰は統計学で最も広く使われる手法の 1 つであり、ある変数が別の変数にどう依存するかを、透明で閉じた形の要約として与えます。