最後更新：2026-06-23

定義

簡單線性迴歸透過配適下列形式的直線，建立自變數 x 與應變數 y 之間的關係模型

$\hat{y} = a + b\,x$

其中 b 為斜率（x 每變動一單位時 y 的平均變動量），a 為截距（x = 0 時 y 的預測值）。配適值 ŷ 是給定 x 時對 y 的估計值；觀測值 yᵢ 與其配適值之差 $e_i = y_i - \hat{y}_i$ 稱為殘差。

最小平方法

通過一團資料點可畫出許多直線。最小平方法選取使殘差平方和最小的那一條，

$\sum_{i=1}^{n} e_i^2 = \sum_{i=1}^{n}\bigl(y_i - a - b\,x_i\bigr)^2.$

平方使較大的偏差受罰重於小偏差，並避免正負殘差相互抵消。使此總和最小化具有封閉解，毋須迭代。

公式

設 $\bar{x}$ 與 $\bar{y}$ 為 x 與 y 的平均數。最小平方斜率與截距為

$b = \frac{\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^{n}(x_i - \bar{x})^2}, \qquad a = \bar{y} - b\,\bar{x}.$

b 的分子衡量 x 與 y 的共變程度，分母則為 x 的離散程度。截距公式保證配適線通過平均點 $(\bar{x}, \bar{y})$。

判定係數

判定係數 $R^2$ 表示配適線所解釋的 y 變異比例：

$R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}.$

其數值介於 0（直線無法解釋任何變異）與 1（直線恰通過每一個資料點）之間。在簡單線性迴歸中，$R^2$ 等於皮爾森相關係數 r 的平方，因此強相關意味著高 $R^2$。相關的關聯衡量可參見 皮爾森相關係數計算機 計算機。

計算範例

以預設資料集 X = [1, 2, 3, 4, 5]、Y = [2, 4, 5, 4, 5] 為例，平均數為 $\bar{x} = 3$ 與 $\bar{y} = 4$。計算各離差和可得 $S_{xx} = \sum(x_i - \bar{x})^2 = 10$、$S_{xy} = \sum(x_i - \bar{x})(y_i - \bar{y}) = 6$ 與 $S_{yy} = \sum(y_i - \bar{y})^2 = 6$。

配適線 ŷ = 2.2 + 0.6·x 表示 x 每增加一單位 y 上升 0.6，並解釋了 y 約 60% 的變異。

假設與限制

最小平方線在下列條件成立時最為可靠：

• 線性。 直線應能合理概括資料的型態。若資料點呈彎曲，線性配適仍可能產生中等的 $R^2$，卻系統性地偏離趨勢；在信任斜率之前應先檢視散佈圖。
• 離群值。 由於殘差經過平方，單一遠離的資料點即可將直線拉向自身，扭曲斜率與 $R^2$。下結論前應檢查極端的資料點。
• 預測範圍。 外推至遠超過觀測 x 範圍之外具有風險，線性關係在該處未必成立，且唯有 x = 0 接近資料時截距才可解釋。
• 相關不等於因果。 良好的配適顯示 x 與 y 一同變動，但不足以確立 x 導致 y。潛藏的第三變數可能同時驅動兩者。以 Z分數計算機 將變數標準化有助於比較效應，但因果論斷仍須有控制的研究設計。

縱有上述限制，簡單線性迴歸仍是統計學中應用最廣的工具之一，能以透明的封閉解概括一個變數如何依存於另一個變數。