최종 업데이트: 2026-06-23

정의

단순 선형 회귀는 독립변수 x와 종속변수 y의 관계를 다음 형태의 직선으로 적합하여 모형화합니다.

$\hat{y} = a + b\,x$

여기서 b는 기울기(x가 한 단위 변할 때 y의 평균 변화량)이고 a는 절편(x = 0일 때 y의 예측값)입니다. 적합값 ŷ는 주어진 x에 대한 y의 추정치이며, 관측값 yᵢ와 그 적합값의 차이 $e_i = y_i - \hat{y}_i$를 잔차라고 합니다.

최소제곱

점들의 구름을 가로지르는 직선은 무수히 많이 그을 수 있습니다. 최소제곱법은 그중 잔차의 제곱합을 최소화하는 직선을 고릅니다.

$\sum_{i=1}^{n} e_i^2 = \sum_{i=1}^{n}\bigl(y_i - a - b\,x_i\bigr)^2.$

제곱은 작은 편차보다 큰 편차에 더 큰 벌점을 주고, 양의 잔차와 음의 잔차가 상쇄되는 것을 막습니다. 이 합을 최소화하는 문제는 닫힌 형태의 해를 가지므로 반복 계산이 필요 없습니다.

계산식

$\bar{x}$와 $\bar{y}$를 각각 x와 y의 평균이라고 하면, 최소제곱 기울기와 절편은 다음과 같습니다.

$b = \frac{\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^{n}(x_i - \bar{x})^2}, \qquad a = \bar{y} - b\,\bar{x}.$

b의 분자는 x와 y가 함께 변하는 정도를, 분모는 x의 산포를 나타냅니다. 절편 공식은 적합 직선이 평균점 $(\bar{x}, \bar{y})$를 반드시 지나도록 보장합니다.

결정계수

결정계수 $R^2$은 적합 직선이 설명하는 y 분산의 비율을 나타냅니다.

$R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}.$

값은 0(직선이 변동을 전혀 설명하지 못함)에서 1(직선이 모든 점을 정확히 지남)까지의 범위를 가집니다. 단순 선형 회귀에서 $R^2$은 피어슨 상관계수 r의 제곱과 같으므로, 상관이 강하면 $R^2$도 높습니다. 관련된 연관성 측도는 피어슨 상관계수 계산기 계산을 참고하십시오.

계산 예시

기본 데이터인 X = [1, 2, 3, 4, 5], Y = [2, 4, 5, 4, 5]를 사용하면 평균은 $\bar{x} = 3$, $\bar{y} = 4$입니다. 편차 합을 구하면 $S_{xx} = \sum(x_i - \bar{x})^2 = 10$, $S_{xy} = \sum(x_i - \bar{x})(y_i - \bar{y}) = 6$, $S_{yy} = \sum(y_i - \bar{y})^2 = 6$이 됩니다.

적합 직선 ŷ = 2.2 + 0.6·x는 x가 한 단위 늘 때마다 y가 0.6씩 올라가며, y 변동의 약 60%를 설명합니다.

가정과 한계

최소제곱 직선은 다음 조건들이 충족될 때 가장 신뢰할 수 있습니다.

• 선형성. 직선이 자료 패턴을 무리 없이 요약할 수 있어야 합니다. 점들이 곡선을 그리면 선형 적합으로도 어느 정도의 $R^2$이 나올 수 있지만 추세를 체계적으로 놓칩니다. 기울기를 신뢰하기 전에 산점도를 먼저 살펴봅니다.
• 이상치. 잔차를 제곱하기 때문에 멀리 떨어진 점 하나가 직선을 자기 쪽으로 끌어당겨 기울기와 $R^2$을 모두 왜곡할 수 있습니다. 극단적인 점은 결론을 내리기 전에 검토합니다.
• 예측 범위. 관측된 x 범위를 한참 벗어나 외삽하는 것은 위험합니다 — 선형 관계가 그곳에서는 성립하지 않을 수 있고, 절편도 x = 0이 데이터 근처에 있을 때에만 해석할 수 있습니다.
• 상관은 인과가 아닙니다. 적합이 좋다는 것은 x와 y가 함께 움직인다는 것을 보여줄 뿐, x가 y의 원인임을 입증하지는 않습니다. 숨은 제3의 변수가 둘 다를 움직이고 있을 수 있습니다. Z점수 계산기로 변수를 표준화하면 효과를 비교하는 데 도움이 되지만, 인과 주장에는 통제된 연구가 필요합니다.

이런 주의점들에도 불구하고 단순 선형 회귀는 한 변수가 다른 변수에 어떻게 의존하는지를 투명하고 닫힌 형태로 요약해 주는, 통계학에서 가장 널리 쓰이는 도구의 하나로 남아 있습니다.