Zuletzt aktualisiert: 2026-06-23

Definition

Die einfache lineare Regression beschreibt den Zusammenhang zwischen einer unabhängigen Variablen x und einer abhängigen Variablen y, indem sie eine Gerade der Form

$\hat{y} = a + b\,x$

anpasst. Dabei ist b die Steigung (die mittlere Änderung von y je Einheit x) und a der Achsenabschnitt (der vorhergesagte Wert von y bei x = 0). Der angepasste Wert ŷ ist eine Schätzung von y für ein gegebenes x; die Differenz zwischen einem beobachteten Wert yᵢ und seinem angepassten Wert, $e_i = y_i - \hat{y}_i$, heißt Residuum.

Methode der kleinsten Quadrate

Durch eine Punktwolke lassen sich viele Geraden legen. Die Methode der kleinsten Quadrate wählt diejenige aus, die die Summe der quadrierten Residuen minimiert:

$\sum_{i=1}^{n} e_i^2 = \sum_{i=1}^{n}\bigl(y_i - a - b\,x_i\bigr)^2.$

Das Quadrieren gewichtet große Abweichungen stärker als kleine und verhindert, dass sich positive und negative Residuen aufheben. Die Minimierung dieser Summe besitzt eine geschlossene Lösung, sodass keine Iteration erforderlich ist.

Formeln

Seien $\bar{x}$ und $\bar{y}$ die Mittelwerte von x und y. Steigung und Achsenabschnitt der kleinsten Quadrate lauten

$b = \frac{\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^{n}(x_i - \bar{x})^2}, \qquad a = \bar{y} - b\,\bar{x}.$

Der Zähler von b misst, wie x und y gemeinsam variieren; der Nenner ist die Streuung von x. Die Formel für den Achsenabschnitt stellt sicher, dass die Regressionsgerade durch den Schwerpunkt $(\bar{x}, \bar{y})$ verläuft.

Bestimmtheitsmaß

Das Bestimmtheitsmaß $R^2$ gibt den Anteil der Varianz von y an, den die Regressionsgerade erklärt:

$R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}.$

Es reicht von 0 (die Gerade erklärt keinerlei Streuung) bis 1 (die Gerade verläuft exakt durch jeden Punkt). In der einfachen linearen Regression ist $R^2$ gleich dem Quadrat des Pearson-Korrelationskoeffizienten r, sodass eine starke Korrelation ein hohes $R^2$ nach sich zieht. Das verwandte Zusammenhangsmaß behandelt der Korrelationskoeffizient berechnen (Pearson r).

Rechenbeispiel

Mit dem voreingestellten Datensatz X = [1, 2, 3, 4, 5] und Y = [2, 4, 5, 4, 5] betragen die Mittelwerte $\bar{x} = 3$ und $\bar{y} = 4$. Die Abweichungssummen ergeben $S_{xx} = \sum(x_i - \bar{x})^2 = 10$, $S_{xy} = \sum(x_i - \bar{x})(y_i - \bar{y}) = 6$ und $S_{yy} = \sum(y_i - \bar{y})^2 = 6$.

Die Regressionsgerade ŷ = 2,2 + 0,6·x steigt je Einheit x um 0,6 in y und erklärt etwa 60 % der Streuung von y.

Voraussetzungen und Grenzen

Die Gerade der kleinsten Quadrate ist am verlässlichsten, wenn mehrere Bedingungen erfüllt sind:

• Linearität. Eine Gerade sollte das Muster sinnvoll zusammenfassen. Krümmen sich die Punkte, kann eine lineare Anpassung trotz eines mäßigen $R^2$ den Trend systematisch verfehlen; das Streudiagramm sollte vor jeder Deutung der Steigung betrachtet werden.
• Ausreißer. Da die Residuen quadriert werden, kann ein einzelner weit entfernter Punkt die Gerade zu sich ziehen und sowohl Steigung als auch $R^2$ verzerren. Extreme Punkte sind vor einer Schlussfolgerung zu prüfen.
• Vorhersagebereich. Eine Extrapolation weit außerhalb des beobachteten Wertebereichs von x ist riskant — der lineare Zusammenhang muss dort nicht gelten, und der Achsenabschnitt ist nur dann interpretierbar, wenn x = 0 nahe an den Daten liegt.
• Korrelation ist keine Kausalität. Eine gute Anpassung zeigt, dass x und y gemeinsam variieren; sie belegt nicht, dass x die Ursache von y ist. Eine verborgene dritte Variable kann beide antreiben. Eine Standardisierung der Variablen über den Z-Wert Rechner hilft beim Vergleich von Effekten, doch Aussagen über Ursachen erfordern eine kontrollierte Studie.

Trotz dieser Einschränkungen bleibt die einfache lineare Regression eines der am weitesten verbreiteten Werkzeuge der Statistik, da sie eine transparente, geschlossene Zusammenfassung der Abhängigkeit einer Variablen von einer anderen liefert.