Lineare Regression (ML)
- Eingeführt von
- Legendre, A.-M. & Gauss, C.F.
- Jahr
- 1805–1809
- Typ
- Supervised regression
- Familie
- Machine learning
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Die lineare Regression passt eine lineare Beziehung zwischen einer oder mehreren Eingabemerkmalen und einem kontinuierlichen numerischen Ergebnis an, indem die Summe der quadrierten Vorhersagefehler minimiert wird.
Als Modell des maschinellen Lernens wird sie auf gelabelten Beispielen trainiert und auf zurückgehaltenen Daten evaluiert, was sie zum einfachsten Baseline-Modell für überwachtes Lernen für jede Regressionsaufgabe macht.
Die Intuition hinter der Methode
Stellen Sie sich vor, Sie zeichnen die am besten passende Linie durch ein Streudiagramm von Datenpunkten. Die lineare Regression macht genau das für viele Prädiktoren gleichzeitig: Sie findet die Kombination von Merkmalsgewichten, die den gesamten quadrierten Abstand zwischen den Vorhersagen der Linie und den tatsächlichen Werten minimiert. Da die Beziehung als einfache gewichtete Summe der Eingaben ausgedrückt wird, sagt Ihnen jeder Koeffizient direkt, wie stark sich das vorhergesagte Ergebnis ändert, wenn dieses Merkmal um eine Einheit erhöht wird, während alles andere konstant gehalten wird. Diese Transparenz macht die lineare Regression einzigartig einfach zu erklären und zu überprüfen, auch wenn sie bei gekrümmten oder interaktiven tatsächlichen Beziehungen zu Unteranpassung (underfitting) neigt.
Geschichte
Die Methode der kleinsten Quadrate wurde unabhängig von Legendre 1805 und Gauss um 1809 veröffentlicht. Mitte des 20. Jahrhunderts war die lineare Regression zur grundlegenden Technik der angewandten Statistik geworden. Ihre Neudefinition als Modell des maschinellen Lernens – trainiert auf Beispielen, evaluiert auf zurückgehaltenen Daten und regularisiert zur Vermeidung von Überanpassung – gab ihr ein zweites Leben in der prädiktiven Modellierung, wo sie die kanonische erste Baseline für jedes Regressionsproblem bleibt.
Wann wird sie eingesetzt?
Verwenden Sie lineare Regression, wenn das Ergebnis kontinuierlich ist, die erwartete Beziehung zwischen Prädiktoren und Ergebnis annähernd linear ist und interpretierbare Koeffizienten benötigt werden. Sie ist die richtige Ausgangsbasis, bevor komplexere Modelle ausprobiert werden, und ein gutes Endmodell, wenn ihre Annahmen erfüllt sind. Verwenden Sie sie nicht für binäre oder kategoriale Ergebnisse (verwenden Sie stattdessen logistische Regression), wenn starke nichtlineare Muster oder Interaktionen dominieren oder wenn die Anzahl der Prädiktoren die Stichprobengröße ohne Regularisierung übersteigt.
Grenzen und Hinweise
- Nimmt eine lineare Beziehung an; übersieht Kurven, Schwellenwerte und Interaktionen, es sei denn, sie werden manuell kodiert.
- Empfindlich gegenüber Ausreißern, da das Quadrieren von Fehlern den Einfluss extremer Punkte verstärkt.
- Multikollinearität unter den Prädiktoren bläht die Standardfehler auf und destabilisiert die Koeffizientenschätzungen.
- Erfordert, dass Residuen für gültige Schlussfolgerungen annähernd normalverteilt und homoskedastisch sind.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Koeffizienten sind direkt interpretierbar: Jeder Wert ist ein Grenzwerteffekt in den Einheiten des Ergebnisses.
- Rechentechnisch trivial – passt auch bei großen Datensätzen fast augenblicklich.
- Liefert Standardfehler und p-Werte, die formale Hypothesentests unterstützen.
- Dient als unverzichtbare Basislinie, mit der komplexere Modelle verglichen werden sollten.
- Funktioniert gut und ist vollständig gerechtfertigt, wenn die Linearitätsannahme erfüllt ist.
- Hochgradig kompatibel mit Regularisierungserweiterungen (Ridge, Lasso, Elastic Net), wenn viele Prädiktoren vorhanden sind.
Anwendungen
- Vorhersage eines kontinuierlichen numerischen Ergebnisses aus tabellarischen Merkmalen in jedem Bereich.
- Festlegung einer Leistungsbasislinie vor dem Testen von Gradient-Boosting- oder neuronalen Netzwerkmodellen.
- Schätzung von Effektgrößen und Grenzwertwirkungen in Beobachtungsstudien, wenn die Linearität gilt.
- Nachfrageprognose, Preismodellierung und Ressourcenschätzung in der Geschäftsanalytik.
- Schnelle explorative Modellierung zur Identifizierung der wichtigsten Prädiktoren vor komplexeren Analysen.
- Interpretierbare Bewertungsfunktionen in Umgebungen, in denen Modelltransparenz gesetzlich oder ethisch vorgeschrieben ist.
So funktioniert es
So funktioniert es
Das Modell drückt die Vorhersage als gewichtete Summe von Eingabemerkmalen plus einem Achsenabschnitt aus. Die Zielvariable muss kontinuierlich und numerisch sein; kategoriale Eingaben müssen vor der Anpassung als Dummy- oder numerische Variablen kodiert werden.
Formel
\hat{y} = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_pDie Methode der kleinsten Quadrate findet den Koeffizientenvektor, der die Summe der Residuenquadrate minimiert. Für mittelgroße Datensätze wird dies analytisch über die Normalgleichungen gelöst; für sehr große Datensätze werden stattdessen iterative Löser oder stochastischer Gradientenabstieg verwendet.
Formel
\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}Das Bestimmtheitsmaß (R-squared) fasst zusammen, wie viel der Varianz im Ergebnis das Modell erklärt. Ergänzt wird dies durch den mittleren quadratischen Fehler (root mean squared error) und den mittleren absoluten Fehler (mean absolute error), die Fehler in den ursprünglichen Einheiten des Ergebnisses berichten.
Formel
R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}Die Anpassung wird auf einem zurückgehaltenen Testdatensatz oder durch k-fache Kreuzvalidierung evaluiert, um Überanpassung (overfitting) zu erkennen. Residuenplots – Residuen gegen angepasste Werte und ein Q-Q-Plot der Residuen – werden inspiziert, um Linearität, Homoskedastizität und Normalverteilung der Fehler zu überprüfen, bevor Schlussfolgerungen gezogen werden.
Häufige Fallstricke
- Extrapolation von Vorhersagen weit außerhalb des Bereichs der Trainingsdaten, wo die lineare Annäherung zusammenbricht.
- Ignorieren von Residuen-Diagnostiken und Annahme der Modellgültigkeit ohne Überprüfung der Plots.
- Einbeziehung von stark korrelierten Prädiktoren ohne Berücksichtigung von Multikollinearität (VIF prüfen).
- Verwechslung von R-squared mit Vorhersagegenauigkeit auf neuen Daten – immer auf einem zurückgehaltenen Datensatz evaluieren.
- Anwendung linearer Regression auf ein binäres oder Zähl-Ergebnis anstelle von logistischer oder Poisson-Regression.
Häufig gestellte Fragen
Wie unterscheidet sich die lineare Regression von der logistischen Regression?
Die lineare Regression sagt ein kontinuierliches Ergebnis direkt voraus. Die logistische Regression modelliert die Log-Odds eines binären Ergebnisses und gibt Wahrscheinlichkeiten zwischen 0 und 1 aus. Die Verwendung linearer Regression für ein binäres Ergebnis kann Vorhersagen außerhalb von [0, 1] erzeugen und verletzt die Annahme konstanter Varianz.
Muss ich meine Merkmale standardisieren?
Die Standardisierung ist für Vorhersagen nicht erforderlich, macht aber die Koeffizienten direkt vergleichbar, wenn die Merkmale sehr unterschiedliche Skalen aufweisen. Sie wird besonders für regularisierte Varianten wie Ridge oder Lasso empfohlen.
Wie gehe ich mit vielen Prädiktoren im Verhältnis zur Stichprobengröße um?
Wechseln Sie zur regularisierten linearen Regression (Ridge für Schrumpfung, Lasso für Sparsity, Elastic Net für beides). OLS wird unzuverlässig oder undefiniert, wenn die Anzahl der Prädiktoren sich der Anzahl der Beobachtungen nähert oder diese übersteigt.
Welche Residuenplots sollte ich inspizieren?
Mindestens: (1) Residuen vs. angepasste Werte zur Überprüfung auf Muster, die auf Nichtlinearität oder Heteroskedastizität hindeuten, und (2) ein Q-Q-Plot der Residuen zur Beurteilung der Normalverteilung. Ein Skalen-Lage-Plot und Hebel-/Einflussstatistiken (Cooks Distanz) sind ebenfalls informativ.
Reicht ein hoher R-squared-Wert aus, um ein gutes Modell zu deklarieren?
Nein. R-squared misst die Anpassung innerhalb der Stichprobe und kann durch irrelevante Prädiktoren aufgebläht werden. Berichten Sie immer kreuzvalidierte oder Testdatensatz-RMSE neben R-squared und inspizieren Sie die Residuen-Diagnostiken, um zu bestätigen, dass die Modellannahmen erfüllt sind.
Verwandte Methoden
Quellen
Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed., Ch. 3). Springer.
ISBN: 978-0-387-84858-7Kopiert.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 3). Springer.
ISBN: 978-1-4614-7138-7Kopiert.