Zum Inhalt springen
Zurück zu den Suchergebnissen

Regularisierte Lineare Regression

Eingeführt von
Hoerl & Kennard (Ridge, 1970); Tibshirani (Lasso, 1996); Zou & Hastie (Elastic Net, 2005)
Jahr
1970–2005
Typ
Penalized linear model
Familie
Machine learning

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Die regularisierte lineare Regression fügt dem Zielkriterium der gewöhnlichen kleinsten Quadrate einen Strafterm hinzu, der Koeffizienten schrumpft oder auf Null setzt, um Überanpassung zu reduzieren und Multikollinearität zu behandeln.

Die drei Hauptvarianten – Ridge (L2-Strafe), Lasso (L1-Strafe) und Elastic Net (kombinierte L1+L2-Strafe) – machen die lineare Regression auch dann nutzbar, wenn die Anzahl der Merkmale die Anzahl der Beobachtungen übersteigt oder die Prädiktoren stark korreliert sind.

Die Intuition hinter der Methode

Die gewöhnliche Methode der kleinsten Quadrate weist jedem Prädiktor genau den Koeffizienten zu, der den Fehler innerhalb der Stichprobe minimiert. Dies kann zu extrem großen, instabilen Koeffizienten führen, wenn Prädiktoren korreliert sind oder wenn der Datensatz viele Merkmale aufweist. Regularisierung zieht diese Koeffizienten in Richtung Null – fest, aber fair –, sodass das Modell geringfügig an Trainingsgenauigkeit verliert, um eine deutlich bessere Generalisierung zu erzielen. Ridge schrumpft alle Koeffizienten proportional; Lasso geht weiter und kann einige auf exakt Null setzen, was effektiv Merkmale auswählt; Elastic Net kombiniert beide Strategien und funktioniert, wenn korrelierte Prädiktoren zusammengehalten werden müssen.

Geschichte

Die Ridge-Regression wurde 1970 von Hoerl und Kennard als Abhilfe für Multikollinearität bei der gewöhnlichen Methode der kleinsten Quadrate eingeführt. Tibshiranis Lasso-Paper von 1996 fügte die L1-Regularisierung und die Fähigkeit hinzu, Koeffizienten auf exakt Null zu schrumpfen, was eine automatische Merkmalsauswahl ermöglichte. Zou und Hastie erweiterten diese Ideen 2005 mit Elastic Net, das L1- und L2-Strafen kombiniert, um Gruppen korrelierter Prädiktoren zu behandeln. Diese drei Methoden bilden das kanonische Regularisierungswerkzeug für lineare Modelle und sind Grundpfeiler von Elements of Statistical Learning und An Introduction to Statistical Learning.

Wann wird sie eingesetzt?

Verwenden Sie regularisierte lineare Regression zur Vorhersage eines kontinuierlichen Ergebnisses aus vielen numerischen Merkmalen, wenn zumindest eine gewisse Multikollinearität vermutet wird oder wenn die Anzahl der Merkmale im Verhältnis zur Stichprobengröße groß ist. Ridge ist die Standardwahl, wenn alle Merkmale plausibel relevant sind; Lasso oder Elastic Net, wenn eine automatisierte Merkmalsauswahl erforderlich ist. Bevorzugen Sie die gewöhnliche (unbestrafte) lineare Regression nur, wenn die Merkmale wenige, unkorrelierte und die Stichprobe groß ist. Verwenden Sie keine lineare Variante, wenn das Ergebnis eindeutig nichtlinear oder binär oder kategorisch ist – verwenden Sie stattdessen logistische Regression oder baumbasierte Methoden.

Grenzen und Hinweise

  • Geht von einer linearen Beziehung zwischen Merkmalen und dem kontinuierlichen Ziel aus; erfasst keine nichtlinearen Muster, es sei denn, Merkmale werden manuell konstruiert.
  • Die Standardisierung von Merkmalen ist vor der Anpassung zwingend erforderlich; das Vergessen dieses Schritts verzerrt die Koeffizientenschätzungen.
  • Lasso schneidet schlecht ab, wenn viele wirklich relevante korrelierte Prädiktoren vorhanden sind – es wählt willkürlich einen aus und verwirft die anderen; Elastic Net ist in dieser Situation die sicherere Wahl.
  • Ridge behält alle Merkmale bei und erzeugt kein dünnes Modell, was die Interpretation bei sehr hochdimensionalen Merkmalsräumen erschweren kann.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Liefert vollständig interpretierbare lineare Koeffizienten mit expliziten Effektgrößen und -richtungen.
  • Behandelt Multikollinearität elegant – Ridge verteilt Koeffizienten unter korrelierten Prädiktoren neu; Lasso wählt einen aus einer Gruppe aus.
  • Lasso und Elastic Net führen eine integrierte Merkmalsauswahl durch, indem sie irrelevante Koeffizienten auf exakt Null setzen.
  • Rechnerisch effizient, selbst bei großen Datensätzen; skaliert mit Coordinate Descent auf Millionen von Beobachtungen.
  • Die kreuzvalidierte Auswahl von lambda wird in allen gängigen Statistiksoftwarepaketen (scikit-learn, glmnet, statsmodels) gut unterstützt.

Anwendungen

  • Genomik und Bioinformatik: Vorhersage kontinuierlicher Phänotypen aus Tausenden von genetischen Markern, bei denen p >> n.
  • Ökonomie und Sozialwissenschaften: Schätzung der Effekte vieler politischer Variablen auf kontinuierliche Ergebnisse unter Kontrolle von Multikollinearität.
  • Ingenieurwesen: Vorhersage physikalischer Größen aus Sensorarrays mit korrelierten Messungen.
  • Pipeline zur Merkmalsauswahl: Lasso oder Elastic Net werden vorgelagert verwendet, um eine kleine Prädiktormenge zu identifizieren, bevor ein komplexeres Modell angepasst wird.
  • Finanzwesen: Prognose von Renditen oder Risikomaßen aus vielen makroökonomischen und Marktfaktoren.
  • Gesundheitswesen: Vorhersage kontinuierlicher klinischer Ergebnisse aus großen Panels von Laborwerten oder bildgebungsbasierten Merkmalen.

So funktioniert es

So funktioniert es

1

Vor der Anpassung werden alle Prädiktoren standardisiert (Mittelwert Null, Einheitsvarianz). Dies ist zwingend erforderlich, da die Strafe für jeden Koeffizienten gleich gilt – ohne Standardisierung würden Merkmale auf größeren Skalen stärker bestraft, was die Koeffizientenschätzungen verzerren würde.

2

Der Anwender wählt einen Strafe-Typ: Ridge verwendet die Summe der quadrierten Koeffizienten (L2-Norm), die alle Koeffizienten schrumpft, aber keinen auf Null setzt. Lasso verwendet die Summe der Absolutwerte (L1-Norm), die einige Koeffizienten auf exakt Null schrumpfen lassen kann und damit eine automatische Merkmalsauswahl durchführt. Elastic Net kombiniert L1 und L2 linear, gesteuert durch einen Mischparameter alpha, und ist besonders nützlich, wenn mehrere korrelierte Prädiktoren relevant sind.

Formel
\text{Ridge: } \lambda\sum_{j}\beta_j^2 \quad \text{Lasso: } \lambda\sum_{j}|\beta_j| \quad \text{Elastic Net: } \lambda_1\sum|\beta_j|+\lambda_2\sum\beta_j^2
3

Das Modell minimiert das bestrafte Zielkriterium – die Summe der quadrierten Residuen plus die gewählte Strafe, skaliert mit der Regularisierungsstärke lambda. Für Ridge gibt es eine geschlossene Lösung; Lasso und Elastic Net erfordern eine Coordinate-Descent- oder Subgradienten-Optimierung, da die L1-Strafe bei Null nicht differenzierbar ist.

Formel
\hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} \left[ \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2 + \text{penalty}(\boldsymbol{\beta}) \right]
4

Die Regularisierungsstärke lambda ist ein Hyperparameter, der mittels Kreuzvalidierung, typischerweise über ein logarithmisch skaliertes Gitter, optimiert werden muss. Ein lambda von Null ergibt die gewöhnliche Methode der kleinsten Quadrate; ein sehr großes lambda erzwingt, dass alle Koeffizienten gegen Null gehen. Das optimale lambda balanciert Bias und Varianz für den spezifischen Datensatz.

5

Sobald lambda festgelegt und die Koeffizienten geschätzt sind, ist die Vorhersage für neue Beobachtungen identisch mit der gewöhnlichen linearen Regression: das Skalarprodukt aus Merkmalen und geschätzten Koeffizienten. Das Modell bleibt in Bezug auf lineare Effekte vollständig interpretierbar.

Formel
\hat{y} = \mathbf{x}^\top \hat{\boldsymbol{\beta}}

Häufige Fallstricke

  • Anpassung ohne Standardisierung der Prädiktoren, sodass Merkmale auf größeren Skalen stärker bestraft werden und die Koeffizienten nicht vergleichbar sind.
  • Verwendung des Standard-lambda anstelle der Auswahl mittels Kreuzvalidierung – ein falsches lambda unter-regularisiert (nahe der gewöhnlichen kleinsten Quadrate) oder über-regularisiert (Koeffizienten kollabieren zu Null).
  • Anwendung der regularisierten linearen Regression auf ein binäres oder Zähl-Ergebnis, wenn stattdessen logistische Regression oder Poisson-Regression verwendet werden sollte.
  • Berichterstattung von Lasso-Variablenauswahlergebnissen, als wären sie bestätigend – die Lasso-Auswahl ist empfindlich gegenüber dem Datensatz und lambda, behandeln Sie also ausgewählte Variablen als explorativ.
  • Ignorieren der Annahme der Linearität und Berichterstattung eines schlecht angepassten regularisierten Modells ohne Überprüfung der Residuen.

Häufig gestellte Fragen

Wann sollte ich Ridge gegenüber Lasso wählen?

Wählen Sie Ridge, wenn Sie glauben, dass die meisten Prädiktoren zum Ergebnis beitragen und Sie stabile Koeffizientenschätzungen wünschen, ohne einige davon auf Null zu setzen – zum Beispiel, wenn Prädiktoren stark korreliert sind und Sie alle beibehalten möchten. Wählen Sie Lasso oder Elastic Net, wenn Sie erwarten, dass viele Merkmale irrelevant sind und Sie eine automatische Merkmalsauswahl wünschen.

Erhalte ich immer noch p-Werte und Konfidenzintervalle?

Klassische p-Werte und Standardfehler sind bei der bestraften Regression nicht direkt verfügbar, da die Koeffizientenschätzungen per Design verzerrt sind. Methoden der Post-Selection-Inferenz (z. B. das desparsifizierte Lasso) existieren, werden aber in der Praxis selten angewendet; stattdessen werden Bootstrap-Konfidenzintervalle oder kreuzvalidierte Stabilitätsmaße berichtet.

Wie wähle ich die Regularisierungsstärke lambda?

Wählen Sie lambda mittels k-facher Kreuzvalidierung (typischerweise k = 5 oder 10) über ein logarithmisch skaliertes Gitter. Bibliotheken wie scikit-learns RidgeCV und LassoCV oder R's glmnet tun dies automatisch. Berichten Sie das gewählte lambda und vermerken Sie, ob es durch den minimalen Kreuzvalidierungsfehler oder die Ein-Standardfehler-Regel ausgewählt wurde.

Erfordert die regularisierte lineare Regression normalverteilte Merkmale?

Nein. Wie bei der gewöhnlichen Methode der kleinsten Quadrate bezieht sich die Annahme auf die Residuen (ungefähr normal, homoskedastisch), nicht auf die Prädiktoren. Stark schiefe oder ausreißerbelastete Prädiktoren können die Schätzungen immer noch verzerren, daher ist die Log-Transformation schiefer Eingaben ein üblicher Vorverarbeitungsschritt.

Was ist Elastic Net und wann wird es bevorzugt?

Elastic Net kombiniert die L1- und L2-Strafen, gesteuert durch einen Mischparameter alpha (alpha = 1 ist reines Lasso; alpha = 0 ist reines Ridge). Es wird bevorzugt, wenn Gruppen korrelierter Prädiktoren alle relevant sind – Lasso würde willkürlich einen aus der Gruppe auswählen und die anderen verwerfen, während Elastic Net dazu neigt, die Gruppe zusammenzuhalten.

Verwandte Methoden

Quellen

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    DOI-Referenz öffnen
    Kopiert.
  2. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 3). Springer.

    ISBN: 978-0-387-84858-7
    Kopiert.