Zum Inhalt springen
Zurück zu den Suchergebnissen

Lasso-Regression

Eingeführt von
Tibshirani, R.
Jahr
1996
Typ
Regularized linear regression (L1 penalty)

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Lasso-Regression, eingeführt von Robert Tibshirani im Jahr 1996, ist eine lineare Regressionsmethode, die eine L1-Strafe zum Verlust hinzufügt, um Koeffizienten zu schrumpfen und gleichzeitig eine Variablenauswahl durchzuführen, was zu einem spärlichen Modell führt.

Indem einige Koeffizienten exakt auf Null gesetzt werden, behält sie nur die Prädiktoren, die relevant sind.

Die Intuition hinter der Methode

Die Methode der kleinsten Quadrate passt jeden Prädiktor an und kann die Gewichtung auf viele korrelierte oder irrelevante Variablen verteilen, was die Varianz aufbläht und verbirgt, welche Merkmale das Ergebnis wirklich bestimmen. Lasso fügt eine Beschränkung für die Gesamtgröße der Koeffizienten hinzu: Wenn diese Beschränkung enger wird, werden schwache Prädiktoren vollständig auf Null gedrückt und aus dem Modell entfernt. Das Ergebnis ist eine kleinere, stabilere Menge von Variablen, die leichter zu interpretieren ist.

Geschichte

Lasso wurde 1996 von Robert Tibshirani als eine Möglichkeit eingeführt, die Schrumpfung der strafbewehrten Regression mit automatischer Variablenauswahl zu kombinieren, wobei eine L1-Strafe auf die Koeffizienten angewendet wird. Es wurde zu einem Eckpfeiler der hochdimensionalen Statistik und motivierte verwandte Methoden wie die Ridge-Regression und das Elastic Net, die L1- und L2-Strafen abtauschen oder kombinieren.

Wann wird sie eingesetzt?

Gut geeignet, wenn Sie ein spärliches, interpretierbares lineares Modell für Vorhersagen oder Erklärungen aus vielen kontinuierlichen, binären oder Zählprädiktoren und mindestens etwa 30 Beobachtungen wünschen. Es ist besonders nützlich, wenn Multikollinearität vorhanden ist (z. B. VIF über 10) und Sie möchten, dass die Methode selbst wählt, welche Variablen beibehalten werden sollen. Es wird eine annähernd lineare Beziehung angenommen und die Merkmale müssen standardisiert werden. Unter etwa 30 Beobachtungen wird die Variablenauswahl instabil und die Ridge-Regression ist sicherer; wenn die Anzahl der Prädiktoren die Stichprobengröße überschreitet, ist das Elastic Net vorzuziehen.

Grenzen und Hinweise

  • Nimmt eine lineare Beziehung zwischen Prädiktoren und Ergebnis an.
  • Merkmale müssen zuerst standardisiert werden, sonst behandelt die Strafe Variablen auf unterschiedlichen Skalen unfair.
  • Bei kleinen Stichproben (n unter etwa 30) sind die ausgewählten Variablen instabil und nicht reproduzierbar.
  • Wenn die Anzahl der Prädiktoren die Stichprobengröße überschreitet, kann sie höchstens n Variablen auswählen, daher wird Elastic Net bevorzugt.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Führt Variablenauswahl und Koeffizientenschrumpfung in einer einzigen Anpassung durch und liefert ein spärliches, interpretierbares Modell.
  • Treibt schwache Prädiktoren exakt auf Null, was das Modell vereinfacht und Überanpassung reduziert.
  • Eine natürliche Reaktion auf Multikollinearität (hoher VIF), ohne Variablen manuell zu entfernen.
  • Erfordert keine normalverteilten Daten und verarbeitet kontinuierliche, binäre und Zählprädiktoren.
  • Nur ein Tuning-Parameter (Lambda), der durch Kreuzvalidierung einfach einzustellen ist.

Anwendungen

  • Erstellung spärlicher, interpretierbarer Vorhersagemodelle aus vielen Kandidatenprädiktoren.
  • Automatische Variablenauswahl bei Multikollinearität (hoher VIF).
  • Hochdimensionale Einstellungen, bei denen nur ein Teil der Merkmale relevant ist.
  • Eine regularisierte Basislinie vor dem Versuch mit Elastic Net oder komplexeren Modellen.

So funktioniert es

So funktioniert es

1

Lasso minimiert die übliche Summe der quadrierten Residuen plus eine Strafe, die gleich Lambda mal der Summe der absoluten Werte der Koeffizienten ist. Diese L1-Strafe ist das definierende Merkmal: Je größer Lambda ist, desto stärker werden die Koeffizienten gegen Null gezogen.

Formel
\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \sum_j |\beta_j|
2

Da die L1-Strafe scharfe Ecken hat, tut sie mehr als nur Koeffizienten gegen Null zu schrumpfen – sie setzt viele davon exakt auf Null. Variablen mit einem Null-Koeffizienten werden effektiv entfernt, sodass Anpassung und Variablenauswahl in einem einzigen Schritt erfolgen und das endgültige Modell spärlich ist.

3

Die Stärke der Strafe Lambda steuert den Kompromiss zwischen Anpassung und Spärlichkeit, daher wird sie durch Kreuzvalidierung gewählt: Eine Reihe von Lambda-Werten wird ausprobiert und derjenige, der den kreuzvalidierten mittleren quadratischen Fehler minimiert, wird beibehalten. Merkmale müssen zuerst standardisiert werden, damit die einzelne Strafe fair über Prädiktoren unterschiedlicher Skalen angewendet wird.

Häufige Fallstricke

  • Anpassung von Lasso ohne vorherige Standardisierung der Merkmale.
  • Auswahl von Lambda von Hand anstelle der Abstimmung mit Kreuzvalidierung.
  • Vertrauen auf die ausgewählten Variablen bei einer sehr kleinen Stichprobe, bei der die Auswahl instabil ist.
  • Vergessen, Residuenplots auf Normalität und Homogenität nach der Anpassung zu überprüfen.
  • Ignorieren, dass Lasso bei mehr Prädiktoren als Beobachtungen die Anzahl der ausgewählten Variablen begrenzt.

Häufig gestellte Fragen

Wie wird Lambda gewählt?

Lambda steuert, wie stark die Koeffizienten bestraft werden. Es wird durch Kreuzvalidierung ausgewählt: Eine Reihe von Werten wird ausprobiert und derjenige, der den kreuzvalidierten mittleren quadratischen Fehler minimiert, wird beibehalten.

Warum muss ich die Merkmale standardisieren?

Die einzelne L1-Strafe gilt für jeden Koeffizienten gleich, daher würden Prädiktoren, die auf größeren Skalen gemessen werden, sonst weniger bestraft. Die vorherige Standardisierung der Merkmale macht die Strafe für Variablen fair.

Wie unterscheidet sich Lasso von der Ridge-Regression?

Lasso verwendet eine L1-Strafe, die Koeffizienten exakt auf Null setzen kann und eine Variablenauswahl durchführt, während Ridge eine L2-Strafe verwendet, die Koeffizienten schrumpft, aber nicht auf Null setzt. Bei kleinen Stichproben oder wenn die Auswahl instabil ist, ist Ridge die sicherere Wahl.

Was sollte ich nach der Anpassung überprüfen?

Untersuchen Sie die Kreuzvalidierungs-MSE-Kurve, um das gewählte Lambda zu bestätigen, überprüfen Sie, welche Variablen beibehalten und welche auf Null gesetzt wurden, und untersuchen Sie die Residuenplots auf Normalität und Homogenität.

Verwandte Methoden

Quellen

  1. Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    DOI-Referenz öffnen
    Kopiert.