Zum Inhalt springen
Zurück zu den Suchergebnissen

Elastic Net

Eingeführt von
Zou, H. & Hastie, T.
Jahr
2005
Typ
Regularized linear regression (L1 + L2 penalty)

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Elastic Net ist eine von Zou und Hastie im Jahr 2005 eingeführte regularisierte lineare Regressionsmethode, die die LASSO- (L1) und Ridge-Strafen (L2) miteinander verbindet.

Sie führt somit gleichzeitig Variablenselektion und Koeffizientenschrumpfung durch. Sie ist für prädiktive und erklärende Modellierungen von Daten mit vielen, möglicherweise korrelierten, Prädiktoren konzipiert.

Die Intuition hinter der Methode

Eine einfache lineare Regression kann zu Overfitting neigen und verhält sich schlecht, wenn Prädiktoren korreliert sind oder mehr Merkmale als Beobachtungen vorliegen. LASSO kann Koeffizienten auf null setzen, um Variablen auszuwählen, hat aber Schwierigkeiten, wenn Gruppen von Prädiktoren korreliert sind, während Ridge alle Koeffizienten gleichmäßig schrumpft, aber niemals eine Variable eliminiert. Elastic Net mischt die beiden Ansätze: Es behält die Fähigkeit von LASSO bei, einige Koeffizienten exakt auf null zu setzen, während es die Stabilität von Ridge nutzt, sodass korrelierte Prädiktoren elegant behandelt werden, anstatt willkürlich ausgewählt zu werden.

Geschichte

Elastic Net wurde 2005 von Hui Zou und Trevor Hastie eingeführt, um zwei bekannte Schwächen des LASSO zu überwinden: sein unregelmäßiges Verhalten bei stark korrelierten Prädiktoren und seine Unfähigkeit, mehr Variablen auszuwählen, als Beobachtungen vorhanden sind. Durch das Hinzufügen eines L2-Terms im Ridge-Stil zur L1-Strafe des LASSO schufen sie einen Schätzer, der sowohl Variablen auswählt als auch die Lösung stabilisiert, und er ist zu einem Standardwerkzeug für die hochdimensionale Regression geworden.

Wann wird sie eingesetzt?

Verwenden Sie Elastic Net für Vorhersagen oder Erklärungen bei kontinuierlichen, binären oder Zählvariablen, wenn Sie viele Prädiktoren haben – insbesondere korrelierte oder mehr Merkmale als Beobachtungen – und eine automatische Variablenselektion zusammen mit einer Schrumpfung wünschen. Es wird eine annähernd lineare Beziehung und die Normalisierung der Merkmale angenommen. Sie benötigen mindestens etwa 30 Beobachtungen, damit beide Hyperparameter mittels Kreuzvalidierung abgestimmt werden können; darunter ist ein einfaches LASSO oder Ridge sicherer.

Grenzen und Hinweise

  • Setzt eine annähernd lineare Beziehung zwischen Prädiktoren und Ergebnis voraus.
  • Merkmale müssen zuerst normalisiert werden, da sonst die Strafe großskalige Variablen unfair bevorzugt.
  • Zwei Hyperparameter (Strafstärke und L1/L2-Verhältnis) müssen abgestimmt werden, was mehr Kreuzvalidierungsdaten erfordert als Methoden mit einfacher Strafe.
  • Bei kleinen Stichproben (n unter etwa 30) ist das L1/L2-Mischverhältnis instabil zu optimieren.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Kombiniert LASSO-Variablenselektion mit Ridge-Schrumpfung in einem einzigen Modell.
  • Behandelt korrelierte Prädiktoren elegant, indem sie tendenziell als Gruppen beibehalten oder eliminiert werden.
  • Funktioniert, wenn die Anzahl der Merkmale die Anzahl der Beobachtungen übersteigt.
  • Verteilungsunabhängig: erfordert keine normalverteilten Ergebnisse und verarbeitet kontinuierliche, binäre und Zählmerkmale.

Anwendungen

  • Hochdimensionale Regression, bei der die Anzahl der Prädiktoren die Anzahl der Beobachtungen übersteigt.
  • Genomische und Biomarker-Studien mit vielen korrelierten Merkmalen.
  • Prädiktive Modellierung, die sowohl Variablenselektion als auch robuste Koeffizienten erfordert.
  • Erklärende Modellierung, bei der die Schrumpfung und Bereinigung korrelierter Prädiktoren das Signal klärt.

So funktioniert es

So funktioniert es

1

Das Modell passt Koeffizienten an, indem es den üblichen quadratischen Fehler plus eine kombinierte Strafe minimiert: einen L1-Term, der einige Koeffizienten exakt auf null drängt (Selektion), und einen L2-Term, der sie gleichmäßig schrumpft (Stabilität). Die Stärke der Gesamtstrafe wird durch λ gesteuert, und das Gleichgewicht zwischen den beiden Strafen durch den Mischparameter (l1_ratio, hier α genannt).

Formel
\min_{\beta}\; \tfrac{1}{2n}\,\lVert y - X\beta \rVert_2^2 + \lambda\left( \alpha \lVert\beta\rVert_1 + \tfrac{1-\alpha}{2}\lVert\beta\rVert_2^2 \right)
2

Zwei Hyperparameter steuern die Anpassung – die Gesamtstrafstärke und das L1/L2-Mischverhältnis – und werden mittels Kreuzvalidierung ausgewählt. Da zwei Parameter statt nur einem abgestimmt werden müssen, benötigt Elastic Net ausreichend Daten (mindestens etwa 30 Beobachtungen), damit das Kreuzvalidierungsraster zuverlässig ist. Prädiktoren sollten zuerst standardisiert werden, damit die Strafe jedes Merkmal auf der gleichen Skala behandelt.

3

Das angepasste Modell liefert einen spärlichen Satz von Koeffizienten: Unwichtige Prädiktoren werden auf null gesetzt und eliminiert, während korrelierte Prädiktoren dazu neigen, als Gruppe beibehalten oder entfernt zu werden, anstatt dass einer zufällig ausgewählt wird. Die verbleibenden Koeffizienten, die geschrumpft wurden, ergeben ein stabileres und besser generalisierbares Modell als eine unbestrafte Regression.

Häufige Fallstricke

  • Anpassung ohne vorherige Standardisierung der Prädiktoren.
  • Versuch, beide Hyperparameter mit zu wenigen Beobachtungen abzustimmen, wodurch das Kreuzvalidierungsraster unzuverlässig wird.
  • Elastic Net verwenden, wenn eine einzelne Strafe ausreicht – LASSO allein, wenn nur Selektion benötigt wird, Ridge allein, wenn nur Schrumpfung benötigt wird.
  • Interpretieren geschrumpfter Koeffizienten als unverzerrte Effektstärken.

Häufig gestellte Fragen

Wie unterscheidet sich Elastic Net von LASSO und Ridge?

LASSO verwendet nur die L1-Strafe (Selektion, aber instabil bei korrelierten Prädiktoren); Ridge verwendet nur die L2-Strafe (stabile Schrumpfung, aber eliminiert niemals Variablen). Elastic Net mischt beide, gesteuert durch ein Mischverhältnis, sodass es Variablen auswählt und bei korrelierten Merkmalen stabil bleibt.

Muss ich meine Merkmale skalieren?

Ja. Die Strafe wirkt auf die Größe der Koeffizienten, daher müssen die Merkmale zuerst normalisiert werden; andernfalls werden großskalige Variablen unterschiedlich bestraft und die Selektion ist verzerrt.

Wie viele Beobachtungen benötige ich?

Mindestens etwa 30. Elastic Net stimmt zwei Hyperparameter mittels Kreuzvalidierung ab, daher benötigt es mehr Daten als Methoden mit einfacher Strafe. Unter 30 verwenden Sie ein einfaches LASSO, wenn Sie Selektion benötigen, oder Ridge, wenn Sie Schrumpfung benötigen.

Was steuern die beiden Hyperparameter?

Die Gesamtstrafstärke (λ) steuert, wie stark die Koeffizienten geschrumpft werden, und das Mischverhältnis (l1_ratio) legt das Gleichgewicht zwischen der L1-Selektionsstrafe und der L2-Schrumpfungsstrafe fest. Beide werden mittels Kreuzvalidierung ausgewählt.

Verwandte Methoden

Quellen

  1. Zou, H. & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society: Series B, 67(2), 301–320.

    DOI-Referenz öffnen
    Kopiert.