Ridge Regression
- Eingeführt von
- Hoerl, A.E. & Kennard, R.W.
- Jahr
- 1970
- Typ
- L2-regularized linear regression
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Ridge Regression ist eine L2-regularisierte lineare Regressionsmethode, die 1970 von Arthur Hoerl und Robert Kennard eingeführt wurde und Multikollinearität reduziert, indem sie eine Strafe auf die Größe der Koeffizienten hinzufügt.
Sie schrumpft Koeffizienten in Richtung Null, ohne sie exakt auf Null zu setzen, und liefert stabilere Schätzungen, wenn Prädiktoren stark korreliert sind.
Die Intuition hinter der Methode
Wenn Prädiktoren stark korreliert sind, werden Koeffizienten der gewöhnlichen kleinsten Quadrate instabil und können von Stichprobe zu Stichprobe stark schwanken. Ridge Regression akzeptiert bewusst ein geringes Maß an Bias im Austausch für eine weitaus geringere Varianz: Durch Hinzufügen einer Strafe auf die quadrierte Größe der Koeffizienten werden diese wilden Schwankungen gezähmt und alle Variablen im Modell beibehalten, nur mit kleineren, gleichmäßigeren Gewichten.
Geschichte
Ridge Regression wurde 1970 von Arthur E. Hoerl und Robert W. Kennard als Methode zur Erzielung von verzerrten, aber stabileren Schätzungen für nicht-orthogonale (kolineare) Probleme eingeführt, bei denen gewöhnliche kleinste Quadrate versagen. Die Idee, eine L2-Strafe hinzuzufügen, wurde zu einem grundlegenden Werkzeug der regularisierten Regression und ein direkter Vorläufer späterer Methoden wie LASSO und Elastic Net, die ihr Schrumpfungsverhalten mit expliziter Variablenauswahl kombinieren oder kontrastieren.
Wann wird sie eingesetzt?
Verwenden Sie Ridge Regression für Vorhersagen mit kontinuierlichen, binären oder Zählprädiktoren, wenn Multikollinearität vorhanden ist – zum Beispiel, wenn ein Varianzinflationsfaktor 10 überschreitet – und Sie alle Variablen beibehalten möchten, anstatt zwischen ihnen auszuwählen. Sie geht von einer annähernd linearen Beziehung und mindestens etwa 30 Beobachtungen aus. Merkmale müssen zuerst standardisiert werden. Bei kleinen Stichproben und leichter Kollinearität ist die einfache lineare Regression interpretierbarer; wenn Variablenauswahl das Ziel ist, sind LASSO oder Elastic Net vorzuziehen.
Grenzen und Hinweise
- Führt keine Variablenauswahl durch; es kann irrelevante Prädiktoren nicht auf Null setzen, wie es LASSO kann.
- Erfordert die Standardisierung von Merkmalen, andernfalls begünstigt die Strafe unfaire Weise Variablen mit großen Skalen.
- Geht von einer linearen Beziehung zwischen Prädiktoren und Ergebnis aus.
- Bei kleinen Stichproben (n unter etwa 30) ist die Abstimmung von Alpha durch Kreuzvalidierung unzuverlässig und einfache OLS können ausreichen.
- Wenn Kollinearität kein Problem darstellt, ist die Schrumpfung unnötig und reduziert die Interpretierbarkeit.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Reduziert Multikollinearität und stabilisiert Koeffizientenschätzungen durch Hinzufügen einer L2-Strafe.
- Behält jeden Prädiktor im Modell – Koeffizienten schrumpfen, aber keiner wird auf Null gesetzt.
- Reduziert die Varianz auf Kosten einer kleinen, kontrollierten Erhöhung des Bias, was oft die Vorhersage verbessert.
- Hat einen einzigen, leicht zu stimmenden Hyperparameter (Alpha), der durch Kreuzvalidierung ausgewählt wird.
- Funktioniert mit kontinuierlichen, binären und Zählprädiktoren, ohne normalverteilte Daten zu benötigen.
Anwendungen
- Vorhersage mit vielen korrelierten Prädiktoren, bei denen Multikollinearität die OLS-Varianz aufbläht.
- Stabilisierung von Regressionskoeffizienten bei hohen Varianzinflationsfaktoren (VIF über 10).
- Modellierung, wenn alle Prädiktoren beibehalten und nicht abgewählt werden sollen.
- Ein regularisierter Basiswert vor dem Vergleich mit LASSO oder Elastic Net.
So funktioniert es
So funktioniert es
Gewöhnliche kleinste Quadrate passen Koeffizienten an, indem sie nur den quadrierten Fehler minimieren. Wenn zwei oder mehr Prädiktoren nahezu redundant sind (Multikollinearität), bleiben die Koeffizienten schlecht bestimmt und sehr empfindlich gegenüber Rauschen. Ridge begegnet dem, indem es große Koeffizienten entmutigt und einen kleinen Bias gegen eine viel größere Stabilität eintauscht.
Ridge minimiert die übliche Summe der quadrierten Fehler plus eine Strafe, die einer Tuning-Konstante Alpha mal der Summe der quadrierten Koeffizienten entspricht. Diese L2-Strafe schrumpft alle Koeffizienten proportional zu ihrer Größe in Richtung Null, aber im Gegensatz zu LASSO zwingt sie keinen Koeffizienten jemals exakt auf Null, sodass jeder Prädiktor beibehalten wird. Die Standardisierung der Merkmale im Voraus ist erforderlich, damit die Strafe jeden Prädiktor fair behandelt.
Formel
\hat{\beta}^{\text{ridge}} = \arg\min_{\beta} \; \|y - X\beta\|^2 + \alpha \|\beta\|^2Die Stärke der Strafe wird durch Alpha gesteuert: Größere Werte schrumpfen die Koeffizienten stärker. Der richtige Wert wird durch Kreuzvalidierung ermittelt, typischerweise durch Scannen eines Bereichs von Alpha und Auswahl desjenigen, der den kreuzvalidierten mittleren quadratischen Fehler minimiert.
Häufige Fallstricke
- Anpassung von Ridge an rohen, nicht standardisierten Merkmalen, sodass die Strafe die Koeffizienten verzerrt.
- Auswahl von Alpha von Hand anstatt durch Kreuzvalidierung.
- Anwendung von Ridge, wenn keine echte Multikollinearität besteht, was die Koeffizienten ohne Nutzen schrumpfen lässt.
- Erwartung von Variablenauswahl – Ridge behält alle Variablen bei, also greifen Sie zu LASSO oder Elastic Net, wenn Sie Sparsity benötigen.
- Überspringen von Residuen-Diagnostiken (Normalität, Homoskedastizität) nach der Anpassung.
Häufig gestellte Fragen
Wie unterscheidet sich Ridge von LASSO?
Beide fügen eine Strafe hinzu, um Koeffizienten zu schrumpfen, aber Ridge verwendet eine L2-Strafe, die Koeffizienten in Richtung Null schrumpft, ohne sie jemals zu erreichen, sodass alle Prädiktoren im Modell verbleiben. LASSO verwendet eine L1-Strafe, die Koeffizienten exakt auf Null setzen kann und eine Variablenauswahl durchführt. Wählen Sie Ridge, um korrelierte Prädiktoren zu stabilisieren, und LASSO, wenn Sie ein spärliches Modell benötigen.
Muss ich meine Merkmale standardisieren?
Ja. Die Standardisierung von Merkmalen ist erforderlich, da die L2-Strafe auf die Größe der Koeffizienten wirkt; ohne Standardisierung würde die Strafe Variablen, die auf größeren Skalen gemessen werden, unfair schrumpfen.
Wie wähle ich die Strafstärke Alpha?
Wählen Sie Alpha durch Kreuzvalidierung: Scannen Sie einen Wertebereich und wählen Sie den Wert, der den kreuzvalidierten mittleren quadratischen Fehler minimiert. Das Plotten der CV-MSE-Kurve gegen Alpha zeigt, wo das Optimum liegt.
Wann sollte ich Ridge nicht verwenden?
Wenn keine echte Multikollinearität vorliegt, fügt Ridge eine unnötige Schrumpfung hinzu und eine einfache lineare Regression ist interpretierbarer. Bei sehr kleinen Stichproben (n unter etwa 30) ist die Abstimmung von Alpha unzuverlässig, und wenn Sie irrelevante Variablen entfernen müssen, sollten Sie stattdessen LASSO oder Elastic Net verwenden.
Verwandte Methoden
Quellen
Hoerl, A.E. & Kennard, R.W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1), 55–67.
DOI-Referenz öffnenKopiert.