Zum Inhalt springen
Zurück zu den Suchergebnissen

Regularisierte Logistische Regression

Eingeführt von
Tibshirani, R. (lasso); Hoerl & Kennard (ridge); Zou & Hastie (elastic net)
Jahr
1996–2005
Typ
Penalized classification model
Familie
Machine learning

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Die regularisierte logistische Regression erweitert die Standard-Logistische Regression durch Hinzufügen einer L1- (lasso), L2- (ridge) oder Elastic-Net-Strafe zur Log-Likelihood, wodurch Koeffizienten gegen Null geschrumpft und Überanpassung verhindert werden.

Sie ist die Standardwahl für binäre oder multinominale Klassifikation, wenn interpretierbare, spärliche oder stabile Koeffizientenschätzungen in hochdimensionalen oder kollinearen Merkmalsräumen gewünscht sind.

Die Intuition hinter der Methode

Die Standard-Logistische Regression maximiert die Wahrscheinlichkeit der beobachteten Klassenlabels. In hochdimensionalen Umgebungen – viele Merkmale, wenige Beobachtungen oder korrelierte Prädiktoren – können die geschätzten Koeffizienten explodieren oder stark schwanken, was zu schlechter Generalisierung führt. Regularisierung schränkt die Koeffizientenmagnituden ein, indem eine Strafe hinzugefügt wird, die mit der Koeffizientengröße wächst, und tauscht eine geringe Anpassung an die Trainingsdaten gegen eine deutlich bessere Generalisierung. L1-Strafe treibt einige Koeffizienten exakt auf Null (automatische Merkmalsauswahl), L2-Strafe schrumpft alle Koeffizienten glatt, ohne sie auf Null zu setzen, und Elastic Net mischt beide Verhaltensweisen.

Geschichte

Die Ridge-Regression wurde 1970 von Hoerl und Kennard formalisiert und auf verallgemeinerte lineare Modelle, einschließlich der logistischen Regression, angewendet. Tibshiranis Lasso-Arbeit von 1996 führte die L1-Regularisierung mit spärlichen Lösungen ein und transformierte die hochdimensionale Modellierung. Zou und Hastie (2005) kombinierten beide Strafen zu Elastic Net und adressierten die Einschränkung von Lasso bei gruppierten korrelierten Merkmalen. Heute ist die regularisierte logistische Regression ein grundlegender Algorithmus in scikit-learn, glmnet (R) und LIBLINEAR und wird routinemäßig als Benchmark-Klassifikator in biomedizinischen und NLP-Anwendungen eingesetzt.

Wann wird sie eingesetzt?

Verwenden Sie die regularisierte logistische Regression für binäre oder multinominale Klassifikation, wenn Sie interpretierbare probabilistische Ausgaben benötigen, wenn die Anzahl der Merkmale im Verhältnis zur Stichprobengröße groß ist oder wenn Prädiktoren korreliert sind. Sie ist das bevorzugte Ausgangsmodell für klinische Vorhersagen, Textklassifikation mit Bag-of-Words-Merkmalen und hochdimensionale Biomarkerstudien. Wählen Sie L1, wenn automatische Merkmalsauswahl erforderlich ist, L2 für stabile Koeffizientenschätzungen und Elastic Net, wenn Merkmale in korrelierten Gruppen auftreten. Vermeiden Sie sie, wenn die Beziehung zwischen Ergebnis und Merkmal stark nichtlinear ist oder wenn starke Interaktionseffekte vorliegen, die die lineare Log-Odds-Formulierung nicht erfassen kann; Baumensembles oder Kernel-Methoden können dann geeigneter sein.

Grenzen und Hinweise

  • Geht von einer linearen Beziehung zwischen Merkmalen und Log-Odds aus; kann nichtlineare oder Interaktionseffekte ohne manuelle Merkmalskonstruktion erfassen.
  • Erfordert, dass das Ergebnis kategorisch ist; kontinuierliche Ergebnisse erfordern lineare (nicht logistische) Regression.
  • Die Leistung verschlechtert sich, wenn relevante Merkmale stark interagieren, da das Modell in den Log-Odds additiv ist.
  • Das optimale Lambda muss durch Kreuzvalidierung ausgewählt werden, was zusätzliche Berechnungen und einen Abstimmungsschritt erfordert.
  • Stark unausgeglichene Klassen können die vorhergesagten Wahrscheinlichkeiten zugunsten der Mehrheitsklasse verzerren, wenn keine Gewichtung erfolgt.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Erzeugt kalibrierte Klassenwahrscheinlichkeiten und interpretierbare, vorzeichenbehaftete Koeffizienten im Gegensatz zu den meisten Black-Box-Klassifikatoren.
  • Die L1-Strafe führt eine automatische Merkmalsauswahl durch und liefert spärliche Modelle, die leicht zu berichten sind.
  • Behandelt hochdimensionale Merkmalsräume (p >> n) robust durch Koeffizientenschrumpfung.
  • Die Elastic-Net-Strafe behandelt korrelierte Merkmalsgruppen anmutig und verteilt das Gewicht auf verwandte Prädiktoren.
  • Sehr schnell zu trainieren, selbst auf großen Datensätzen mit Coordinate-Descent-Solvern; skaliert auf Millionen von Beobachtungen.

Anwendungen

  • Klinische Risikoscores und diagnostische Klassifikatoren aus hochdimensionalen Biomarker-Panels.
  • Textklassifikation mit Bag-of-Words- oder TF-IDF-Merkmalen, wobei L1 interpretierbare spärliche Wortgewichte erzeugt.
  • Genomik und Proteomik, wo die Anzahl der Merkmale die Stichprobengröße bei weitem übersteigt.
  • Kreditscoring und Betrugserkennung, die Wahrscheinlichkeitsausgaben für schwellenwertbasierte Entscheidungen erfordern.
  • Baseline-Klassifikations-Benchmark vor der Bewertung komplexerer Ensemble- oder Deep-Learning-Modelle.

So funktioniert es

So funktioniert es

1

Eine lineare Kombination von Merkmalen prognostiziert die Log-Odds der positiven Klasse. Die Sigmoid-Funktion wandelt Log-Odds in eine Wahrscheinlichkeit zwischen 0 und 1 um, wodurch die Ausgabe direkt als Klassenwahrscheinlichkeit interpretierbar wird.

Formel
\log\frac{p}{1-p} = \mathbf{x}^\top\boldsymbol{\beta}
2

Das Optimierungsziel ist die negative Log-Likelihood (Kreuzentropie) plus ein Strafterm. Die Strafe skaliert mit den Koeffizientenmagnituden, gesteuert durch den Hyperparameter Lambda (Stärke) und Alpha (L1/L2-Mischung). Ein größeres Lambda erzwingt eine stärkere Schrumpfung; Alpha=1 ergibt reines Lasso, Alpha=0 ergibt reines Ridge.

Formel
\mathcal{L}(\boldsymbol{\beta}) = -\ell(\boldsymbol{\beta}) + \lambda\left[\alpha\|\boldsymbol{\beta}\|_1 + \tfrac{1-\alpha}{2}\|\boldsymbol{\beta}\|_2^2\right]
3

Die Wahl der Strafe bestimmt das Verhalten: L1 (lasso) erzeugt spärliche Lösungen, indem irrelevante Merkmale auf Null gesetzt werden, und wird bevorzugt, wenn Merkmalsauswahl gewünscht ist. L2 (ridge) wird bevorzugt, wenn erwartet wird, dass alle Merkmale beitragen und die Kollinearität hoch ist. Elastic Net (Alpha zwischen 0 und 1) behandelt gruppierte korrelierte Merkmale besser als Lasso allein.

4

Der bestrafte Verlust wird mit iterativen Algorithmen wie Coordinate Descent (liblinear/saga-Solver von scikit-learn) minimiert. Das optimale Lambda wird durch Kreuzvalidierung bestimmt, typischerweise über ein logarithmisch skaliertes Gitter. Die Standardisierung von Merkmalen vor dem Training ist unerlässlich, damit die Strafe konsistent auf alle Prädiktoren angewendet wird.

5

Vorhergesagte Wahrscheinlichkeiten werden mithilfe eines Entscheidungsschwellenwerts, standardmäßig typischerweise 0,5, in Klassenlabels umgewandelt. Bei unausgeglichenen Datensätzen sollte der Schwellenwert abgestimmt werden, um Präzision und Recall entsprechend der Kostenstruktur der Anwendung auszubalancieren.

Formel
\hat{y} = \mathbf{1}[\hat{p} \ge t]

Häufige Fallstricke

  • Training ohne Standardisierung der Merkmale: Die Strafe behandelt alle Koeffizienten gleich, sodass Merkmale mit großen numerischen Werten eine ungleiche Schrumpfung erfahren, was die Lösung verzerrt.
  • Verwendung des Standard-Schwellenwerts von 0,5 ohne Überprüfung der Kalibrierung und des Klassen-Gleichgewichts, was stillschweigend die Recall-Rate der Minderheitsklasse verschlechtert.
  • Berichterstattung nur über Genauigkeit anstelle von AUC, F1 und Kalibrierungsmetriken, was eine schlechte Leistung der Minderheitsklasse verschleiert.
  • Überspringen der Kreuzvalidierung für die Lambda-Auswahl und stattdessen Auswertung auf Trainingsdaten, was zu überangepassten Modellen führt.
  • Interpretation von Lasso-ausgewählten Koeffizienten als kausal, ohne Berücksichtigung von ausgelassenen Variablen und der Instabilität der Variablenauswahl nahe der Entscheidungsgrenze.

Häufig gestellte Fragen

Wie wähle ich zwischen L1, L2 und Elastic Net?

Verwenden Sie L1, wenn Sie glauben, dass nur ein Teil der Merkmale relevant ist und Sie eine automatische Auswahl wünschen. Verwenden Sie L2, wenn wahrscheinlich alle Merkmale beitragen oder Prädiktoren stark korreliert sind, da Ridge die Gewichtung über korrelierte Gruppen verteilt. Verwenden Sie Elastic Net, wenn Sie Sparsity benötigen, aber auch Blöcke korrelierter Merkmale haben; stimmen Sie Alpha zusammen mit Lambda über verschachtelte Kreuzvalidierung ab.

Muss ich Merkmale vor dem Training standardisieren?

Ja, immer. Der Strafterm behandelt alle Koeffizienten gleich, sodass ein Merkmal mit großen numerischen Werten proportional weniger Schrumpfung erfährt, es sei denn, es wird standardisiert. Zentrieren und skalieren Sie jedes Merkmal auf einen Mittelwert von Null und eine Einheitsvarianz, bevor Sie es trainieren, und wenden Sie die gleiche Transformation auf Testdaten an.

Wie wird Lambda gewählt?

Lambda ist ein Hyperparameter, der durch Kreuzvalidierung, typischerweise k-fache (k=5 oder 10) über ein logarithmisch skaliertes Gitter, ausgewählt wird. In R's glmnet automatisiert cv.glmnet dies. In scikit-learn sollten LogisticRegressionCV oder GridSearchCV mit Kreuzvalidierung auf der inversen Regularisierungsstärke C (C=1/lambda) verwendet werden.

Liefert die regularisierte logistische Regression kalibrierte Wahrscheinlichkeiten?

Im Allgemeinen ja, besser als Baumensembles, da die logistische Regression Klassenwahrscheinlichkeiten direkt über die Sigmoid-Funktion modelliert. Extreme Regularisierung kann jedoch vorhergesagte Wahrscheinlichkeiten in Richtung 0,5 komprimieren. Platt-Skalierung oder isotonische Regression können bei Bedarf neu kalibriert werden.

Wie gehe ich mit Klassenungleichgewicht um?

Setzen Sie class_weight='balanced' (scikit-learn), sodass Beobachtungen der Minderheitsklasse ein höheres Verlustgewicht erhalten, oder resampeln Sie den Trainingsdatensatz manuell. Stimmen Sie auch den Entscheidungsschwellenwert anhand der Präzisions-Recall-Kurve ab, anstatt ihn auf 0,5 festzulegen.

Verwandte Methoden

Quellen

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    DOI-Referenz öffnen
    Kopiert.
  2. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 4, 18). Springer.

    ISBN: 978-0-387-84857-0
    Kopiert.