Zum Inhalt springen
Zurück zu den Suchergebnissen

Logistische Regression (ML)

Eingeführt von
Cox, D. R.
Jahr
1958
Typ
Probabilistic linear classifier
Familie
Machine learning

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Die logistische Regression ist ein grundlegender probabilistischer Klassifikator, der die Log-Odds eines binären (oder multinomialen) Ergebnisses als lineare Funktion der Prädiktoren modelliert.

Eingeführt von D. R. Cox im Jahr 1958, ist sie nach wie vor eine der am weitesten verbreiteten und interpretierbarsten Klassifikationsmethoden sowohl in der Statistik als auch im maschinellen Lernen, geschätzt für ihre kalibrierten Wahrscheinlichkeitsausgaben und klare Koeffizienteninterpretation.

Die Intuition hinter der Methode

Die logistische Regression fragt: Was ist die Wahrscheinlichkeit, dass eine Beobachtung zu einer bestimmten Klasse gehört, gegeben eine Reihe von Merkmalen? Sie passt eine Gerade an die Log-Odds des Ergebnisses an und quetscht dann diesen linearen Score durch eine Sigmoid- (S-förmige) Kurve, um eine Wahrscheinlichkeit zwischen 0 und 1 zu erzeugen. Jeder Koeffizient eines Prädiktors gibt direkt an, wie eine Einheitsänderung dieses Merkmals die Log-Odds der positiven Klasse verschiebt, was das Modell hochgradig transparent macht. Eine vorhergesagte Wahrscheinlichkeit über 0,5 wird als positive Klasse klassifiziert, obwohl dieser Schwellenwert einstellbar ist.

Geschichte

David Cox formalisierte die logistische Regression für binäre Ergebnisse im Jahr 1958 und erweiterte frühere Arbeiten zu Probit-Modellen. In den 1970er-1980er Jahren wurde sie zum Standardklassifikator in der Epidemiologie und den Sozialwissenschaften. Der Maximum-Likelihood-Rahmen, erweitert auf multinomiale Ergebnisse und regularisierte Varianten, wurde durch Tibshiranis Lasso (1996) und durch Hastie, Tibshirani und Friedmans The Elements of Statistical Learning (2001) konsolidiert. Heute bleibt sie der kanonische interpretierbare Klassifikator und ist die vorgeschriebene Basislinie in vielen Peer-Review-Richtlinien.

Wann wird sie eingesetzt?

Verwenden Sie die logistische Regression, wenn das Ergebnis binär oder kategorial ist, die Stichprobengröße mindestens moderat ist (Faustregel: n > 10 Ereignisse pro Prädiktor) und interpretierbare Koeffizienten oder kalibrierte Wahrscheinlichkeiten erforderlich sind. Sie ist der Standard-Baseline-Klassifikator in Sozialwissenschaften, Medizin und Epidemiologie und sollte vor komplexeren Modellen ausprobiert werden. Vermeiden Sie sie, wenn die Entscheidungsgrenze stark nichtlinear ist, viele Interaktionsterme benötigt würden oder die Vorhersagegenauigkeit bei komplexen tabellarischen Daten wichtiger ist als die Interpretierbarkeit — in diesen Fällen übertreffen baumbasierte Ensembles oder SVMs sie typischerweise.

Grenzen und Hinweise

  • Nimmt eine lineare Beziehung zwischen Merkmalen und den Log-Odds des Ergebnisses an; nichtlineare Muster erfordern manuelles Feature Engineering oder ein nichtlineares Modell.
  • Empfindlich gegenüber Multikollinearität unter den Prädiktoren: korrelierte Merkmale blähen die Standardfehler der Koeffizienten auf und destabilisieren die Schätzungen.
  • Erfordert eine angemessene Anzahl von Ereignissen pro Prädiktor (Faustregel: mindestens 10); spärliche Ergebnisklassen führen zu Konvergenzproblemen und Überanpassung.
  • Kann bei komplexen tabellarischen Daten mit vielen Interaktionen hinter Ensemble-Methoden (Random Forest, Gradient Boosting) zurückbleiben.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Erzeugt kalibrierte Klassenwahrscheinlichkeiten, nicht nur Labels, die direkt für Ranking und Schwellenwertbildung verwendet werden können.
  • Koeffizienten sind als Log-Odds-Verhältnisse interpretierbar und erfüllen die Standards, die in der klinischen Forschung, den Sozialwissenschaften und der Politikforschung erwartet werden.
  • Berechnungschnell und speichereffizient, auch bei großen Datensätzen.
  • Regularisierte Varianten (Ridge, Lasso, Elastic Net) verarbeiten hochdimensionale Merkmale und führen eine automatische Merkmalsauswahl durch.
  • Weniger Annahmen als die Diskriminanzanalyse: erfordert keine multivariate Normalverteilung der Prädiktoren.
  • Robust und gut verstanden; dient als starke, glaubwürdige Basislinie, mit der komplexe Modelle verglichen werden sollten.

Anwendungen

  • Krankheitsdiagnose und klinische Risikobewertung (z. B. Vorhersage von Wiederaufnahmen oder Mortalität).
  • Kreditrisiko und Betrugserkennung im Finanzwesen.
  • Binäre Umfrageantwortmodellierung in Sozialwissenschaften und Epidemiologie.
  • Spam- und Sentimentklassifizierung als schnelle, interpretierbare Textbasislinie.
  • Basislinienklassifikator vor dem Einsatz komplexerer Ensemble-Modelle.

So funktioniert es

So funktioniert es

1

Eine gewichtete Summe aller Eingabemerkmale wird berechnet. Jedes Merkmal erhält einen Koeffizienten (Gewicht), der aus den Daten gelernt wird; der Achsenabschnitt erfasst die Basis-Log-Odds, wenn alle Merkmale null sind. Dies ist in seiner Form identisch mit der linearen Regression, aber die Ausgabe wird als Log-Odds-Score und nicht als direkte numerische Vorhersage interpretiert.

Formel
z = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
2

Der lineare Score wird durch die Sigmoid-Funktion transformiert, die jede reelle Zahl auf das offene Intervall (0, 1) abbildet. Dies ergibt eine gut kalibrierte Klassenwahrscheinlichkeit. Für Mehrklassenprobleme verallgemeinert die Softmax-Funktion diesen Schritt, um eine Wahrscheinlichkeitsverteilung über alle Klassen zu erzeugen.

Formel
P(y=1|\mathbf{x}) = \sigma(z) = \frac{1}{1 + e^{-z}}
3

Die Modellparameter werden durch Maximierung der Log-Likelihood der beobachteten Labels gegeben die vorhergesagten Wahrscheinlichkeiten geschätzt. Dies ist äquivalent zur Minimierung der binären Kreuzentropie-Verlustfunktion. Im Gegensatz zu gewöhnlichen kleinsten Quadraten gibt es keine geschlossene Formel: ein iterativer Optimierungsalgorithmus (typischerweise Newton-Raphson oder Gradientenabstieg) wird verwendet.

Formel
\ell(\boldsymbol{\beta}) = \sum_{i=1}^{n} \left[ y_i \log \hat{p}_i + (1-y_i) \log(1-\hat{p}_i) \right]
4

Ein iterativer Solver — wie L-BFGS, Newton-Raphson oder stochastischer Gradientenabstieg — aktualisiert den Koeffizientenvektor bis zur Konvergenz. Regularisierungsterme (L1 oder L2) können zum Zielfunktionswert hinzugefügt werden, um Koeffizienten zu schrumpfen, Überanpassung zu verhindern und automatische Merkmalsauswahl (L1 / Lasso) zu ermöglichen.

5

Die angepasste Wahrscheinlichkeit wird mit einem Klassifikationsschwellenwert (standardmäßig 0,5) verglichen, um ein Klassenlabel zuzuweisen. Bei unausgeglichenen Datensätzen oder wenn die Kosten für Falsch-Positiv- und Falsch-Negativ-Ergebnisse unterschiedlich sind, sollte dieser Schwellenwert anhand einer Präzisions-Recall-Kurve oder einer ROC-Analyse abgestimmt und nicht bei 0,5 belassen werden.

Formel
\hat{y} = \mathbf{1}[\hat{p} \geq 0.5]

Häufige Fallstricke

  • Weglassen einer Trainings-/Testaufteilung oder Kreuzvalidierung und Auswertung auf Trainingsdaten, was die scheinbare Leistung aufbläht.
  • Verwendung von Genauigkeit als alleinige Metrik bei unausgeglichenen Klassen anstelle der Berichterstattung von AUC-ROC, F1 und einer Konfusionsmatrix.
  • Ignorieren der Linearitätsannahme und Anwendung der logistischen Regression auf Daten mit stark nichtlinearen Klassengrenzen ohne diagnostische Überprüfungen.
  • Versäumnis, Regularisierung anzuwenden, wenn die Anzahl der Prädiktoren im Verhältnis zur Stichprobengröße groß ist, was zu Überanpassung führt.
  • Keine Überprüfung auf Multikollinearität (mittels VIF) vor der Interpretation von Koeffizientenmagnituden.

Häufig gestellte Fragen

Wann sollte ich die logistische Regression einem Random Forest vorziehen?

Wenn kalibrierte Wahrscheinlichkeiten, interpretierbare Koeffizienten benötigt werden oder Berichtsstandards eingehalten werden müssen, die explizite Odds Ratios erfordern — wie in klinischen Studien oder Politikbewertungen. Random Forest erzielt typischerweise eine höhere Vorhersagegenauigkeit, bietet aber keine direkte Koeffizienteninterpretation.

Wie viele Beobachtungen benötige ich?

Eine weit zitierte Faustregel besagt mindestens 10 Ereignisse (positive Ergebnisse) pro Prädiktorvariable. Bei weniger Ereignissen werden die Parameterschätzungen instabil und die Konfidenzintervalle unzuverlässig. Regularisierung oder penalisiertes Likelihood können den nutzbaren Bereich etwas erweitern.

Sollte ich meine Merkmale standardisieren?

Die Standardisierung von Merkmalen ist für die Vorhersage nicht erforderlich, aber sie ist wichtig, wenn Koeffizientenmagnituden über Prädiktoren hinweg verglichen werden oder wenn Regularisierung (L1 oder L2) verwendet wird, da Strafen alle Koeffizienten auf derselben Skala behandeln.

Was ist der Unterschied zwischen binärer und multinomialer logistischer Regression?

Die binäre logistische Regression modelliert ein Zwei-Klassen-Ergebnis mithilfe der Sigmoid-Funktion. Die multinomiale (Softmax) logistische Regression verallgemeinert dies auf drei oder mehr ungeordnete Klassen und schätzt einen Satz von Koeffizienten pro Klasse relativ zu einer Referenzklasse.

Wie gehe ich mit Klassenungleichgewicht um?

Setzen Sie class_weight='balanced' in scikit-learn, um die Verlustfunktion neu zu gewichten, oder überabstrichproben Sie die Minderheitsklasse (SMOTE). Werten Sie immer mit AUC-ROC und Präzisions-Recall-Kurven anstelle von Genauigkeit aus und stimmen Sie den Klassifikationsschwellenwert auf einem Validierungsdatensatz ab.

Verwandte Methoden

Quellen

  1. Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society, Series B, 20(2), 215–242.

    DOI-Referenz öffnen
    Kopiert.
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 4). Springer.

    ISBN: 978-1-4614-7138-7
    Kopiert.