Zum Inhalt springen
Zurück zu den Suchergebnissen

Konforme Prädiktion

Eingeführt von
Vovk, Gammerman & Shafer
Jahr
2005
Typ
Distribution-free uncertainty quantification framework
Familie
Trustworthy ML

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Konforme Prädiktion ist ein verteilungsfreier Rahmen zur Konstruktion statistisch valider Prädiktionsmengen (für Klassifikation) oder Prädiktionsintervalle (für Regression) um die Ausgabe jedes vortrainierten Modells des maschinellen Lernens.

Eingeführt von Vovk, Gammerman und Shafer in ihrer Monographie von 2005, bietet es eine marginale Abdeckungsgarantie für endliche Stichproben – das wahre Label fällt mit einer Wahrscheinlichkeit von mindestens 1-alpha in die Prädiktionsmenge –, ohne parametrische Annahmen über die Datenverteilung zu erfordern.

Die Intuition hinter der Methode

Stellen Sie sich eine Wetterstation vor, die anstatt zu sagen 'morgen werden es 22°C sein', sagt 'morgen wird es zwischen 19°C und 25°C liegen, und wir garantieren, dass dieses Intervall an mindestens 90% der Tage über einen langen Zeitraum korrekt ist.' Konforme Prädiktion funktioniert ähnlich: Sie umhüllt die Punktvorhersage jedes bestehenden Modells mit einem datengesteuerten Sicherheitsabstand, der anhand zurückgehaltener Beispiele kalibriert wird, sodass die resultierende Menge unter sehr milden Annahmen über die Datenerfassung nachweislich zuverlässig ist.

Geschichte

Konforme Prädiktion wurde von Vladimir Vovk, Alexander Gammerman und Glenn Shafer in ihrer Springer-Monographie von 2005 formalisiert, aufbauend auf früheren Ideen des Online-Transduktiven Lernens aus den späten 1990er Jahren. Die induktive (Split-konforme) Variante, die Training von Kalibrierung trennt, wurde später populär gemacht, um die Methode skalierbar zu machen. Die 2020er Jahre sahen eine rasche Adaption im Deep Learning, mit Erweiterungen wie Mondrian-konformer Prädiktion für bedingte Garantien, risikokontrollierten Prädiktionsmengen und konformer Risikokontrolle.

Wann wird sie eingesetzt?

Verwenden Sie Konforme Prädiktion, wenn Sie rigorose, stichprobenbasierte Abdeckungsgarantien für die Unsicherheitsausgabe eines Modells ohne Verteilungsannahmen benötigen. Sie ist sowohl für Klassifikations- als auch für Regressionsaufgaben geeignet, bei denen Kalibrierungsdaten aus derselben Verteilung wie die Testdaten verfügbar sind. Einschränkungen sind die Austauschbarkeitsannahme (verletzt bei Kovariatenverschiebung) und dass die Abdeckung marginal und nicht bedingt ist, was bedeutet, dass einige Untergruppen unter- oder überabgedeckt sein können. Alternativen sind bayesianische Glaubwürdigkeitsintervalle (erfordern Verteilungsannahmen) und Quantilsregression (keine stichprobenbasierte Garantie ohne konforme Umhüllung).

Grenzen und Hinweise

  • Die Abdeckungsgarantie ist marginal (gemittelt über Testeingaben), nicht bedingt auf jedes einzelne x.
  • Nimmt Austauschbarkeit von Kalibrierungs- und Testdaten an; die Leistung verschlechtert sich bei Kovariaten- oder Label-Verschiebung.
  • Prädiktionsmengen können uninformativ groß sein, wenn das Basismodell schwach ist oder die Ziel-Missempfindungsrate alpha klein ist.
  • Split-konforme Methoden erfordern einen dedizierten Kalibrierungsdatensatz, was die für das Training verfügbaren Daten reduziert.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Bietet stichprobenbasierte, verteilungsfreie marginale Abdeckungsgarantien, die für jedes Basismodell gültig sind.
  • Modellagnostisch: umhüllt jeden vortrainierten Klassifikator oder Regressor ohne erneutes Training.
  • Rechentechnisch leichtgewichtig zur Inferenzzeit – erfordert nur die Speicherung von Kalibrierungswerten und die Berechnung eines Quantils.
  • Flexible Nichtkonformitätswerte ermöglichen die Anpassung an diverse Aufgaben, einschließlich Objekterkennung und natürlichsprachlicher Generierung.

Anwendungen

  • Medizinische Diagnose: Erzeugung von Prädiktionsmengen für die Krankheitsklassifikation, die garantieren, dass die wahre Diagnose mit hoher Wahrscheinlichkeit enthalten ist, und so eine sichere klinische Entscheidungsfindung unterstützen.
  • Wirkstoffentdeckung: Generierung zuverlässiger Konfidenzregionen für Vorhersagen von Moleküleigenschaften, um Chemikern bei der Priorisierung von Verbindungen für teure Nasslabor-Tests zu helfen.
  • Autonomes Fahren: Konstruktion von abdeckungsgarantierten Unsicherheitsregionen um Objekterkennungs-Ausgaben, um sichere Rückfallverhaltensweisen auszulösen.
  • Natürliche Sprachverarbeitung: Kalibrierte Prädiktionsmengen für Textklassifikation und Token-Level-Unsicherheit in den Ausgaben großer Sprachmodelle.
  • Finanzrisikobewertung: Verteilungsfreie Vorhersageintervalle für Renditeprognosen, die unter regulatorischer Prüfung gültig bleiben, ohne parametrische Modelle zu erfordern.

So funktioniert es

So funktioniert es

1

Ein konventionelles Modell des maschinellen Lernens – jeder Klassifikator, Regressor oder jedes neuronale Netz – wird auf einem dedizierten Trainings-Split trainiert. Konforme Prädiktion ist agnostisch gegenüber diesem Modell; sie behandelt es als Black Box. Die Qualität der endgültigen Prädiktionsmengen wird davon beeinflusst, wie genau das Basismodell ist, aber die Gültigkeitsgarantie gilt unabhängig davon.

Formel
\hat{f} \leftarrow \text{Train}(\{(x_i, y_i)\}_{i=1}^{n_{\text{train}}})
2

Auf einem separaten Kalibrierungs-Split, den das Basismodell nicht gesehen hat, wird für jedes Beispiel ein Nichtkonformitätswert berechnet. Für die Regression ist der Wert typischerweise der absolute Restfehler |y - f_hat(x)|; für die Klassifikation kann es 1 minus der vorhergesagten Wahrscheinlichkeit der wahren Klasse sein. Diese Werte messen, wie 'überraschend' jeder Kalibrierungspunkt im Verhältnis zum Modell ist.

Formel
s_i = \|y_i - \hat{f}(x_i)\|, \quad i = 1, \dots, n_{\text{cal}}
3

Das empirische (1-alpha)-Quantil der Kalibrierungs-Nichtkonformitätswerte wird mit einem Korrekturfaktor für endliche Stichproben berechnet. Dieses korrigierte Quantil q_hat ist der Schwellenwert, der aufgrund der Austauschbarkeit der Daten sicherstellt, dass die Abdeckungsgarantie für einen neuen Testpunkt mit einer Wahrscheinlichkeit von mindestens 1-alpha gilt.

Formel
\hat{q} = \text{Quantile}\!\left(\{s_i\}_{i=1}^{n_{\text{cal}}};\ \frac{\lceil (n_{\text{cal}}+1)(1-\alpha) \rceil}{n_{\text{cal}}}\right)
4

Für eine neue Testeingabe x_new enthält die Prädiktionsmenge jedes Kandidaten-Label y, dessen Nichtkonformitätswert q_hat nicht überschreitet. In der Regression ergibt dies ein Intervall [f_hat(x_new) - q_hat, f_hat(x_new) + q_hat]; in der Klassifikation ergibt dies die Teilmenge der Klassen mit ausreichend hoher vorhergesagter Wahrscheinlichkeit. Die Menge deckt garantiert das wahre Label mit einer marginalen Wahrscheinlichkeit von mindestens 1-alpha ab.

Formel
\mathcal{C}(x_{\text{new}}) = \{y : s(x_{\text{new}}, y) \leq \hat{q}\}

Häufige Fallstricke

  • Die Verwendung des Trainingsdatensatzes als Kalibrierungsdatensatz verstärkt den Optimismus und zerstört die Gültigkeitsgarantie – verwenden Sie immer einen zurückgehaltenen Kalibrierungs-Split.
  • Verwechslung von marginaler Abdeckung mit bedingter Abdeckung: Die Garantie impliziert nicht, dass jede Unterpopulation mit dem Niveau 1-alpha abgedeckt ist.
  • Ignorieren von Verteilungsverschiebungen: Die Anwendung eines konformen Prädiktors, der auf historischen Daten kalibriert wurde, auf eine verschobene Verteilungsverteilung bricht die theoretische Garantie.
  • Behandlung der Prädiktionsmengengröße als direktes Konfidenzmaß, ohne zu erkennen, dass die Mengengröße gemeinsam von der Modellqualität und dem gewählten Alpha abhängt.

Häufig gestellte Fragen

Erfordert Konforme Prädiktion die Kenntnis der Datenverteilung?

Nein. Die marginale Abdeckungsgarantie beruht lediglich auf der Austauschbarkeitsannahme – grob gesagt, dass Kalibrierungs- und Testpunkte i.i.d. aus derselben Verteilung gezogen werden. Keine parametrische Familie muss spezifiziert werden, was den Rahmen 'verteilungsfrei' macht. Dies ist sein primärer theoretischer Vorteil gegenüber bayesianischen Glaubwürdigkeitsintervallen und klassischen Konfidenzintervallen, die auf Normalität basieren.

Wie wird die Größe des Kalibrierungsdatensatzes gewählt und wie beeinflusst sie die Ergebnisse?

Ein größerer Kalibrierungsdatensatz liefert eine engere, stabilere empirische Quantilschätzung, was zu kleineren Prädiktionsmengen führt. Eine gängige Faustregel sind mindestens einige hundert Kalibrierungsbeispiele. Bei sehr kleinen Kalibrierungsdatensätzen (weniger als 1/alpha Punkte) erzwingt die Korrektur für endliche Stichproben vollständige Abdeckungs-Mengen, was die Methode uninformativ macht. Es gibt einen Standard-Bias-Varianz-Trade-off zwischen der Größe des Trainingsdatensatzes und der Größe des Kalibrierungsdatensatzes.

Kann Konforme Prädiktion auf tiefe neuronale Netze angewendet werden?

Ja. Da der Rahmen modellagnostisch ist, umhüllt er jedes neuronale Netz ohne Modifikation. Der Nichtkonformitätswert wird typischerweise unter Verwendung der Softmax-Ausgabe des Modells für die Klassifikation oder seiner Punktvorhersage für die Regression definiert. Rechentechnisch erfordert die Kalibrierung nur einen einzigen Vorwärtsdurchlauf über den Kalibrierungsdatensatz, was ihn für große Modelle sehr praktikabel macht.

Verwandte Methoden

Quellen

  1. Vovk, V., Gammerman, A., & Shafer, G. (2005). Algorithmic Learning in a Random World. Springer.

    ISBN: 978-0-387-00152-4
    Kopiert.