Przejdź do treści
Wróć do wyników wyszukiwania

Konformalne przewidywanie

Autor metody
Vovk, Gammerman & Shafer
Rok
2005
Typ
Distribution-free uncertainty quantification framework
Rodzina
Trustworthy ML

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Konformalne przewidywanie to wolna od założeń dystrybucyjnych rama konstrukcji statystycznie poprawnych zbiorów predykcyjnych (dla klasyfikacji) lub przedziałów predykcyjnych (dla regresji) wokół wyników dowolnego wytrenowanego modelu uczenia maszynowego.

Wprowadzona przez Vovka, Gammermana i Shafera w ich monografii z 2005 r., zapewnia gwarancję pokrycia brzegowego w skończonej próbie — prawdziwa etykieta znajduje się w zbiorze predykcyjnym z prawdopodobieństwem co najmniej 1-alfa — bez konieczności przyjmowania założeń parametrycznych dotyczących rozkładu danych.

Intuicja stojąca za metodą

Wyobraźmy sobie stację pogodową, która zamiast mówić „jutro będzie 22°C”, mówi „jutro będzie między 19°C a 25°C, i gwarantujemy, że ten przedział jest poprawny przez co najmniej 90% dni w długim okresie”. Konformalne przewidywanie działa podobnie: otacza punktową predykcję dowolnego istniejącego modelu marginesem bezpieczeństwa zależnym od danych, skalibrowanym na przykładach odłożonych na bok, dzięki czemu wynikowy zbiór jest gwarantowanie niezawodny przy bardzo łagodnych założeniach dotyczących sposobu zebrania danych.

Historia

Konformalne przewidywanie zostało sformalizowane przez Vladimira Vovka, Alexandra Gammermana i Glenna Shafera w ich monografii Springer z 2005 r., bazując na wcześniejszych ideach online transductive learning z końca lat 90. XX wieku. Indukcyjna (rozszczepiona konformalnie) odmiana, która rozdziela trenowanie od kalibracji, została później spopularyzowana w celu skalowania metody. Lata 20. XXI wieku przyniosły szybkie przyjęcie w głębokim uczeniu, z rozszerzeniami obejmującymi mondrian conformal prediction dla gwarancji warunkowych, zbiory predykcyjne kontrolujące ryzyko i kontrolę ryzyka konformalnego.

Kiedy stosować

Używaj konformalnego przewidywania, gdy potrzebujesz rygorystycznych, gwarancji pokrycia w skończonej próbie dla wyjścia niepewności modelu bez założeń dystrybucyjnych. Jest ono odpowiednie zarówno dla zadań klasyfikacji, jak i regresji, gdzie dostępne są dane kalibracyjne z tego samego rozkładu co dane testowe. Ograniczenia obejmują założenie wymienności (naruszone przy przesunięciu kowariantów) oraz to, że pokrycie jest brzegowe, a nie warunkowe, co oznacza, że niektóre podgrupy mogą być niedostatecznie lub nadmiernie pokryte. Alternatywy obejmują przedziały wiarygodności bayesowskiej (wymagają założeń dystrybucyjnych) i regresję kwantylową (brak gwarancji skończonej próby bez konformalnego otoczenia).

Ograniczenia i uwagi

  • Gwarancja pokrycia jest brzegowa (uśredniona po wszystkich punktach testowych), a nie warunkowa (zależna od każdego indywidualnego x).
  • Zakłada wymienność danych kalibracyjnych i testowych; wydajność spada przy przesunięciu kowariantów lub etykiet.
  • Zbiory predykcyjne mogą być nieinformacyjnie duże, gdy model bazowy jest słaby lub docelowy wskaźnik błędnego pokrycia alfa jest mały.
  • Metody rozszczepionej konformalności wymagają dedykowanego zbioru kalibracyjnego, zmniejszając ilość danych dostępnych do trenowania.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Zapewnia gwarancje pokrycia brzegowego w skończonej próbie, wolne od założeń dystrybucyjnych, poprawne dla dowolnego modelu bazowego.
  • Agnostyczne wobec modelu: otacza dowolny wytrenowany klasyfikator lub regresor bez potrzeby ponownego trenowania.
  • Lekkie obliczeniowo w czasie wnioskowania — wymaga jedynie przechowywania wyników kalibracji i obliczenia kwantyla.
  • Elastyczne wyniki niekonformizmu pozwalają na adaptację do różnorodnych zadań, w tym detekcji obiektów i generowania języka naturalnego.

Zastosowania

  • Diagnostyka medyczna: generowanie zbiorów predykcyjnych dla klasyfikacji chorób, które gwarantują zawarcie prawdziwej diagnozy z wysokim prawdopodobieństwem, wspierając bezpieczne podejmowanie decyzji klinicznych.
  • Odkrywanie leków: generowanie niezawodnych regionów pewności dla predykcji właściwości molekularnych, pomagając chemikom priorytetyzować związki do kosztownych testów laboratoryjnych.
  • Jazda autonomiczna: konstruowanie regionów niepewności z gwarancją pokrycia wokół wyników detekcji obiektów w celu wywołania bezpiecznych zachowań awaryjnych.
  • Przetwarzanie języka naturalnego: skalibrowane zbiory predykcyjne dla klasyfikacji tekstu i niepewności na poziomie tokenów w wynikach dużych modeli językowych.
  • Ocena ryzyka finansowego: wolne od założeń dystrybucyjnych przedziały predykcyjne dla prognoz zwrotów, które pozostają poprawne pod nadzorem regulacyjnym bez konieczności stosowania modeli parametrycznych.

Jak to działa

Jak to działa

1

Konwencjonalny model uczenia maszynowego — dowolny klasyfikator, regresor lub sieć neuronowa — jest trenowany na dedykowanym podziale treningowym. Konformalne przewidywanie jest agnostyczne wobec tego modelu; traktuje go jako czarną skrzynkę. Jakość ostatecznych zbiorów predykcyjnych zależy od dokładności modelu bazowego, ale gwarancja poprawności obowiązuje niezależnie.

Wzór
\hat{f} \leftarrow \text{Train}(\{(x_i, y_i)\}_{i=1}^{n_{\text{train}}})
2

Na oddzielnym podziale kalibracyjnym, którego model bazowy nie widział, dla każdego przykładu obliczany jest wynik niekonformizmu. Dla regresji wynikiem jest zazwyczaj wartość bezwzględna reszty |y - f_hat(x)|; dla klasyfikacji może to być 1 minus przewidywane prawdopodobieństwo prawdziwej klasy. Wyniki te mierzą, jak „zaskakujący” jest każdy punkt kalibracyjny w stosunku do modelu.

Wzór
s_i = \|y_i - \hat{f}(x_i)\|, \quad i = 1, \dots, n_{\text{cal}}
3

Empiryczny kwantyl (1-alfa) wyników niekonformizmu kalibracji jest obliczany z czynnikiem korygującym dla skończonej próby. Ten skorygowany kwantyl q_hat jest progiem, który dzięki wymienności danych zapewni, że gwarancja pokrycia będzie obowiązywać dla nowego punktu testowego z prawdopodobieństwem co najmniej 1-alfa.

Wzór
\hat{q} = \text{Quantile}\!\left(\{s_i\}_{i=1}^{n_{\text{cal}}};\ \frac{\lceil (n_{\text{cal}}+1)(1-\alpha) \rceil}{n_{\text{cal}}}\right)
4

Dla nowego wejścia testowego x_new, zbiór predykcyjny zawiera każdą kandydacką etykietę y, której wynik niekonformizmu nie przekracza q_hat. W regresji daje to przedział [f_hat(x_new) - q_hat, f_hat(x_new) + q_hat]; w klasyfikacji daje podzbiór klas o wystarczająco wysokim przewidywanym prawdopodobieństwie. Gwarantuje się, że zbiór pokryje prawdziwą etykietę z prawdopodobieństwem brzegowym co najmniej 1-alfa.

Wzór
\mathcal{C}(x_{\text{new}}) = \{y : s(x_{\text{new}}, y) \leq \hat{q}\}

Częste pułapki

  • Użycie zbioru treningowego jako zbioru kalibracyjnego zwiększa optymizm i niszczy gwarancję poprawności — zawsze używaj odłożonego na bok zbioru kalibracyjnego.
  • Mylenie pokrycia brzegowego z pokryciem warunkowym: gwarancja nie implikuje, że każda podpopulacja jest pokryta na poziomie 1-alfa.
  • Ignorowanie przesunięcia rozkładu: zastosowanie konformalnego predyktora skalibrowanego na danych historycznych do przesuniętego rozkładu wdrożeniowego łamie teoretyczną gwarancję.
  • Traktowanie rozmiaru zbioru predykcyjnego jako bezpośredniego wskaźnika pewności, bez uwzględnienia, że rozmiar zbioru zależy wspólnie od jakości modelu i wybranego alfa.

Najczęściej zadawane pytania

Czy konformalne przewidywanie wymaga znajomości rozkładu danych?

Nie. Gwarancja pokrycia brzegowego opiera się jedynie na założeniu wymienności — z grubsza na tym, że punkty kalibracyjne i testowe są pobierane i.i.d. z tego samego rozkładu. Nie trzeba określać żadnej rodziny parametrycznej, co sprawia, że rama jest „wolna od założeń dystrybucyjnych”. Jest to jej główna teoretyczna zaleta w porównaniu z przedziałami wiarygodności bayesowskiej i klasycznymi przedziałami ufności opartymi na normalności.

Jak wybierany jest rozmiar zbioru kalibracyjnego i jak wpływa on na wyniki?

Większy zbiór kalibracyjny daje ciaśniejszy, bardziej stabilny estymator kwantyla empirycznego, co skutkuje mniejszymi zbiorami predykcyjnymi. Powszechną zasadą jest stosowanie co najmniej kilkuset przykładów kalibracyjnych. Przy bardzo małych zbiorach kalibracyjnych (mniej niż 1/alfa punktów) poprawka dla skończonej próby wymusza zbiory o pełnym pokryciu, czyniąc metodę nieinformacyjną. Istnieje standardowy kompromis między wariancją a obciążeniem między rozmiarem zbioru treningowego a rozmiarem zbioru kalibracyjnego.

Czy konformalne przewidywanie można zastosować do głębokich sieci neuronowych?

Tak. Ponieważ rama jest agnostyczna wobec modelu, otacza dowolną sieć neuronową bez modyfikacji. Wynik niekonformizmu jest zazwyczaj definiowany przy użyciu wyjścia softmax modelu dla klasyfikacji lub jego predykcji punktowej dla regresji. Obliczeniowo kalibracja wymaga tylko jednego przejścia w przód przez zbiór kalibracyjny, co czyni ją bardzo praktyczną dla dużych modeli.

Pokrewne metody

Źródła

  1. Vovk, V., Gammerman, A., & Shafer, G. (2005). Algorithmic Learning in a Random World. Springer.

    ISBN: 978-0-387-00152-4
    Skopiowano.