Kalibracja modelu
- Autor metody
- Platt; Guo et al.
- Rok
- 2017
- Typ
- Post-hoc probability correction technique
- Rodzina
- Trustworthy ML
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Kalibracja modelu to technika post-hoc, która dostosowuje wyjścia prawdopodobieństwa wytrenowanego klasyfikatora tak, aby przewidywane wyniki pewności odpowiadały empirycznym częstościom występowania zdarzeń.
Klasyfikator jest uważany za doskonale skalibrowany, jeśli wśród wszystkich predykcji dokonanych z pewnością p, dokładnie ułamek p z nich jest poprawny. Systematyczne rozkalibrowanie nowoczesnych głębokich sieci neuronowych zostało rygorystycznie udokumentowane przez Guo i in. (2017), którzy wykazali, że sieci trenowane ze standardową stratą entropii krzyżowej mają tendencję do nadmiernej pewności i zaproponowali skalowanie temperaturowe jako proste, skuteczne rozwiązanie.
Intuicja stojąca za metodą
Wyobraźmy sobie prognozę pogody, w której meteorolog mówi „jest 90% szans na deszcz” przez 100 różnych dni. Jeśli tylko 60 z tych dni faktycznie przyniesie deszcz, meteorolog jest nadmiernie pewny. Kalibracja polega na ponownym skalibrowaniu skali meteorologa tak, aby gdy mówi 90%, faktyczne występowanie deszczu wynosiło dokładnie 90%. W przypadku sieci neuronowej oznacza to rozciągnięcie lub ściśnięcie jej surowych wyników pewności, aż liczby na etykiecie będą wiernie odzwierciedlać, jak często sieć jest poprawna.
Historia
Kalibracja prawdopodobieństwa ma swoje korzenie w skalowaniu Platza (Platt, 1999), który dopasowywał sigmoidalną funkcję do wyjść SVM, oraz w regresji izotonicznej stosowanej do klasyfikatorów naiwnych Bayesowskich. Nowoczesne podejście zostało znacznie rozwinięte przez Guo i in. (2017), którzy przeprowadzili testy porównawcze ResNet i innych architektur, stwierdzając systematyczną nadmierną pewność skorelowaną z pojemnością modelu. Ich propozycja skalowania temperaturowego stała się standardową bazą, inspirując dalsze prace nad kalibracją warunkową na klasy, kalibracją zespołów i kalibracją w warunkach przesunięcia rozkładu w latach 2010. i 2020.
Kiedy stosować
Używaj kalibracji modelu, gdy przewidywane prawdopodobieństwa będą stanowić podstawę dalszych decyzji, które zależą od ich wartości nominalnej, takich jak stratyfikacja ryzyka medycznego, progi oceny oszustw lub klasyfikatory wrażliwe na koszty. Jest to szczególnie ważne w przypadku głębokich sieci neuronowych, które, jak wykazały Guo i in. (2017), stają się coraz bardziej nadmiernie pewne wraz ze wzrostem głębokości i szerokości modelu. Kalibracja zakłada reprezentatywny odłożony zbiór; nie może ona skorygować przesunięcia rozkładu między rozkładem kalibracyjnym a wdrożeniowym. Gdy potrzebne są przedziały predykcyjne zamiast punktowych prawdopodobieństw, rozważ zamiast tego predykcję konformalną.
Ograniczenia i uwagi
- Kalibracja wymaga odłożonego zbioru walidacyjnego; małe zbiory kalibracyjne dają nierzetelne oszacowania temperatury.
- Skalowanie temperaturowe zakłada, że pojedynczy globalny skalar jest wystarczający, co może zawieść, gdy rozkalibrowanie jest specyficzne dla klasy lub regionu.
- ECE jest wrażliwe na liczbę i szerokość przedziałów, co sprawia, że porównania między badaniami są niepewne bez standaryzacji.
- Kalibracja nie poprawia ostrości ani zdolności dyskryminacyjnej; model o słabej dyskryminacji pozostaje taki po kalibracji.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Skalowanie temperaturowe dodaje tylko jeden parametr i nie może zmniejszyć dokładności klasyfikacji, co czyni je niezwykle lekkim.
- ECE zapewnia interpretowalny, praktyczny wskaźnik diagnostyczny, który kwantyfikuje rozkalibrowanie przed i po korekcie.
- Kalibracja post-hoc jest niezależna od modelu i może być stosowana do dowolnego wstępnie wytrenowanego klasyfikatora bez ponownego trenowania.
- Dobrze skalibrowane prawdopodobieństwa umożliwiają niezawodny wybór progów i obliczenia wartości oczekiwanej w potokach przetwarzania końcowego.
Zastosowania
- Systemy diagnozy medycznej, w których rozkalibrowane wskaźniki ryzyka prowadzą do błędnych progów leczenia.
- Ocena zdolności kredytowej i wykrywanie oszustw, gdzie wyjścia prawdopodobieństwa determinują decyzje o akceptacji/odrzuceniu wrażliwe na koszty.
- Klasyfikatory przetwarzania języka naturalnego, gdzie wymagane jest agregowanie wyjść modelu ważone pewnością.
- Potoki detekcji obiektów, które wykorzystują progi pewności do filtrowania kandydatów na detekcje przed dalszym rozumowaniem.
- Ustawienia uczenia zespołowego i federacyjnego, gdzie wyjścia z wielu modeli muszą być łączone na wspólnej skali prawdopodobieństwa.
Jak to działa
Jak to działa
Dla każdego przykładu walidacyjnego wyodrębnij maksymalne prawdopodobieństwo softmax ze wszystkich klas jako zgłoszony przez model poziom pewności. Ta skalar reprezentuje, jak pewny siebie twierdzi, że jest model co do swojej najlepszej predykcji i służy jako surowe wejście do potoku kalibracji.
Wzór
\hat{p}_i = \max_c \, \hat{\sigma}_c(\mathbf{x}_i)Podziel predykcje na M przedziałów o równej szerokości według poziomu pewności. Dla każdego przedziału oblicz różnicę między średnim poziomem pewności a średnią dokładnością, a następnie oblicz średnią ważoną dla wszystkich przedziałów. Uzyskany błąd kalibracji oczekiwanej (ECE) jest głównym wskaźnikiem diagnostycznym: niższy ECE wskazuje na lepsze dopasowanie między przewidywanymi prawdopodobieństwami a obserwowanymi częstościami.
Wzór
\mathrm{ECE} = \sum_{m=1}^{M} \frac{|B_m|}{n} \left| \mathrm{acc}(B_m) - \mathrm{conf}(B_m) \right|Podziel wektor logitów przed funkcją softmax przez pojedynczy, uczony skalar T przed zastosowaniem funkcji softmax. Gdy T jest większe od 1, rozkład jest spłaszczany, redukując nadmierną pewność; gdy T jest mniejsze od 1, jest on wyostrzany. Skalowanie temperaturowe nie zmienia kolejności rang predykcji, pozostawiając dokładność niezmienioną, jednocześnie poprawiając kalibrację.
Wzór
\hat{q}_i = \max_c \, \sigma_{\mathrm{SM}}\!\left(\mathbf{z}_i / T\right)_c, \quad T > 0Znajdź optymalną temperaturę T* minimalizując ujemną log-wiarygodność (NLL) dla odłożonego zbioru walidacyjnego. Jest to jednowymiarowy problem optymalizacji wypukłej, rozwiązywany efektywnie za pomocą spadku gradientowego lub wyszukiwania liniowego. Uzyskane T* jest następnie ustalane i stosowane w czasie wnioskowania do wszystkich przyszłych predykcji.
Wzór
T^* = \arg\min_{T} \, \mathcal{L}_{\mathrm{NLL}}\!\left(\sigma_{\mathrm{SM}}(\mathbf{z}/T),\, y\right)Częste pułapki
- Kalibrowanie na tych samych danych, które zostały użyte do trenowania, prowadzi do przeuczenia i fałszywie niskiego ECE na zbiorze treningowym.
- Używanie skalibrowanych prawdopodobieństw tak, jakby były one oszacowaniami niepewności, zaciera niepewność aleatoryczną i epistemiczną.
- Raportowanie tylko ECE może maskować słabe kalibrowanie na ogonach rozkładu; zawsze wizualizuj diagram wiarygodności obok metryki skalarnej.
- Zastosowanie skalibrowanego modelu do przesuniętego rozkładu wdrożeniowego unieważnia kalibrację i może prowadzić do wprowadzających w błąd wyników pewności.
Najczęściej zadawane pytania
Czy kalibracja wpływa na dokładność klasyfikacji?
Skalowanie temperaturowe nie zmienia kolejności rang prawdopodobieństw klas, więc dokładność top-1 pozostaje niezmieniona. Inne metody kalibracji, takie jak regresja izotoniczna, mogą w rzadkich przypadkach zmienić predykcję argmax, ale ich głównym celem jest dokładność prawdopodobieństwa, a nie dokładność klasyfikacji, a jakikolwiek wpływ na dokładność jest zazwyczaj nieznaczny.
Skąd mam wiedzieć, czy mój model wymaga kalibracji?
Narysuj diagram wiarygodności: grupuj predykcje według przedziałów pewności i wykreśl średnią pewność w funkcji dokładności empirycznej. Doskonale skalibrowany model podąża po przekątnej. Krzywa konsekwentnie powyżej przekątnej sygnalizuje nadmierną pewność; poniżej sygnalizuje niedostateczną pewność. Oblicz ECE jako pojedynczą statystykę podsumowującą; wartości powyżej około 0,05 są powszechnie uważane za nieistotne rozkalibrowanie w praktyce.
Kiedy powinienem użyć regresji izotonicznej zamiast skalowania temperaturowego?
Regresja izotoniczna jest nieparametryczną funkcją monotoniczną i może uchwycić złożone, nierównomierne rozkalibrowanie w całym zakresie prawdopodobieństwa. Preferuj ją, gdy diagram wiarygodności pokazuje wzorzec niemonotoniczny lub nieregularny. Jednak regresja izotoniczna wymaga więcej danych do rzetelnego dopasowania, a skalowanie temperaturowe jest zazwyczaj preferowane, gdy zbiór kalibracyjny jest mały lub gdy priorytetem jest prostota i interpretowalność.
Pokrewne metody
Źródła
Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). On calibration of modern neural networks. International Conference on Machine Learning, 1321–1330.
Otwórz odnośnik do publikacjiSkopiowano.