Skip to content
Torna ai risultati

Calibrazione del modello

Introdotto da
Platt; Guo et al.
Anno
2017
Tipo
Post-hoc probability correction technique
Famiglia
Trustworthy ML

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

La calibrazione del modello è una tecnica post-hoc che regola gli output di probabilità di un classificatore addestrato in modo che i punteggi di confidenza predetti corrispondano alle frequenze empiriche dei risultati.

Si dice che un classificatore sia perfettamente calibrato se, tra tutte le predizioni effettuate con confidenza p, esattamente una frazione p di esse è corretta. La miscalibrazione sistematica delle moderne reti neurali profonde è stata rigorosamente documentata da Guo et al. (2017), i quali hanno dimostrato che le reti addestrate con la perdita di entropia incrociata standard tendono ad essere eccessivamente sicure e hanno proposto lo scaling di temperatura come rimedio semplice ed efficace.

L’intuizione alla base del metodo

Immagina un meteorologo che dice 'c'è il 90% di probabilità di pioggia' in 100 giorni diversi. Se solo 60 di quei giorni vedono effettivamente pioggia, il meteorologo è eccessivamente sicuro. La calibrazione è come ricalibrare la scala del meteorologo in modo che, quando dice 90%, il tasso di pioggia sia effettivamente del 90%. Per una rete neurale, ciò significa estendere o comprimere i suoi punteggi di confidenza grezzi finché i numeri sull'etichetta non riflettono fedelmente quanto spesso la rete è corretta.

Storia

La calibrazione delle probabilità ha radici nello scaling di Platt (Platt, 1999), che adattava una sigmoide agli output SVM, e nella regressione isotonica applicata ai classificatori naive Bayes. Il trattamento moderno è stato sostanzialmente avanzato da Guo et al. (2017), che hanno confrontato ResNet e altre architetture e hanno trovato un'eccessiva sicurezza sistematica correlata alla capacità del modello. La loro proposta di scaling di temperatura è diventata una baseline standard, stimolando lavori di follow-up sulla calibrazione condizionale per classe, calibrazione di ensemble e calibrazione sotto spostamento di distribuzione durante la fine degli anni 2010 e 2020.

Quando usarlo

Utilizzare la calibrazione del modello ogni volta che le probabilità predette alimenteranno decisioni a valle che dipendono dal loro valore nominale, come la stratificazione del rischio medico, le soglie di punteggio per frodi o i classificatori sensibili ai costi. È particolarmente importante per le reti neurali profonde, che Guo et al. (2017) hanno dimostrato diventare sempre più eccessivamente sicure all'aumentare della profondità e della larghezza del modello. La calibrazione presuppone un set rappresentativo tenuto da parte; non può correggere lo spostamento di distribuzione tra le distribuzioni di calibrazione e di distribuzione. Quando sono necessari intervalli di predizione piuttosto che probabilità puntuali, considerare la predizione conforme (conformal prediction) invece.

Limiti e considerazioni

  • La calibrazione richiede un set di validazione tenuto da parte; set di calibrazione piccoli producono stime di temperatura inaffidabili.
  • Lo scaling di temperatura presuppone che un singolo scalare globale sia sufficiente, il che può fallire quando la miscalibrazione è specifica per classe o regione.
  • L'ECE è sensibile al numero e all'ampiezza degli intervalli, rendendo rumorosi i confronti tra studi senza standardizzazione.
  • La calibrazione non migliora la nitidezza o la capacità discriminatoria; un modello scarsamente discriminante rimane tale dopo la calibrazione.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Lo scaling di temperatura aggiunge un solo parametro e non può ridurre l'accuratezza della classificazione, rendendolo estremamente leggero.
  • L'ECE fornisce una diagnostica interpretabile e attuabile che quantifica la miscalibrazione prima e dopo la correzione.
  • La calibrazione post-hoc è agnostica rispetto al modello e può essere applicata a qualsiasi classificatore pre-addestrato senza riaddestramento.
  • Le probabilità ben calibrate consentono una selezione affidabile delle soglie e calcoli del valore atteso nelle pipeline a valle.

Applicazioni

  • Sistemi di diagnosi medica in cui punteggi di rischio mal calibrati portano a soglie di trattamento errate.
  • Scoring del credito e rilevamento frodi in cui gli output di probabilità guidano decisioni di accettazione/rifiuto sensibili ai costi.
  • Classificatori di elaborazione del linguaggio naturale in cui è richiesta l'aggregazione pesata per confidenza degli output del modello.
  • Pipeline di rilevamento oggetti che utilizzano soglie di confidenza per filtrare le rilevazioni candidate prima del ragionamento a valle.
  • Contesti di apprendimento ensemble e federato in cui gli output di più modelli devono essere combinati su una scala di probabilità comune.

Come funziona

Come funziona

1

Per ogni esempio di validazione, estrarre la probabilità softmax massima tra tutte le classi come confidenza riportata dal modello. Questo scalare rappresenta quanto il modello afferma di essere certo della sua predizione principale e funge da input grezzo per la pipeline di calibrazione.

Formula
\hat{p}_i = \max_c \, \hat{\sigma}_c(\mathbf{x}_i)
2

Partizionare le predizioni in M intervalli di uguale ampiezza per confidenza. Per ogni intervallo, calcolare il divario tra la confidenza media e l'accuratezza media, quindi calcolare una media ponderata tra gli intervalli. L'Expected Calibration Error (ECE) risultante è il principale indicatore diagnostico: un ECE inferiore indica un migliore allineamento tra le probabilità predette e le frequenze osservate.

Formula
\mathrm{ECE} = \sum_{m=1}^{M} \frac{|B_m|}{n} \left| \mathrm{acc}(B_m) - \mathrm{conf}(B_m) \right|
3

Dividere il vettore logit pre-softmax per un singolo scalare apprendibile T prima del softmax. Quando T è maggiore di 1, la distribuzione viene appiattita, riducendo l'eccessiva sicurezza; quando T è minore di 1, viene affilata. Lo scaling di temperatura non altera l'ordine dei ranghi delle predizioni, lasciando l'accuratezza invariata mentre migliora la calibrazione.

Formula
\hat{q}_i = \max_c \, \sigma_{\mathrm{SM}}\!\left(\mathbf{z}_i / T\right)_c, \quad T > 0
4

Trovare la temperatura ottimale T* minimizzando la log-verosimiglianza negativa (NLL) del set di validazione tenuto da parte. Questo è un problema di ottimizzazione convessa unidimensionale, risolto efficientemente con discesa del gradiente o ricerca lineare. La T* risultante viene quindi fissata e applicata al momento dell'inferenza a tutte le predizioni future.

Formula
T^* = \arg\min_{T} \, \mathcal{L}_{\mathrm{NLL}}\!\left(\sigma_{\mathrm{SM}}(\mathbf{z}/T),\, y\right)

Errori comuni

  • La calibrazione sullo stesso set di dati utilizzato per l'addestramento porta all'overfitting e a un ECE spuriosamente basso sul set di addestramento.
  • L'uso di probabilità calibrate come se fossero stime di incertezza confonde l'incertezza aleatoria ed epistemica.
  • Riportare solo l'ECE può mascherare una scarsa calibrazione nelle code; visualizzare sempre il diagramma di affidabilità accanto alla metrica scalare.
  • Applicare un modello calibrato a una distribuzione di distribuzione spostata invalida la calibrazione e può produrre una confidenza fuorviante.

Domande frequenti

La calibrazione influisce sull'accuratezza della classificazione?

Lo scaling di temperatura non modifica l'ordine dei ranghi delle probabilità di classe, quindi l'accuratezza top-1 rimane invariata. Altri metodi di calibrazione come la regressione isotonica possono in rari casi alterare la predizione argmax, ma il loro obiettivo primario è l'accuratezza della probabilità piuttosto che l'accuratezza della classificazione, e qualsiasi impatto sull'accuratezza è tipicamente trascurabile.

Come faccio a sapere se il mio modello necessita di calibrazione?

Tracciare un diagramma di affidabilità: raggruppare le predizioni per intervalli di confidenza e tracciare la confidenza media rispetto all'accuratezza empirica. Un modello perfettamente calibrato segue la diagonale. Una curva costantemente sopra la diagonale segnala eccessiva sicurezza; una sotto segnala insicurezza. Calcolare l'ECE come singola statistica riassuntiva; valori superiori a circa 0,05 sono comunemente considerati miscalibrazione non banale in pratica.

Quando dovrei usare la regressione isotonica invece dello scaling di temperatura?

La regressione isotonica è una funzione monotona non parametrica e può catturare una miscalibrazione complessa e non uniforme nell'intervallo di probabilità. Preferirla quando il diagramma di affidabilità mostra un pattern non monotono o irregolare. Tuttavia, la regressione isotonica richiede più dati per essere adattata in modo affidabile, e lo scaling di temperatura è solitamente preferito quando il set di calibrazione è piccolo o quando la semplicità e l'interpretabilità sono prioritarie.

Metodi correlati

Fonti

  1. Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). On calibration of modern neural networks. International Conference on Machine Learning, 1321–1330.

    Apri il riferimento della pubblicazione
    Copiato.