Skip to content
Torna ai risultati

Previsione Conforme

Introdotto da
Vovk, Gammerman & Shafer
Anno
2005
Tipo
Distribution-free uncertainty quantification framework
Famiglia
Trustworthy ML

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

La Previsione Conforme (Conformal Prediction) è un framework indipendente dalla distribuzione per la costruzione di insiemi di previsione statisticamente validi (per la classificazione) o intervalli di previsione (per la regressione) attorno all'output di qualsiasi modello di machine learning pre-addestrato.

Introdotta da Vovk, Gammerman e Shafer nella loro monografia del 2005, essa fornisce una garanzia di copertura marginale su campioni finiti — l'etichetta vera rientra nell'insieme di previsione con una probabilità di almeno 1-alpha — senza richiedere assunzioni parametriche sulla distribuzione dei dati.

L’intuizione alla base del metodo

Immaginate una stazione meteorologica che, invece di dire 'domani farà 22°C', dica 'domani farà tra 19°C e 25°C, e garantiamo che questo intervallo è corretto almeno il 90% dei giorni su un lungo periodo.' La Previsione Conforme funziona in modo simile: avvolge la previsione puntuale di qualsiasi modello esistente con un margine di sicurezza basato sui dati, calibrato su esempi tenuti da parte, in modo che l'insieme risultante sia provabilmente affidabile sotto ipotesi molto blande su come i dati sono stati raccolti.

Storia

La Previsione Conforme è stata formalizzata da Vladimir Vovk, Alexander Gammerman e Glenn Shafer nella loro monografia Springer del 2005, basandosi su precedenti idee di apprendimento trasduttivo online della fine degli anni '90. La variante induttiva (split-conformal), che separa l'addestramento dalla calibrazione, è stata successivamente resa popolare per rendere il metodo scalabile. Gli anni 2020 hanno visto una rapida adozione nel deep learning, con estensioni che includono la previsione conforme mondriana per garanzie condizionali, insiemi di previsione che controllano il rischio e il controllo del rischio conforme.

Quando usarlo

Utilizzate la Previsione Conforme quando avete bisogno di garanzie di copertura rigorose, su campioni finiti, sull'output di incertezza di un modello senza assunzioni distribuzionali. È appropriata sia per compiti di classificazione che di regressione dove sono disponibili dati di calibrazione dalla stessa distribuzione dei dati di test. Le limitazioni includono l'assunzione di intercambiabilità (violata in caso di covariate shift), e il fatto che la copertura è marginale piuttosto che condizionale, il che significa che alcuni sottogruppi potrebbero essere sotto- o sovra-coperti. Le alternative includono gli intervalli di credibilità bayesiani (richiedono assunzioni distribuzionali) e la regressione quantilica (nessuna garanzia su campioni finiti senza "conformal wrapping").

Limiti e considerazioni

  • La garanzia di copertura è marginale (mediata sugli input di test), non condizionale su ogni singolo x.
  • Presuppone l'intercambiabilità dei dati di calibrazione e di test; le prestazioni si degradano in caso di covariate o label shift.
  • Gli insiemi di previsione possono essere non informativamente grandi quando il modello di base è debole o il tasso di errore di copertura target alpha è piccolo.
  • I metodi split-conformal richiedono un set di calibrazione dedicato, riducendo i dati disponibili per l'addestramento.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Fornisce garanzie di copertura marginale su campioni finiti e indipendenti dalla distribuzione, valide per qualsiasi modello di base.
  • Agnostico al modello: avvolge qualsiasi classificatore o regressore pre-addestrato senza riaddestramento.
  • Computazionalmente leggero in fase di inferenza — richiede solo la memorizzazione dei punteggi di calibrazione e il calcolo di un quantile.
  • I punteggi di non-conformità flessibili consentono l'adattamento a diversi compiti, inclusi il rilevamento di oggetti e la generazione di linguaggio naturale.

Applicazioni

  • Diagnosi medica: produzione di insiemi di previsione per la classificazione delle malattie che garantiscono che la diagnosi vera sia inclusa con alta probabilità, supportando decisioni cliniche sicure.
  • Scoperta di farmaci: generazione di regioni di confidenza affidabili per le previsioni delle proprietà molecolari, aiutando i chimici a prioritizzare i composti per costosi test di laboratorio.
  • Guida autonoma: costruzione di regioni di incertezza con garanzia di copertura attorno agli output di rilevamento di oggetti per attivare comportamenti di fallback sicuri.
  • Elaborazione del linguaggio naturale: insiemi di previsione calibrati per la classificazione del testo e l'incertezza a livello di token negli output di modelli linguistici di grandi dimensioni.
  • Valutazione del rischio finanziario: intervalli di previsione indipendenti dalla distribuzione per le previsioni di rendimento che rimangono validi sotto scrutinio normativo senza richiedere modelli parametrici.

Come funziona

Come funziona

1

Un modello convenzionale di machine learning — qualsiasi classificatore, regressore o rete neurale — viene addestrato su una partizione di training dedicata. La Previsione Conforme è agnostica rispetto a questo modello; lo tratta come una scatola nera. La qualità degli insiemi di previsione finali è influenzata dall'accuratezza del modello di base, ma la garanzia di validità rimane valida indipendentemente.

Formula
\hat{f} \leftarrow \text{Train}(\{(x_i, y_i)\}_{i=1}^{n_{\text{train}}})
2

Su una partizione di calibrazione separata che il modello di base non ha visto, viene calcolato un punteggio di non-conformità per ogni esempio. Per la regressione il punteggio è tipicamente il residuo assoluto |y - f_hat(x)|; per la classificazione può essere 1 meno la probabilità prevista della classe vera. Questi punteggi misurano quanto sia 'sorprendente' ogni punto di calibrazione rispetto al modello.

Formula
s_i = \|y_i - \hat{f}(x_i)\|, \quad i = 1, \dots, n_{\text{cal}}
3

Il quantile empirico (1-alpha) dei punteggi di non-conformità di calibrazione viene calcolato con un fattore di correzione per campioni finiti. Questo quantile corretto q_hat è la soglia che, per l'intercambiabilità dei dati, garantirà che la copertura sia valida su un nuovo punto di test con probabilità almeno 1-alpha.

Formula
\hat{q} = \text{Quantile}\!\left(\{s_i\}_{i=1}^{n_{\text{cal}}};\ \frac{\lceil (n_{\text{cal}}+1)(1-\alpha) \rceil}{n_{\text{cal}}}\right)
4

Per un nuovo input di test x_new, l'insieme di previsione contiene ogni etichetta candidata y il cui punteggio di non-conformità non supera q_hat. Nella regressione questo produce un intervallo [f_hat(x_new) - q_hat, f_hat(x_new) + q_hat]; nella classificazione produce il sottoinsieme di classi con probabilità prevista sufficientemente alta. L'insieme è garantito per coprire l'etichetta vera con probabilità marginale almeno 1-alpha.

Formula
\mathcal{C}(x_{\text{new}}) = \{y : s(x_{\text{new}}, y) \leq \hat{q}\}

Errori comuni

  • L'utilizzo del set di training come set di calibrazione aumenta l'ottimismo e distrugge la garanzia di validità — utilizzare sempre una partizione di calibrazione tenuta da parte.
  • Confondere la copertura marginale con la copertura condizionale: la garanzia non implica che ogni sottopopolazione sia coperta al livello 1-alpha.
  • Ignorare lo spostamento della distribuzione: applicare un predittore conforme calibrato su dati storici a una distribuzione di deployment spostata invalida la garanzia teorica.
  • Trattare la dimensione dell'insieme di previsione come una misura diretta di confidenza senza riconoscere che la dimensione dell'insieme dipende congiuntamente dalla qualità del modello e dall'alpha scelto.

Domande frequenti

La Previsione Conforme richiede la conoscenza della distribuzione dei dati?

No. La garanzia di copertura marginale si basa solo sull'assunzione di intercambiabilità — approssimativamente che i punti di calibrazione e di test siano estratti i.i.d. dalla stessa distribuzione. Non è necessario specificare alcuna famiglia parametrica, il che rende il framework 'indipendente dalla distribuzione'. Questo è il suo principale vantaggio teorico rispetto agli intervalli di credibilità bayesiani e agli intervalli di confidenza classici basati sulla normalità.

Come viene scelta la dimensione del set di calibrazione e come influisce sui risultati?

Un set di calibrazione più grande produce una stima del quantile empirico più stretta e stabile, risultando in insiemi di previsione più piccoli. Una regola pratica comune è di almeno qualche centinaio di esempi di calibrazione. Con set di calibrazione molto piccoli (meno di 1/alpha punti) la correzione per campioni finiti forza insiemi a copertura completa, rendendo il metodo non informativo. Esiste un trade-off standard bias-varianza tra la dimensione del set di training e la dimensione del set di calibrazione.

La Previsione Conforme può essere applicata alle reti neurali profonde?

Sì. Poiché il framework è agnostico al modello, esso avvolge qualsiasi rete neurale senza modifiche. Il punteggio di non-conformità è tipicamente definito utilizzando l'output softmax del modello per la classificazione o la sua previsione puntuale per la regressione. Computazionalmente, la calibrazione richiede solo un singolo passaggio in avanti sul set di calibrazione, rendendola altamente pratica per modelli di grandi dimensioni.

Metodi correlati

Fonti

  1. Vovk, V., Gammerman, A., & Shafer, G. (2005). Algorithmic Learning in a Random World. Springer.

    ISBN: 978-0-387-00152-4
    Copiato.