Skip to content
Torna ai risultati

SHAP (SHapley Additive exPlanations)

Introdotto da
Lundberg, S.M. & Lee, S.-I.
Anno
2017
Tipo
Model-explanation method (Shapley-value attribution)

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

SHAP è un metodo di spiegazione dei modelli, introdotto da Scott Lundberg e Su-In Lee nel 2017, che utilizza i valori Shapley della teoria dei giochi cooperativi per misurare il contributo di ciascuna feature a una singola predizione, rendendo interpretabile l'output dei modelli di machine learning a scatola nera.

Supporta sia spiegazioni globali (importanza generale delle feature) sia spiegazioni locali (perché una specifica predizione è risultata in quel modo).

L’intuizione alla base del metodo

Un modello addestrato come una random forest o una rete neurale profonda trasforma una riga di feature in una predizione, ma non spiega il perché. SHAP prende in prestito un'idea dalla teoria dei giochi: immaginate che le feature siano giocatori che cooperano per produrre la predizione, e chiedetevi come il 'guadagno' — il divario tra questa predizione e la predizione media — debba essere equamente ripartito tra loro. La quota equa di ciascuna feature è il suo valore SHAP, così si può leggere quali feature hanno spinto una predizione verso l'alto e quali l'hanno tirata verso il basso, per un singolo caso o per l'intero dataset.

Storia

SHAP è stato introdotto da Scott Lundberg e Su-In Lee nel 2017 come un approccio unificato all'interpretazione delle predizioni dei modelli, collegando diversi metodi di spiegazione precedenti ai valori Shapley della teoria dei giochi cooperativi. L'algoritmo TreeSHAP associato ha reso le spiegazioni esatte e rapide praticabili per ensemble basati su alberi, e SHAP è diventato da allora uno strumento standard per aprire i modelli a scatola nera in campi che vanno dalla salute e l'economia alle scienze naturali e comportamentali.

Quando usarlo

Utilizzare SHAP quando si dispone già di un modello a scatola nera addestrato (come XGBoost, random forest o deep learning) su dati trasversali o panel con feature continue, categoriche o binarie, e si necessita di spiegare le sue predizioni piuttosto che semplicemente riportare l'accuratezza. Funziona sia a livello globale (quali feature sono importanti nel complesso) sia a livello locale (perché un caso è stato predetto in quel modo). Sono necessarie almeno circa 30 osservazioni; al di sotto di tale soglia, i valori SHAP diventano instabili e un modello direttamente interpretabile come un albero decisionale è più sicuro.

Limiti e considerazioni

  • Richiede un modello ML già addestrato; SHAP spiega un modello, non lo costruisce.
  • Su campioni piccoli (n inferiore a circa 30) i valori SHAP sono instabili e i contributi delle feature diventano inaffidabili.
  • KernelSHAP è agnostico rispetto al modello ma computazionalmente lento, specialmente su dataset grandi o con molte feature.
  • Le attribuzioni descrivono il comportamento del modello, non l'effetto causale reale di una feature nel mondo.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Trasforma i modelli a scatola nera in modelli interpretabili attribuendo ogni predizione alle sue feature.
  • Fornisce sia l'importanza globale delle feature sia spiegazioni locali per singole predizioni da un unico framework.
  • Radicato nei valori Shapley della teoria dei giochi, conferisce alle attribuzioni una base di equità rigorosa e additiva.
  • TreeSHAP fornisce spiegazioni rapide ed esatte per modelli basati su alberi come random forest e XGBoost.
  • KernelSHAP è agnostico rispetto al modello, quindi lo stesso approccio si applica a quasi tutti i modelli addestrati.

Applicazioni

  • Spiegare le predizioni individuali di modelli a scatola nera per decisioni cliniche, finanziarie o di rischio.
  • Classificare l'importanza generale delle feature per comprendere su cosa si basa un modello addestrato.
  • Verificare i modelli per equità e dipendenza inattesa da feature sensibili.
  • Comunicare il comportamento del modello a revisori e stakeholder che si aspettano risultati interpretabili.

Come funziona

Come funziona

1

SHAP si basa su un modello a scatola nera addestrato — per esempio XGBoost, una random forest o una rete neurale profonda. L'obiettivo non è riadattare nulla, ma spiegare ciò che quel modello ha già appreso, attribuendo le sue predizioni alle feature di input.

2

Ogni predizione è scomposta additivamente: essa eguaglia un valore di base (l'output medio del modello) più i contributi di tutte le feature. Ogni feature riceve un valore SHAP, la sua quota della differenza tra questa predizione e il valore di base, e tali quote si sommano esattamente alla predizione.

Formula
f(x) = \phi_0 + \sum_{i=1}^{M} \phi_i
3

Le quote sono calcolate come valori Shapley, che mediano il contributo marginale di una feature su tutti i modi in cui le feature possono essere aggiunte alla predizione. TreeSHAP calcola questi valori in modo esatto e rapido per modelli basati su alberi, mentre KernelSHAP, agnostico rispetto al modello, funziona per qualsiasi modello ma è più lento.

4

I valori SHAP risultanti possono essere letti localmente — spiegando una singola predizione mostrando quali feature l'hanno aumentata o diminuita — oppure aggregati sull'intero dataset per fornire una classifica globale dell'importanza delle feature, trasformando un modello a scatola nera in qualcosa che un revisore può ispezionare.

Errori comuni

  • Calcolo dei valori SHAP su un dataset troppo piccolo (n inferiore a ~30) per fornire attribuzioni stabili.
  • Interpretare i valori SHAP come effetti causali piuttosto che come spiegazioni delle predizioni del modello.
  • Utilizzare il lento KernelSHAP su dati grandi quando TreeSHAP fornirebbe risultati esatti molto più rapidamente per modelli ad albero.
  • Spiegare un modello mal adattato e fidarsi delle attribuzioni di un modello che non predice bene.

Domande frequenti

Devo riaddestrare il mio modello per usare SHAP?

No. SHAP spiega un modello che hai già addestrato — come XGBoost, una random forest o una rete neurale profonda — attribuendo le sue predizioni esistenti alle feature di input. Non riadatta né modifica il modello.

Qual è la differenza tra TreeSHAP e KernelSHAP?

TreeSHAP calcola valori SHAP esatti rapidamente per modelli basati su alberi come random forest e XGBoost. KernelSHAP è agnostico rispetto al modello e funziona per qualsiasi modello, ma è un'approssimazione ed è considerevolmente più lento, specialmente su dati grandi.

SHAP può spiegare una singola predizione?

Sì. Questa è la sua modalità locale: per un caso mostra quanto ciascuna feature ha spinto la predizione al di sopra o al di sotto del valore di base, con i contributi che si sommano esattamente alla predizione. Aggregare questi contributi sull'intero dataset fornisce l'importanza globale delle feature.

Quanti dati sono necessari?

Almeno circa 30 osservazioni. Al di sotto di tale soglia, i valori SHAP diventano instabili e i contributi delle feature inaffidabili, quindi un modello direttamente interpretabile come un albero decisionale è la scelta più sicura.

Metodi correlati

Fonti

  1. Lundberg, S.M. & Lee, S.-I. (2017). A Unified Approach to Interpreting Model Predictions. Advances in Neural Information Processing Systems, 30, 4766–4777.

    Apri il riferimento della pubblicazione
    Copiato.