Multiple Imputation — MICE
- Introdotto da
- Donald B. Rubin
- Anno
- 1987
- Tipo
- Missing-data handling procedure
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
L'imputazione multipla (MI), introdotta formalmente da Donald B. Rubin nel 1987, è una procedura statistica rigorosa per la gestione dei dati mancanti.
Invece di sostituire ogni valore mancante una sola volta, la MI colma le lacune m volte — ogni volta estraendo valori plausibili dalla distribuzione predittiva posteriore dei dati mancanti — producendo m dataset completi. Ciascun dataset viene analizzato indipendentemente e i risultati vengono combinati in un unico insieme di stime utilizzando le regole di pooling di Rubin. La variante MICE (Multivariate Imputation by Chained Equations), resa popolare da van Buuren e Groothuis-Oudshoorn (2011), estende l'approccio a tipi di variabili misti imputando ciascuna variabile a turno attraverso una sequenza di modelli di regressione condizionale.
L’intuizione alla base del metodo
Si pensi ai valori mancanti come a caselle vuote in un sondaggio. Invece di fare un'ipotesi una volta sola sperando nel meglio, l'imputazione multipla effettua m ipotesi ragionate — ognuna leggermente diversa, riflettendo l'incertezza genuina su quale potesse essere il valore reale. La dispersione tra queste ipotesi porta l'incertezza nell'analisi, così che gli errori standard finali siano onesti piuttosto che artificialmente ristretti. Se si fosse ipotizzato una sola volta, si sarebbe finto di sapere più di quanto realmente si sapesse; ipotizzando m volte e combinando i risultati, l'incertezza dovuta alla mancanza di dati viene preservata nelle stime riportate.
Storia
Il quadro statistico formale per l'imputazione multipla è stato sviluppato da Donald B. Rubin e presentato nella sua monografia del 1987 Multiple Imputation for Nonresponse in Surveys. Rubin derivò le regole di pooling — ora universalmente chiamate regole di Rubin — che combinano le stime tra i dataset imputati in modo da tenere adeguatamente conto dell'incertezza introdotta dalla mancanza di dati. L'approccio ha guadagnato trazione pratica con lo sviluppo dell'algoritmo MICE, che estende il quadro di Rubin a dataset con variabili di tipi misti imputando ciascuna variabile sequenzialmente attraverso una catena di modelli condizionali. L'implementazione software di riferimento mice per R, pubblicata da van Buuren e Groothuis-Oudshoorn nel Journal of Statistical Software nel 2011, ha reso il metodo accessibile ai ricercatori applicati in tutti i campi e ha stabilito MICE come strategia di implementazione dominante.
Quando usarlo
L'imputazione multipla è appropriata quando un dataset presenta valori mancanti e il meccanismo di mancanza è plausibilmente MAR o MCAR. Si applica a variabili continue, categoriche, binarie, ordinali e miste e si adatta a strutture di dati trasversali, longitudinali e panel. È richiesta una dimensione campionaria minima di circa 30. Il metodo si adatta a scopi di ricerca descrittiva, predittiva e relazionale. Quando la mancanza è MNAR, l'imputazione multipla standard è insufficiente e deve essere integrata da un'analisi di sensibilità o da un modello di selezione. La cancellazione listwise (analisi dei casi completi) è accettabile solo quando i dati sono MCAR e la proporzione di dati mancanti è molto piccola; altrimenti la MI è l'approccio preferito.
Limiti e considerazioni
- Richiede l'assunzione MAR o MCAR; non può correggere la mancanza MNAR senza modellazione aggiuntiva.
- Computazionalmente più impegnativa dell'imputazione singola o della cancellazione listwise, specialmente con m elevato o dataset di grandi dimensioni.
- La qualità dei valori imputati dipende dal modello di imputazione — omettere forti predittori della mancanza dal modello di imputazione distorce i risultati.
- Con alte frazioni di dati mancanti (sopra il ~50%), anche l'imputazione multipla correttamente specificata può produrre ampi intervalli di confidenza.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Produce stime non distorte sotto MAR, a differenza della cancellazione listwise che richiede l'assunzione più forte di MCAR.
- Propaga l'incertezza dai dati mancanti agli errori standard e agli intervalli di confidenza attraverso le regole di pooling di Rubin, evitando la falsa precisione dell'imputazione singola.
- Gestisce tipi di variabili misti — continue, binarie, ordinali, nominali — all'interno dello stesso framework MICE.
- Compatibile con quasi ogni modello di analisi downstream, non richiedendo modifiche all'analisi intesa.
- Ben supportata nei software statistici standard (R mice, SPSS MULTIPLE IMPUTATION, Python IterativeImputer / miceforest).
Applicazioni
- Gestione della non risposta agli item in dataset di sondaggi su larga scala nelle scienze sociali e sanitarie.
- Preparazione dei dati di studi clinici per l'analisi quando le misurazioni di follow-up sono mancanti.
- Studi longitudinali e panel in cui i partecipanti abbandonano nel tempo.
- Modellazione econometrica con registri amministrativi che presentano campi incompleti.
- Passaggio di pre-elaborazione in qualsiasi pipeline di analisi in cui i modelli downstream richiedono dati completi.
Come funziona
Come funziona
Prima di imputare, si esamina il pattern di mancanza per valutare se il meccanismo sia plausibilmente Missing Completely At Random (MCAR) o Missing At Random (MAR). MCAR significa che la probabilità di mancanza non dipende da alcun dato osservato o non osservato. MAR significa che può dipendere dai valori osservati ma non dai valori mancanti non osservati stessi. Se il meccanismo è Missing Not At Random (MNAR) — dove la probabilità che un valore sia mancante dipende da quel valore stesso — la semplice imputazione multipla non è sufficiente e è necessaria un'analisi di sensibilità. La frazione di dati mancanti informa su quanti dataset imputati m sono necessari; una linea guida comune è m ≥ 100 × (frazione mancante).
L'algoritmo MICE scorre ogni variabile incompleta e adatta un modello di regressione che predice quella variabile da tutte le altre (inclusi i valori precedentemente imputati). Un'estrazione dalla posteriore di questo modello viene utilizzata per colmare le lacune mancanti. Il ciclo si ripete per tutte le variabili incomplete ed è iterato finché le distribuzioni imputate non si stabilizzano — comunemente 50 o più iterazioni. Questo produce un dataset completato. L'intero processo viene ripetuto da capo m volte con diversi seed casuali, producendo m dataset completi imputati indipendentemente. La scelta del modello di imputazione (predictive mean matching, regressione logistica, alberi di classificazione, ecc.) dipende dal tipo di variabile: continua, binaria, ordinale o nominale.
Ciascuno degli m dataset completati viene analizzato con qualunque modello statistico il ricercatore avesse originariamente inteso — regressione, ANOVA, modellazione di equazioni strutturali, e così via. Questo passaggio produce m set di stime parametriche ed errori standard, tutti leggermente diversi perché gli m dataset differiscono nel modo in cui i valori mancanti sono stati riempiti.
Gli m set di stime vengono combinati in un unico set utilizzando le regole di Rubin. La stima puntuale aggregata è la media aritmetica delle m stime individuali. La varianza aggregata ha due componenti: la varianza media intra-imputazione (ciò che l'analisi avrebbe prodotto senza dati mancanti) e la varianza inter-imputazione (l'incertezza aggiuntiva dovuta alla non conoscenza dei valori mancanti). Il rapporto tra la varianza inter-imputazione e quella totale è la frazione di informazione mancante, un utile diagnostico. I gradi di libertà vengono aggiustati di conseguenza. Il risultato è un'unica tabella di stime e intervalli di confidenza che riflette onestamente sia la variabilità campionaria sia l'incertezza dovuta ai dati mancanti.
Errori comuni
- Impostare m troppo basso — una regola pratica comune è m ≥ 5, ma con frazioni di dati mancanti non trascurabili è necessario un m molto più alto (es. m ≥ 100 × frazione mancante) per ottenere stime stabili e riproducibili.
- Omettere la variabile di esito o altri predittori importanti dal modello di imputazione produce imputazioni distorte; il modello di imputazione deve essere almeno tanto ricco quanto il modello di analisi.
- Applicare l'imputazione multipla quando il meccanismo è MNAR senza un'analisi di sensibilità supplementare fornisce risultati che appaiono validi ma possono essere sostanzialmente distorti.
- Aggregare i risultati con le regole di Rubin assume che il modello di analisi sia lo stesso per tutti gli m dataset e che sia stata verificata la convergenza dell'algoritmo MICE — ispezionare i grafici di traccia delle medie e varianze imputate per verificare la convergenza.
Domande frequenti
Quanti dataset imputati (m) sono necessari?
Il minimo tradizionale di m = 5 è spesso troppo basso. Una linea guida pratica ampiamente citata è m ≥ 100 × (frazione di dati mancanti espressa in percentuale), in modo che il 10% di dati mancanti richieda almeno m = 10 e il 30% di dati mancanti richieda almeno m = 30. Un m più alto riduce l'errore di Monte Carlo nelle stime aggregate ed è particolarmente importante per la riproducibilità.
Qual è la differenza tra MCAR, MAR e MNAR?
MCAR (Missing Completely At Random) significa che la probabilità che un valore sia mancante non è correlata ad alcun dato, osservato o non osservato — i dati sono mancanti per puro caso. MAR (Missing At Random) significa che la probabilità di mancanza può dipendere dai valori osservati ma non dal valore mancante non osservato stesso — una volta condizionata su ciò che si è osservato, la mancanza è casuale. MNAR (Missing Not At Random) significa che la probabilità di mancanza dipende dal valore mancante stesso. L'imputazione multipla è valida sotto MCAR e MAR; sotto MNAR può comunque essere eseguita ma deve essere integrata da un'analisi di sensibilità.
L'imputazione multipla crea dati reali?
No. L'imputazione multipla crea valori plausibili estratti da un modello della distribuzione dei dati mancanti; questi non sono i veri valori mancanti. Lo scopo del metodo non è recuperare i dati originali ma produrre stime ed errori standard per il modello di analisi che tengano adeguatamente conto dell'incertezza introdotta dalla mancanza di dati.
Posso usare l'imputazione multipla con variabili categoriche o ordinali?
Sì. Il framework MICE gestisce tipi di variabili misti adattando un modello condizionale appropriato al tipo per ciascuna variabile: predictive mean matching o regressione lineare per variabili continue, regressione logistica per variabili binarie, regressione logistica politomica o regressione ordinale per variabili nominali o ordinali, e alberi di classificazione e regressione come opzione non parametrica flessibile. Ciascuna variabile viene imputata a turno utilizzando i modelli appropriati al suo tipo.
Metodi correlati
Fonti
Rubin, D.B. (1987). Multiple Imputation for Nonresponse in Surveys. Wiley.
Apri il riferimento DOICopiato.van Buuren, S. & Groothuis-Oudshoorn, K. (2011). mice: Multivariate Imputation by Chained Equations in R. Journal of Statistical Software, 45(3), 1–67.
Apri il riferimento della pubblicazioneCopiato.