Ensemble a votazione
- Introdotto da
- Lam & Suen; Kuncheva, L. I. (systematic treatment)
- Anno
- 1990s–2004
- Tipo
- Ensemble (combination of multiple classifiers by vote)
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Un ensemble a votazione addestra diversi classificatori eterogenei in modo indipendente e combina le loro predizioni tramite una votazione: la votazione dura (hard voting) sceglie la classe indicata dalla maggioranza dei modelli, mentre la votazione morbida (soft voting) media le loro stime di probabilità di classe, opzionalmente con pesi per modello.
La combinazione solitamente supera le prestazioni di qualsiasi membro individuale e non richiede addestramento aggiuntivo dopo che i modelli base sono stati addestrati.
L’intuizione alla base del metodo
Immaginate di chiedere a cinque medici una diagnosi e di seguire l'opinione della maggioranza. Ogni medico può commettere errori diversi, ma l'aggregazione dei loro verdetti annulla gli errori idiosincratici. Un ensemble a votazione funziona allo stesso modo: modelli diversi falliscono su esempi diversi, quindi il loro voto combinato è più affidabile di qualsiasi singolo modello. La votazione morbida affina questo processo consentendo ai modelli più sicuri di contribuire proporzionalmente di più alla decisione finale attraverso i loro punteggi di probabilità.
Storia
La combinazione di classificatori tramite voto di maggioranza è stata studiata sistematicamente dai primi anni '90, con notevoli basi teoriche da Lam e Suen (1994) e Kittler et al. (1998). La monografia di Ludmila Kuncheva del 2004 ha fornito il trattamento definitivo della combinazione di classificatori di pattern, coprendo la votazione dura e morbida, la votazione pesata e il ruolo dell'eterogeneità. La votazione morbida ha guadagnato popolarità pratica attraverso VotingClassifier di scikit-learn, che ha reso semplice combinare classificatori arbitrari in un'unica chiamata API.
Quando usarlo
Utilizzare un ensemble a votazione quando si dispone di due o più classificatori eterogenei già addestrati e si desidera una combinazione rapida e interpretabile senza costi di addestramento aggiuntivi. È particolarmente prezioso quando i modelli individuali hanno accuratezza media simile ma profili di errore diversi: combinarli produce guadagni reali. La votazione morbida è preferibile quando i modelli base emettono probabilità calibrate. Non utilizzare ensemble a votazione come sostituto di una corretta selezione del modello: se tutti gli apprendisti base sono deboli o commettono errori correlati, combinarli non aiuterà. Evitare quando l'interpretabilità di un singolo modello è richiesta dagli stakeholder o dalla regolamentazione.
Limiti e considerazioni
- I guadagni sono minimi o assenti quando gli apprendisti base commettono errori altamente correlati.
- La votazione morbida richiede che tutti gli apprendisti base emettano stime di probabilità calibrate e comparabili.
- Il costo di inferenza scala linearmente con il numero di apprendisti base; ensemble ampi possono essere lenti.
- Nessun meccanismo per apprendere automaticamente i pesi di combinazione ottimali — a differenza dello stacking, i pesi devono essere impostati manualmente.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Semplice da implementare: nessun addestramento di meta-apprendista necessario oltre all'addestramento dei modelli base.
- Spesso migliora l'accuratezza e la robustezza rispetto a qualsiasi apprendista base singolo quando i membri sono eterogenei.
- La votazione morbida sfrutta la calibrazione delle probabilità, superando tipicamente la votazione dura.
- Supporta famiglie di modelli eterogenee, consentendo qualsiasi combinazione di classificatori.
- Facile aggiungere o rimuovere apprendisti base senza riaddestrare l'infrastruttura dell'ensemble.
Applicazioni
- Combinazione di regressione logistica, SVM e modelli basati su alberi per la predizione del rischio clinico.
- Classificazione testuale robusta aggregando le predizioni di più fine-tuning di modelli linguistici.
- Machine learning competitivo (stile Kaggle) in cui la combinazione dei primi k modelli eterogenei migliora il punteggio in classifica.
- Contesti di produzione in cui la robustezza dell'ensemble è più importante della semplicità del singolo modello.
- Ensemble di base prima di investire sforzi nello stacking o nel boosting.
Come funziona
Come funziona
Un insieme di K apprendisti base — che possono essere di famiglie di modelli completamente diverse, come una regressione logistica, un classificatore k-nearest-neighbours e un albero decisionale — vengono addestrati indipendentemente sul set di addestramento completo o sulla propria configurazione ottimizzata. L'eterogeneità tra gli apprendisti base è essenziale: i modelli che commettono errori simili traggono poco beneficio dall'essere combinati.
Al momento dell'inferenza, ogni apprendista base produce una predizione per il nuovo input. Per la votazione dura, questa è semplicemente un'etichetta di classe; per la votazione morbida, ogni apprendista deve emettere un vettore di probabilità di classe, il che impone il vincolo che tutti gli apprendisti base scelti possano essere calibrati per emettere stime di probabilità significative.
Nella votazione dura, l'ensemble conta quanti modelli hanno predetto ciascuna classe e assegna l'etichetta che ha ricevuto la maggioranza dei voti. I pareggi vengono risolti tramite una regola fissa (ad es. indice di classe più basso). Questa modalità funziona anche quando gli apprendisti base non possono produrre probabilità affidabili.
Formula
\hat{y} = \arg\max_c \sum_{k=1}^{K} \mathbf{1}[h_k(x)=c]Nella votazione morbida, l'ensemble calcola la media (o una media pesata utilizzando i pesi w_k) dei vettori di probabilità di classe tra tutti gli apprendisti base e predice la classe con la probabilità media più alta. Poiché la votazione morbida sfrutta le magnitudini delle probabilità piuttosto che solo i vincitori, in genere supera la votazione dura quando gli apprendisti base sono ben calibrati.
Formula
\hat{y} = \arg\max_c \sum_{k=1}^{K} w_k \, p_k(c \mid x)L'ensemble restituisce l'etichetta di classe vincente e, in modalità di votazione morbida, il vettore di probabilità medio che può essere utilizzato per la regolazione della soglia, il ranking o la diagnostica di calibrazione a valle. Nessun passaggio di addestramento aggiuntivo è richiesto una volta che i modelli base sono stati addestrati.
Errori comuni
- La combinazione di apprendisti base che sono stati ottimizzati sugli stessi dati senza cross-validation porta a stime di errore ottimistiche.
- L'utilizzo della votazione morbida con output di probabilità mal calibrati (ad es. valori di decisione SVM grezzi) può danneggiare anziché aiutare.
- La selezione di apprendisti base troppo simili — tutte varianti della stessa famiglia di modelli — elimina l'eterogeneità e spreca risorse computazionali.
- Ignorare lo squilibrio delle classi: se gli apprendisti base non sono bilanciati individualmente, i loro voti amplificheranno collettivamente il bias della classe maggioritaria.
- Considerare l'accuratezza dell'ensemble a votazione come definitiva senza verificare se un modello singolo più semplice raggiunge lo stesso risultato.
Domande frequenti
Quanti apprendisti base dovrei includere?
Non esiste una regola fissa, ma da tre a sette classificatori eterogenei è un intervallo pratico comune. Aggiungere più apprendisti oltre un certo punto di rendimenti decrescenti aumenta la latenza di inferenza senza migliorare significativamente l'accuratezza.
Quando dovrei preferire la votazione morbida alla votazione dura?
Utilizzare la votazione morbida quando tutti gli apprendisti base producono output di probabilità ben calibrati — in genere produce un'accuratezza maggiore perché utilizza l'intera distribuzione di probabilità piuttosto che solo la classe vincente. Se le probabilità sono mal calibrate o non disponibili, la votazione dura è più sicura.
Come scelgo i pesi nella votazione morbida pesata?
Un approccio semplice è pesare ciascun modello in base alla sua accuratezza o AUC cross-validata sul set di addestramento. Approcci più rigorosi ottimizzano i pesi tramite un set di validazione tenuto da parte, ma rischiano l'overfitting se il set di validazione è piccolo.
In cosa differisce l'ensemble a votazione dallo stacking?
Gli ensemble a votazione combinano gli output dei modelli base con regole fisse (maggioranza o media). Lo stacking addestra un meta-apprendista sugli output dei modelli base per apprendere la combinazione ottimale — più potente ma più complesso e incline alla fuga di dati se la cross-validation non viene utilizzata correttamente.
L'eterogeneità migliora sempre l'ensemble?
L'eterogeneità è necessaria ma non sufficiente. Gli apprendisti base devono anche essere individualmente accurati; un ensemble di classificatori deboli ed eterogenei può comunque performare male. L'obiettivo sono errori eterogenei tra modelli accurati.
Metodi correlati
Fonti
Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.
ISBN: 978-0-471-21078-8Copiato.Dietterich, T. G. (2000). Ensemble Methods in Machine Learning. In J. Kittler & F. Roli (Eds.), Multiple Classifier Systems (MCS 2000), Lecture Notes in Computer Science, vol 1857, pp. 1–15. Springer.
Apri il riferimento DOICopiato.