Skip to content
Torna ai risultati

Voto a Maggioranza

Introdotto da
Leo Breiman
Anno
1996
Tipo
voting aggregation
Famiglia
Ensemble

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Il voto a maggioranza è un metodo d'insieme (ensemble) che combina le predizioni di più classificatori base selezionando la classe che riceve il maggior numero di voti.

Ciascun classificatore base esprime un voto per una classe predetta, e la predizione finale è la classe con la maggioranza (pluralità). Questo approccio è stato formalizzato da Leo Breiman e colleghi negli anni '90 come un modo semplice ma efficace per migliorare l'accuratezza della classificazione.

L’intuizione alla base del metodo

L'idea centrale è che combinare classificatori deboli e diversi possa produrre una decisione collettiva più forte attraverso un voto democratico. Se i modelli individuali sono imperfetti ma commettono errori differenti, un voto a maggioranza filtra le misclassificazioni isolate. Questo funziona al meglio quando i classificatori base sono indipendenti e hanno un'accuratezza moderata—migliore dell'ipotesi casuale ma non perfetta. La forza deriva dal disaccordo: quando i modelli non concordano, la decisione della folla è più affidabile di qualsiasi singolo modello.

Storia

Il voto a maggioranza è emerso all'inizio degli anni '90 con la crescente importanza dell'apprendimento d'insieme. Il lavoro di Breiman sul bagging (1996) ha reso popolare l'idea di combinare più modelli. Kuncheva (2004) ha fornito una teoria completa sui metodi di combinazione d'insieme. Il voto 'hard' rimane una delle strategie d'insieme più semplici e intuitive, spesso fungendo da baseline per metodi più sofisticati come lo stacking e il boosting.

Quando usarlo

Utilizzare il voto a maggioranza quando si dispone di più classificatori base e si necessita di predizioni d'insieme semplici e interpretabili. Funziona bene per la classificazione multiclasse e presuppone che i classificatori base siano relativamente indipendenti. È meno efficace se tutti i modelli base tendono a commettere gli stessi errori o sono altamente correlati. Preferire altri metodi d'insieme (boosting, stacking) se si desidera ponderare i classificatori base in base alla loro accuratezza individuale.

Limiti e considerazioni

  • Ignora l'affidabilità dei classificatori—ogni modello riceve un voto uguale indipendentemente dalla sua accuratezza.
  • Inefficace se i classificatori base sono altamente correlati o commettono tutti errori sistematici.
  • Possono verificarsi parità in contesti multiclasse, richiedendo regole di spareggio arbitrarie.
  • Le prestazioni dipendono in modo critico dalla diversità dei classificatori base e dalla loro qualità individuale.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Semplice da implementare e comprendere—la regola di voto diretta non richiede alcuna calibrazione.
  • Computazionalmente efficiente—il tempo di predizione scala linearmente con il numero di classificatori base.
  • Robusto a predizioni anomale (outlier) quando la maggioranza è chiara.
  • Funziona con qualsiasi tipo di classificatore base (possibili ensemble eterogenei).

Applicazioni

  • Diagnosi medica: combinare le predizioni di più modelli di supporto decisionale clinico per ridurre il bias del singolo modello.
  • Rilevamento spam: aggregare decisioni da filtri basati su regole, Naive Bayes e classificatori SVM.
  • Valutazione del rischio di credito: ensemble di alberi decisionali e modelli di regressione logistica che votano sull'approvazione di un prestito.
  • Classificazione di immagini: reti neurali convoluzionali multiple che votano sulla categoria dell'oggetto nella computer vision.
  • Analisi del sentiment: combinare l'output di modelli LSTM, transformer e modelli con feature ingegnerizzate su recensioni testuali.

Come funziona

Come funziona

1

Addestrare K classificatori base indipendenti (es. alberi decisionali, regressione logistica, reti neurali) sugli stessi campioni dei dati di addestramento o su campioni ottenuti tramite bootstrap.

2

Per un nuovo campione, sottoporlo a ciascuno dei K classificatori addestrati e raccogliere le loro predizioni individuali.

3

Contare i voti per ciascuna classe e assegnare il nuovo campione alla classe con il maggior numero di voti. In caso di parità, utilizzare una regola di spareggio (es. selezione casuale o priorità predefinita).

Errori comuni

  • Addestrare tutti i classificatori base su dati identici riduce la diversità e i voti diventano ridondanti.
  • Includere classificatori deboli o distorti diluisce il potere di voto dei modelli accurati.
  • Presumere che il voto a maggioranza funzionerà senza verificare che i modelli base siano sufficientemente indipendenti.
  • Trascurare la gestione strategica delle parità—lo spareggio casuale può introdurre instabilità.

Domande frequenti

Come scelgo il numero di classificatori base?

Iniziare con 5-10 classificatori; aggiungerne altri può migliorare la stabilità ma con rendimenti decrescenti. Bilanciare i guadagni di accuratezza con il costo computazionale. Più classificatori aiutano quando sono diversi; modelli ridondanti non aggiungono valore.

Cosa succede se il numero di classificatori base è pari e si verifica una parità?

Definire una regola di spareggio prima dell'addestramento: assegnare alla classe con la più alta confidenza di predizione cumulativa, utilizzare la selezione casuale o assegnare a una classe predefinita. Uno spareggio coerente garantisce la riproducibilità.

Posso usare il voto a maggioranza con problemi di regressione?

Il voto 'hard' è progettato per la classificazione. Per la regressione, utilizzare la media delle predizioni (soft averaging) o la media ponderata invece.

La diversità dei classificatori base garantisce prestazioni d'insieme migliori?

La diversità aiuta ma non è sufficiente. I classificatori base devono essere sia diversi nei pattern di errore sia individualmente migliori dell'ipotesi casuale. Misurare la diversità empiricamente tramite la correlazione degli errori di addestramento.

Metodi correlati

Fonti

  1. Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.

    Apri il riferimento DOI
    Copiato.
  2. Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.

    Apri il riferimento della pubblicazione
    Copiato.