Comitê de Votação
- Proposto por
- Lam & Suen; Kuncheva, L. I. (systematic treatment)
- Ano
- 1990s–2004
- Tipo
- Ensemble (combination of multiple classifiers by vote)
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Um comitê de votação treina vários classificadores diversos independentemente e combina suas previsões por meio de um voto: a votação majoritária (hard voting) escolhe a classe selecionada pela maioria dos modelos, enquanto a votação ponderada (soft voting) calcula a média de suas estimativas de probabilidade de classe, opcionalmente com pesos por modelo.
A combinação geralmente supera qualquer membro individual e não requer treinamento adicional após o ajuste dos modelos base.
A intuição por trás do método
Imagine pedir um diagnóstico a cinco médicos e seguir a opinião da maioria. Cada médico pode errar de maneiras diferentes, mas a agregação de seus veredictos cancela erros idiossincráticos. Um comitê de votação funciona da mesma maneira: modelos diversos falham em exemplos diferentes, então seu voto combinado é mais confiável do que qualquer modelo individual. A votação ponderada aprimora isso, permitindo que modelos mais confiantes contribuam proporcionalmente mais para a decisão final por meio de suas pontuações de probabilidade.
História
A combinação de classificadores por voto majoritário foi estudada sistematicamente desde o início da década de 1990, com notável fundamentação teórica por Lam e Suen (1994) e Kittler et al. (1998). A monografia de Ludmila Kuncheva de 2004 forneceu o tratamento definitivo da combinação de classificadores de padrões, cobrindo votação majoritária e ponderada, votação ponderada e o papel da diversidade. A votação ponderada ganhou popularidade prática através do VotingClassifier do scikit-learn, que tornou simples combinar estimadores arbitrários em uma única chamada de API.
Quando usar
Use um comitê de votação quando você tiver dois ou mais classificadores diversos já treinados e quiser uma combinação rápida e interpretável, sem custo de treinamento extra. É especialmente valioso quando modelos individuais têm precisão média semelhante, mas perfis de erro diferentes — combiná-los gera ganhos genuínos. A votação ponderada é preferível quando os modelos base produzem probabilidades calibradas. Não use comitês de votação como substituto para uma seleção de modelo adequada: se todos os aprendizes base forem fracos ou cometerem erros correlacionados, combiná-los não ajudará. Evite quando a interpretabilidade de um único modelo for exigida por partes interessadas ou regulamentação.
Limitações e considerações
- Os ganhos são mínimos ou ausentes quando os aprendizes base cometem erros altamente correlacionados.
- A votação ponderada exige que todos os aprendizes base produzam estimativas de probabilidade calibradas e comparáveis.
- O custo de inferência aumenta linearmente com o número de aprendizes base; comitês grandes podem ser lentos.
- Nenhum mecanismo para aprender pesos de combinação ótimos automaticamente — ao contrário do empilhamento (stacking), os pesos devem ser definidos manualmente.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Simples de implementar: nenhum treinamento de meta-aprendiz necessário além do ajuste dos modelos base.
- Frequentemente melhora a precisão e a robustez em relação a qualquer aprendiz base individual quando os membros são diversos.
- A votação ponderada explora a calibração de probabilidades, superando tipicamente a votação majoritária.
- Suporta famílias de modelos heterogêneas, permitindo qualquer combinação de classificadores.
- Fácil de adicionar ou remover aprendizes base sem retreinar a infraestrutura do comitê.
Aplicações
- Combinar regressão logística, SVM e modelos baseados em árvores para previsão de risco clínico.
- Classificação de texto robusta agrupando previsões de múltiplos ajustes finos de modelos de linguagem.
- Aprendizado de máquina competitivo (estilo Kaggle) onde a combinação de modelos diversos top-k melhora a pontuação na classificação.
- Configurações de produção onde a robustez do comitê é mais importante do que a simplicidade de um único modelo.
- Comitê de linha de base antes de investir esforço em empilhamento (stacking) ou boosting.
Como funciona
Como funciona
Um conjunto de K aprendizes base — que podem ser de famílias de modelos inteiramente diferentes, como uma regressão logística, um classificador k-vizinhos mais próximos e uma árvore de decisão — são treinados independentemente no conjunto de treinamento completo ou em sua própria configuração ajustada. A diversidade entre os aprendizes base é essencial: modelos que cometem erros semelhantes ganham pouco ao serem combinados.
No momento da inferência, cada aprendiz base produz uma previsão para a nova entrada. Para a votação majoritária, isso é simplesmente um rótulo de classe; para a votação ponderada, cada aprendiz deve gerar um vetor de probabilidades de classe, o que impõe a restrição de que todos os aprendizes base escolhidos possam ser calibrados para emitir estimativas de probabilidade significativas.
Na votação majoritária, o comitê conta quantos modelos previram cada classe e atribui o rótulo que recebeu a pluralidade dos votos. Empates são resolvidos por uma regra fixa (por exemplo, o menor índice de classe). Este modo funciona mesmo quando os aprendizes base não conseguem produzir probabilidades confiáveis.
Fórmula
\hat{y} = \arg\max_c \sum_{k=1}^{K} \mathbf{1}[h_k(x)=c]Na votação ponderada, o comitê calcula a média (ou uma média ponderada usando pesos w_k) dos vetores de probabilidade de classe de todos os aprendizes base e prevê a classe com a maior probabilidade média. Como a votação ponderada explora as magnitudes das probabilidades em vez de apenas os vencedores, ela geralmente supera a votação majoritária quando os aprendizes base são bem calibrados.
Fórmula
\hat{y} = \arg\max_c \sum_{k=1}^{K} w_k \, p_k(c \mid x)O comitê retorna o rótulo da classe vencedora e, no modo de votação ponderada, o vetor de probabilidade médio que pode ser usado para ajuste de limiar, ranqueamento ou diagnósticos de calibração a jusante. Nenhuma etapa de treinamento adicional é necessária uma vez que os modelos base são ajustados.
Erros comuns
- A combinação de aprendizes base que foram ajustados nos mesmos dados sem validação cruzada leva a estimativas de erro otimistas.
- Usar votação ponderada com saídas de probabilidade mal calibradas (por exemplo, valores de decisão brutos de SVM) pode prejudicar em vez de ajudar.
- Selecionar aprendizes base muito semelhantes — todas as variantes da mesma família de modelos — elimina a diversidade e desperdiça computação.
- Ignorar o desequilíbrio de classes: se os aprendizes base não forem balanceados individualmente, seus votos amplificarão coletivamente o viés da classe majoritária.
- Tratar a precisão do comitê de votação como final sem verificar se um modelo único mais simples alcança o mesmo resultado.
Perguntas frequentes
Quantos aprendizes base devo incluir?
Não há uma regra fixa, mas de três a sete classificadores diversos é um intervalo prático comum. Adicionar mais aprendizes além de um ponto de retornos decrescentes aumenta a latência da inferência sem melhorar significativamente a precisão.
Quando devo preferir a votação ponderada à votação majoritária?
Use a votação ponderada quando todos os aprendizes base produzem saídas de probabilidade bem calibradas — ela tipicamente produz maior precisão porque usa a distribuição de probabilidade completa em vez de apenas a classe vencedora. Se as probabilidades estiverem mal calibradas ou indisponíveis, a votação majoritária é mais segura.
Como escolho os pesos na votação ponderada?
Uma abordagem simples é ponderar cada modelo por sua precisão ou AUC validada cruzadamente no conjunto de treinamento. Abordagens mais rigorosas otimizam os pesos por meio de um conjunto de validação separado, mas correm o risco de sobreajuste se o conjunto de validação for pequeno.
Como o comitê de votação difere do empilhamento (stacking)?
Comitês de votação combinam as saídas do modelo base com regras fixas (maioria ou média). O empilhamento (stacking) treina um meta-aprendiz nas saídas do modelo base para aprender a combinação ótima — mais poderoso, mas mais complexo e propenso a vazamento de dados se a validação cruzada não for usada corretamente.
A diversidade sempre melhora o comitê?
A diversidade é necessária, mas não suficiente. Os aprendizes base também devem ser individualmente precisos; um comitê de classificadores fracos e diversos ainda pode ter um desempenho ruim. O objetivo são erros diversos entre modelos precisos.
Métodos relacionados
Fontes
Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.
ISBN: 978-0-471-21078-8Copiado.Dietterich, T. G. (2000). Ensemble Methods in Machine Learning. In J. Kittler & F. Roli (Eds.), Multiple Classifier Systems (MCS 2000), Lecture Notes in Computer Science, vol 1857, pp. 1–15. Springer.
Abrir referência DOICopiado.