Skip to content
Voltar aos resultados

Comitê de Votação

Proposto por
Lam & Suen; Kuncheva, L. I. (systematic treatment)
Ano
1990s–2004
Tipo
Ensemble (combination of multiple classifiers by vote)
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Um comitê de votação treina vários classificadores diversos independentemente e combina suas previsões por meio de um voto: a votação majoritária (hard voting) escolhe a classe selecionada pela maioria dos modelos, enquanto a votação ponderada (soft voting) calcula a média de suas estimativas de probabilidade de classe, opcionalmente com pesos por modelo.

A combinação geralmente supera qualquer membro individual e não requer treinamento adicional após o ajuste dos modelos base.

A intuição por trás do método

Imagine pedir um diagnóstico a cinco médicos e seguir a opinião da maioria. Cada médico pode errar de maneiras diferentes, mas a agregação de seus veredictos cancela erros idiossincráticos. Um comitê de votação funciona da mesma maneira: modelos diversos falham em exemplos diferentes, então seu voto combinado é mais confiável do que qualquer modelo individual. A votação ponderada aprimora isso, permitindo que modelos mais confiantes contribuam proporcionalmente mais para a decisão final por meio de suas pontuações de probabilidade.

História

A combinação de classificadores por voto majoritário foi estudada sistematicamente desde o início da década de 1990, com notável fundamentação teórica por Lam e Suen (1994) e Kittler et al. (1998). A monografia de Ludmila Kuncheva de 2004 forneceu o tratamento definitivo da combinação de classificadores de padrões, cobrindo votação majoritária e ponderada, votação ponderada e o papel da diversidade. A votação ponderada ganhou popularidade prática através do VotingClassifier do scikit-learn, que tornou simples combinar estimadores arbitrários em uma única chamada de API.

Quando usar

Use um comitê de votação quando você tiver dois ou mais classificadores diversos já treinados e quiser uma combinação rápida e interpretável, sem custo de treinamento extra. É especialmente valioso quando modelos individuais têm precisão média semelhante, mas perfis de erro diferentes — combiná-los gera ganhos genuínos. A votação ponderada é preferível quando os modelos base produzem probabilidades calibradas. Não use comitês de votação como substituto para uma seleção de modelo adequada: se todos os aprendizes base forem fracos ou cometerem erros correlacionados, combiná-los não ajudará. Evite quando a interpretabilidade de um único modelo for exigida por partes interessadas ou regulamentação.

Limitações e considerações

  • Os ganhos são mínimos ou ausentes quando os aprendizes base cometem erros altamente correlacionados.
  • A votação ponderada exige que todos os aprendizes base produzam estimativas de probabilidade calibradas e comparáveis.
  • O custo de inferência aumenta linearmente com o número de aprendizes base; comitês grandes podem ser lentos.
  • Nenhum mecanismo para aprender pesos de combinação ótimos automaticamente — ao contrário do empilhamento (stacking), os pesos devem ser definidos manualmente.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Simples de implementar: nenhum treinamento de meta-aprendiz necessário além do ajuste dos modelos base.
  • Frequentemente melhora a precisão e a robustez em relação a qualquer aprendiz base individual quando os membros são diversos.
  • A votação ponderada explora a calibração de probabilidades, superando tipicamente a votação majoritária.
  • Suporta famílias de modelos heterogêneas, permitindo qualquer combinação de classificadores.
  • Fácil de adicionar ou remover aprendizes base sem retreinar a infraestrutura do comitê.

Aplicações

  • Combinar regressão logística, SVM e modelos baseados em árvores para previsão de risco clínico.
  • Classificação de texto robusta agrupando previsões de múltiplos ajustes finos de modelos de linguagem.
  • Aprendizado de máquina competitivo (estilo Kaggle) onde a combinação de modelos diversos top-k melhora a pontuação na classificação.
  • Configurações de produção onde a robustez do comitê é mais importante do que a simplicidade de um único modelo.
  • Comitê de linha de base antes de investir esforço em empilhamento (stacking) ou boosting.

Como funciona

Como funciona

1

Um conjunto de K aprendizes base — que podem ser de famílias de modelos inteiramente diferentes, como uma regressão logística, um classificador k-vizinhos mais próximos e uma árvore de decisão — são treinados independentemente no conjunto de treinamento completo ou em sua própria configuração ajustada. A diversidade entre os aprendizes base é essencial: modelos que cometem erros semelhantes ganham pouco ao serem combinados.

2

No momento da inferência, cada aprendiz base produz uma previsão para a nova entrada. Para a votação majoritária, isso é simplesmente um rótulo de classe; para a votação ponderada, cada aprendiz deve gerar um vetor de probabilidades de classe, o que impõe a restrição de que todos os aprendizes base escolhidos possam ser calibrados para emitir estimativas de probabilidade significativas.

3

Na votação majoritária, o comitê conta quantos modelos previram cada classe e atribui o rótulo que recebeu a pluralidade dos votos. Empates são resolvidos por uma regra fixa (por exemplo, o menor índice de classe). Este modo funciona mesmo quando os aprendizes base não conseguem produzir probabilidades confiáveis.

Fórmula
\hat{y} = \arg\max_c \sum_{k=1}^{K} \mathbf{1}[h_k(x)=c]
4

Na votação ponderada, o comitê calcula a média (ou uma média ponderada usando pesos w_k) dos vetores de probabilidade de classe de todos os aprendizes base e prevê a classe com a maior probabilidade média. Como a votação ponderada explora as magnitudes das probabilidades em vez de apenas os vencedores, ela geralmente supera a votação majoritária quando os aprendizes base são bem calibrados.

Fórmula
\hat{y} = \arg\max_c \sum_{k=1}^{K} w_k \, p_k(c \mid x)
5

O comitê retorna o rótulo da classe vencedora e, no modo de votação ponderada, o vetor de probabilidade médio que pode ser usado para ajuste de limiar, ranqueamento ou diagnósticos de calibração a jusante. Nenhuma etapa de treinamento adicional é necessária uma vez que os modelos base são ajustados.

Erros comuns

  • A combinação de aprendizes base que foram ajustados nos mesmos dados sem validação cruzada leva a estimativas de erro otimistas.
  • Usar votação ponderada com saídas de probabilidade mal calibradas (por exemplo, valores de decisão brutos de SVM) pode prejudicar em vez de ajudar.
  • Selecionar aprendizes base muito semelhantes — todas as variantes da mesma família de modelos — elimina a diversidade e desperdiça computação.
  • Ignorar o desequilíbrio de classes: se os aprendizes base não forem balanceados individualmente, seus votos amplificarão coletivamente o viés da classe majoritária.
  • Tratar a precisão do comitê de votação como final sem verificar se um modelo único mais simples alcança o mesmo resultado.

Perguntas frequentes

Quantos aprendizes base devo incluir?

Não há uma regra fixa, mas de três a sete classificadores diversos é um intervalo prático comum. Adicionar mais aprendizes além de um ponto de retornos decrescentes aumenta a latência da inferência sem melhorar significativamente a precisão.

Quando devo preferir a votação ponderada à votação majoritária?

Use a votação ponderada quando todos os aprendizes base produzem saídas de probabilidade bem calibradas — ela tipicamente produz maior precisão porque usa a distribuição de probabilidade completa em vez de apenas a classe vencedora. Se as probabilidades estiverem mal calibradas ou indisponíveis, a votação majoritária é mais segura.

Como escolho os pesos na votação ponderada?

Uma abordagem simples é ponderar cada modelo por sua precisão ou AUC validada cruzadamente no conjunto de treinamento. Abordagens mais rigorosas otimizam os pesos por meio de um conjunto de validação separado, mas correm o risco de sobreajuste se o conjunto de validação for pequeno.

Como o comitê de votação difere do empilhamento (stacking)?

Comitês de votação combinam as saídas do modelo base com regras fixas (maioria ou média). O empilhamento (stacking) treina um meta-aprendiz nas saídas do modelo base para aprender a combinação ótima — mais poderoso, mas mais complexo e propenso a vazamento de dados se a validação cruzada não for usada corretamente.

A diversidade sempre melhora o comitê?

A diversidade é necessária, mas não suficiente. Os aprendizes base também devem ser individualmente precisos; um comitê de classificadores fracos e diversos ainda pode ter um desempenho ruim. O objetivo são erros diversos entre modelos precisos.

Métodos relacionados

Fontes

  1. Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.

    ISBN: 978-0-471-21078-8
    Copiado.
  2. Dietterich, T. G. (2000). Ensemble Methods in Machine Learning. In J. Kittler & F. Roli (Eds.), Multiple Classifier Systems (MCS 2000), Lecture Notes in Computer Science, vol 1857, pp. 1–15. Springer.

    Abrir referência DOI
    Copiado.