Skip to content
返回搜索结果

多数表决

提出者
Leo Breiman
年份
1996
类型
voting aggregation
类别
Ensemble

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

多数表决是一种集成方法,通过选择获得最多票数的类别来组合多个基分类器的预测。每个基分类器为其预测的类别投一票,最终预测是获得多数(或相对多数)票的类别。这种方法由Leo Breiman及其同事在20世纪90年代正式提出,作为一种简单而有效的方法来提高分类准确性。

方法背后的直觉

核心思想是通过民主投票,将多个不同的弱分类器组合起来,产生一个更强的集体决策。如果单个模型不完美但犯的错误不同,多数投票可以过滤掉孤立的错误分类。当基分类器独立且具有中等准确性时(优于随机猜测但并非完美),这种方法效果最好。其优势在于分歧:当模型意见不一致时,集体的决策比任何单一模型都更可靠。

历史学

多数表决出现在20世纪90年代初,当时集成学习日益受到重视。Breiman在1996年提出的bagging工作普及了组合多个模型的思想。Kuncheva在2004年提供了关于集成组合方法的全面理论。硬投票仍然是最简单、最直观的集成策略之一,通常作为堆叠和提升等更复杂方法的基线。

何时使用

当您有多个基分类器可用,并且需要简单、可解释的集成预测时,请使用多数表决。它适用于多类别分类,并假定基分类器相对独立。如果所有基模型倾向于犯相同的错误或高度相关,则效果较差。如果您需要根据基学习器的个体准确性对其进行加权,请优先选择其他集成方法(如提升、堆叠)。

局限与注意事项

  • 忽略分类器可靠性——每个模型都获得同等票数,无论其准确性如何。
  • 如果基分类器高度相关或都犯系统性错误,则效果不佳。
  • 在多类别设置中可能出现平局,需要任意的平局处理规则。
  • 性能严重依赖于基分类器的多样性和个体质量。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 易于实现和理解——直接的投票规则无需调整。
  • 计算效率高——预测时间与基分类器的数量成线性关系。
  • 在多数意见明确时,对异常值预测具有鲁棒性。
  • 可与任何基分类器类型配合使用(可能实现异构集成)。

应用

  • 医学诊断:组合多个临床决策支持模型的预测,以减少个体模型的偏差。
  • 垃圾邮件检测:聚合基于规则的过滤器、朴素贝叶斯和SVM分类器的决策。
  • 信用风险评估:决策树和逻辑回归模型集成,对贷款审批进行投票。
  • 图像分类:多个卷积神经网络在计算机视觉中对物体类别进行投票。
  • 情感分析:组合LSTM、Transformer和手工特征模型在文本评论上的输出。

使用方式

使用方式

1

在相同或自举抽样的训练数据上训练K个独立的基分类器(例如,决策树、逻辑回归、神经网络)。

2

对于新样本,将其输入到K个已训练的分类器中,并收集它们的个体预测。

3

计算每个类别的票数,并将新样本分配给获得最多票数的类别。如果出现平局,则使用平局规则(例如,随机选择或预定义的优先级)。

常见陷阱

  • 在相同数据上训练所有基分类器会降低多样性,导致投票冗余。
  • 包含弱分类器或有偏分类器会稀释准确模型的投票能力。
  • 假设多数表决会起作用,而不检查基模型是否足够独立。
  • 忽视对平局进行策略性处理——随机平局可能引入不稳定性。

常见问题

如何选择基分类器的数量?

从5-10个分类器开始;增加数量可以提高稳定性,但收益递减。在准确性提升和计算成本之间取得平衡。当分类器多样化时,更多的分类器有帮助;冗余模型没有价值。

如果基分类器的数量是偶数且出现平局怎么办?

在训练前定义一个平局规则:分配给具有最高累积预测置信度的类别,使用随机选择,或分配给预定义的默认类别。一致的平局处理可确保可复现性。

能否将多数表决用于回归问题?

硬投票是为分类设计的。对于回归,请使用软平均(预测的平均值)或加权平均。

基分类器的多样性能保证更好的集成性能吗?

多样性有帮助,但并非充分条件。基分类器必须在错误模式上具有多样性,并且个体准确性优于随机猜测。通过训练误差相关性经验性地衡量多样性。

相关方法

参考文献

  1. Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.

    打开 DOI 文献
    已复制。
  2. Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.

    打开出版物文献
    已复制。