Skip to content
返回搜索结果

投票集成 (Voting Ensemble)

提出者
Lam & Suen; Kuncheva, L. I. (systematic treatment)
年份
1990s–2004
类型
Ensemble (combination of multiple classifiers by vote)
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

投票集成通过独立训练多个不同的分类器,并以投票方式组合它们的预测来工作:硬投票选择多数模型选择的类别,而软投票则平均它们的类别概率估计,可以选择性地加入模型权重。组合后的预测通常优于任何单个成员,并且在基础模型拟合后无需额外的训练。

方法背后的直觉

想象一下询问五位医生以获得诊断,然后采纳多数意见。每位医生可能以不同的方式出错,但汇总他们的判断可以消除个体化的错误。投票集成的工作原理相同:不同的模型在不同的样本上会出错,因此它们的组合投票比任何单个模型都更可靠。软投票通过让更自信的模型通过其概率分数在最终决策中按比例贡献更多来锐化这一点。

历史学

从 20 世纪 90 年代初开始,对通过多数投票组合分类器进行了系统研究,Lam 和 Suen (1994) 以及 Kittler 等人 (1998) 提供了重要的理论基础。Ludmila Kuncheva 的 2004 年专著对组合模式分类器进行了权威论述,涵盖了硬投票、软投票、加权投票以及多样性的作用。通过 scikit-learn 的 VotingClassifier,软投票获得了实际的普及,它使得在单个 API 调用中组合任意估计器变得简单明了。

何时使用

当您拥有两个或多个已训练好的不同分类器,并希望以低成本、可解释的方式进行组合而无需额外训练时,请使用投票集成。当单个模型的平均准确率相似但错误模式不同时,组合它们可以带来真正的收益,此时它尤其有价值。当基础模型输出校准的概率时,软投票是首选。不要将投票集成用作适当模型选择的替代品:如果所有基础学习器都很弱或犯有相关错误,组合它们将无济于事。当利益相关者或法规要求单个模型的解释性时,应避免使用。

局限与注意事项

  • 当基础学习器犯有高度相关的错误时,收益很小或不存在。
  • 软投票要求所有基础学习器输出校准的、可比较的概率估计。
  • 推理成本随基础学习器数量线性扩展;大型集成可能速度较慢。
  • 没有自动学习最优组合权重的机制——与堆叠不同,权重必须手动设置。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 易于实现:除了拟合基础模型之外,无需元学习器训练。
  • 当成员多样化时,通常能提高准确性和鲁棒性,优于任何单个基础学习器。
  • 软投票利用概率校准,通常优于硬投票。
  • 支持异构模型族,允许任何分类器组合。
  • 易于添加或删除基础学习器,而无需重新训练集成基础设施。

应用

  • 组合逻辑回归、SVM 和基于树的模型用于临床风险预测。
  • 通过汇总多个语言模型微调的预测来获得稳健的文本分类。
  • 竞赛机器学习(Kaggle 式)中,组合前 k 个不同模型可以提高排行榜分数。
  • 生产环境,其中集成鲁棒性比单个模型简洁性更重要。
  • 在投入精力进行堆叠或提升之前,作为基线集成。

使用方式

使用方式

1

一组 K 个基础学习器——它们可以完全是不同的模型族,例如逻辑回归、k-近邻分类器和决策树——每个都独立地在完整的训练集或它们自己的调优配置上进行训练。基础学习器之间的多样性至关重要:做出相似错误的模型从组合中获益甚少。

2

在推理时,每个基础学习器都会为新输入产生一个预测。对于硬投票,这仅仅是一个类别标签;对于软投票,每个学习器必须输出一个类别概率向量,这就施加了一个约束,即所有选定的基础学习器都必须能够校准以发出有意义的概率估计。

3

在硬投票中,集成统计每个模型预测的类别数量,并分配获得多数票的标签。平局通过固定规则(例如,最低类别索引)来打破。即使基础学习器无法产生可靠的概率,此模式也有效。

公式
\hat{y} = \arg\max_c \sum_{k=1}^{K} \mathbf{1}[h_k(x)=c]
4

在软投票中,集成对所有基础学习器进行类别概率向量的平均(或使用权重 w_k 进行加权平均),并预测平均概率最高的类别。由于软投票利用概率幅度而非仅仅是获胜者,因此当基础学习器校准良好时,它通常优于硬投票。

公式
\hat{y} = \arg\max_c \sum_{k=1}^{K} w_k \, p_k(c \mid x)
5

集成返回获胜的类别标签,在软投票模式下,还返回可用于阈值调整、排序或下游校准诊断的平均概率向量。一旦基础模型拟合完成,就不需要额外的训练步骤。

常见陷阱

  • 将未进行交叉验证而在同一数据上调优的基础学习器组合在一起会导致乐观的误差估计。
  • 将概率输出校准不良(例如,原始 SVM 决策值)的软投票与不当使用(例如,原始 SVM 决策值)相结合,可能会适得其反。
  • 选择过于相似的基础学习器——所有同一种模型族的变体——会消除多样性并浪费计算资源。
  • 忽略类别不平衡:如果基础学习器本身不平衡,它们的投票将共同放大多数类别偏差。
  • 将投票集成准确率视为最终结果,而不检查更简单的单个模型是否能达到相同结果。

常见问题

应该包含多少个基础学习器?

没有固定规则,但三个到七个不同的分类器是常见的实际范围。超出收益递减点后增加更多学习器会增加推理延迟,而不会显著提高准确性。

何时应优先选择软投票而非硬投票?

当所有基础学习器都产生校准良好的概率输出时,应使用软投票——它通常能产生更高的准确性,因为它利用了完整的概率分布,而不仅仅是获胜类别。如果概率校准不良或不可用,硬投票更安全。

如何在加权软投票中选择权重?

一种简单的方法是根据每个模型在训练集上的交叉验证准确率或 AUC 进行加权。更原则性的方法通过保留的验证集优化权重,但如果验证集很小,则有过度拟合的风险。

投票集成与堆叠有何不同?

投票集成使用固定规则(多数或平均)组合基础模型输出。堆叠在基础模型输出上训练一个元学习器来学习最优组合——功能更强大但更复杂,如果交叉验证使用不当,则容易发生数据泄露。

多样性是否总是能提高集成性能?

多样性是必要条件但非充分条件。基础学习器本身也必须准确;弱而不同的分类器的集成仍然可能表现不佳。目标是准确模型之间存在不同的错误。

相关方法

参考文献

  1. Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.

    ISBN:978-0-471-21078-8
    已复制。
  2. Dietterich, T. G. (2000). Ensemble Methods in Machine Learning. In J. Kittler & F. Roli (Eds.), Multiple Classifier Systems (MCS 2000), Lecture Notes in Computer Science, vol 1857, pp. 1–15. Springer.

    打开 DOI 文献
    已复制。