Skip to content
Назад к результатам поиска

Мажоритарное голосование

Автор метода
Leo Breiman
Год
1996
Тип
voting aggregation
Семейство
Ensemble

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Мажоритарное голосование — это ансамблевый метод, который объединяет предсказания нескольких базовых классификаторов путем выбора класса, получившего наибольшее количество голосов.

Каждый базовый классификатор подает один голос за предсказанный класс, а окончательное предсказание — это класс, набравший большинство (плюралитет). Этот подход был формализован Лео Брейманом и его коллегами в 1990-х годах как простой, но эффективный способ повышения точности классификации.

Интуиция метода

Основная идея заключается в том, что объединение разнообразных слабых классификаторов может привести к более сильному коллективному решению посредством демократического голосования. Если отдельные модели несовершенны, но допускают разные ошибки, мажоритарное голосование отфильтровывает изолированные неверные классификации. Это работает лучше всего, когда базовые классификаторы независимы и имеют умеренную точность — лучше, чем случайное угадывание, но не идеальную. Сила заключается в разногласиях: когда модели расходятся во мнениях, коллективное решение более надежно, чем любое отдельное.

История

Мажоритарное голосование появилось в начале 1990-х годов, когда ансамблевое обучение набирало популярность. Работа Бреймана по бэггингу (1996) популяризировала идею объединения нескольких моделей. Кунчева (2004) предоставила исчерпывающую теорию методов объединения ансамблей. Жесткое голосование остается одной из самых простых и интуитивно понятных ансамблевых стратегий, часто служащей базовым уровнем для более сложных методов, таких как стекинг и бустинг.

Когда применять

Используйте мажоритарное голосование, когда у вас есть несколько доступных базовых классификаторов и вам нужны простые, интерпретируемые ансамблевые предсказания. Он хорошо работает для многоклассовой классификации и предполагает, что базовые классификаторы относительно независимы. Он менее эффективен, если все базовые модели склонны совершать одни и те же ошибки или сильно коррелируют. Предпочтите другие ансамблевые методы (бустинг, стекинг), если вам нужно взвешивать базовые модели в соответствии с их индивидуальной точностью.

Ограничения и замечания

  • Игнорирует надежность классификатора — каждая модель получает равный голос независимо от точности.
  • Неэффективен, если базовые классификаторы сильно коррелируют или все совершают систематические ошибки.
  • Ничьи могут возникать в многоклассовых сценариях, требуя произвольных правил разрешения ничьей.
  • Производительность критически зависит от разнообразия базовых классификаторов и их индивидуального качества.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Простота реализации и понимания — прямое правило голосования не требует настройки.
  • Вычислительная эффективность — время предсказания масштабируется линейно с количеством базовых классификаторов.
  • Устойчивость к выбросам предсказаний при явном большинстве.
  • Работает с любым типом базового классификатора (возможны гетерогенные ансамбли).

Применение

  • Медицинская диагностика: объединение предсказаний нескольких моделей поддержки клинических решений для снижения смещения отдельных моделей.
  • Обнаружение спама: агрегирование решений из фильтров на основе правил, Наивного Байеса и классификаторов SVM.
  • Оценка кредитного риска: ансамбль деревьев решений и моделей логистической регрессии, голосующих за одобрение кредита.
  • Классификация изображений: несколько сверточных нейронных сетей, голосующих за категорию объекта в компьютерном зрении.
  • Анализ тональности: объединение вывода моделей LSTM, Transformer и моделей с вручную созданными признаками для текстовых обзоров.

Как это работает

Как это работает

1

Обучите K независимых базовых классификаторов (например, деревья решений, логистическую регрессию, нейронные сети) на тех же или бутстрэппированных выборках обучающих данных.

2

Для новой выборки передайте ее через каждый из K обученных классификаторов и соберите их индивидуальные предсказания.

3

Подсчитайте голоса для каждого класса и присвойте новой выборке класс с наибольшим количеством голосов. В случае ничьей используйте правило разрешения ничьей (например, случайный выбор или предопределенный приоритет).

Частые ошибки

  • Обучение всех базовых классификаторов на идентичных данных снижает разнообразие, и голоса становятся избыточными.
  • Включение слабых или смещенных классификаторов разбавляет голосующую силу точных моделей.
  • Предположение, что мажоритарное голосование сработает, без проверки достаточной независимости базовых моделей.
  • Пренебрежение стратегическим разрешением ничьих — случайное разрешение ничьей может внести нестабильность.

Часто задаваемые вопросы

Как выбрать количество базовых классификаторов?

Начните с 5–10 классификаторов; добавление большего количества может повысить стабильность, но с убывающей отдачей. Сбалансируйте прирост точности с вычислительными затратами. Больше классификаторов помогают, когда они разнообразны; избыточные модели не приносят пользы.

Что делать, если количество базовых классификаторов четное и возникает ничья?

Определите правило разрешения ничьей перед обучением: присвойте класс с наивысшей совокупной уверенностью предсказания, используйте случайный выбор или присвойте предопределенному классу по умолчанию. Последовательное разрешение ничьей обеспечивает воспроизводимость.

Можно ли использовать мажоритарное голосование с задачами регрессии?

Жесткое голосование предназначено для классификации. Для регрессии вместо этого используйте мягкое усреднение (среднее предсказаний) или взвешенное усреднение.

Гарантирует ли разнообразие базовых классификаторов лучшую производительность ансамбля?

Разнообразие помогает, но его недостаточно. Базовые классификаторы должны быть как разнообразны по паттернам ошибок, так и индивидуально лучше случайного угадывания. Измеряйте разнообразие эмпирически через корреляцию ошибок обучения.

Похожие методы

Источники

  1. Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.

    Открыть ссылку DOI
    Скопировано.
  2. Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.

    Открыть ссылку на публикацию
    Скопировано.