Голосующая ансамблевая модель
- Автор метода
- Lam & Suen; Kuncheva, L. I. (systematic treatment)
- Год
- 1990s–2004
- Тип
- Ensemble (combination of multiple classifiers by vote)
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Голосующая ансамблевая модель обучает несколько разнообразных классификаторов независимо друг от друга и объединяет их предсказания путем голосования: жесткое голосование выбирает класс, выбранный большинством моделей, в то время как мягкое голосование усредняет их оценки вероятности классов, опционально с весами для каждой модели.
Комбинация обычно превосходит любого отдельного члена и не требует дополнительного обучения после подгонки базовых моделей.
Интуиция метода
Представьте, что вы просите пять врачей поставить диагноз и следуете мнению большинства. Каждый врач может ошибаться по-разному, но объединение их вердиктов нивелирует индивидуальные ошибки. Голосующая ансамблевая модель работает так же: разнообразные модели ошибаются на разных примерах, поэтому их объединенный голос надежнее, чем у любой отдельной модели. Мягкое голосование усиливает этот эффект, позволяя более уверенным моделям вносить пропорционально больший вклад в окончательное решение через их оценки вероятности.
История
Объединение классификаторов путем голосования по большинству систематически изучалось с начала 1990-х годов, с заметным теоретическим обоснованием Лама и Суэна (1994) и Киттлера и др. (1998). Монография Людмилы Кунчевой 2004 года предоставила окончательное изложение объединения классификаторов паттернов, охватывающее жесткое и мягкое голосование, взвешенное голосование и роль разнообразия. Мягкое голосование получило практическую популярность благодаря VotingClassifier из scikit-learn, который упростил объединение произвольных оценщиков в одном вызове API.
Когда применять
Используйте голосующую ансамблевую модель, когда у вас есть два или более уже обученных разнообразных классификатора, и вы хотите быстро и интерпретируемо их объединить без дополнительных затрат на обучение. Это особенно ценно, когда отдельные модели имеют схожую среднюю точность, но разные профили ошибок — их объединение дает реальные преимущества. Мягкое голосование предпочтительнее, когда базовые модели выдают откалиброванные вероятности. Не используйте голосующие ансамблевые модели в качестве замены надлежащего выбора модели: если все базовые ученики слабы или делают коррелированные ошибки, их объединение не поможет. Избегайте, когда интерпретируемость отдельной модели требуется заинтересованными сторонами или регулирующими органами.
Ограничения и замечания
- Выигрыши минимальны или отсутствуют, когда базовые ученики делают сильно коррелированные ошибки.
- Мягкое голосование требует, чтобы все базовые ученики выдавали откалиброванные, сопоставимые оценки вероятности.
- Стоимость инференса масштабируется линейно с количеством базовых учеников; большие ансамбли могут быть медленными.
- Нет механизма для автоматического изучения оптимальных весов комбинации — в отличие от стекинга, веса должны устанавливаться вручную.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Простота реализации: не требуется обучение мета-ученика, кроме подгонки базовых моделей.
- Часто улучшает точность и робастность по сравнению с любым отдельным базовым учеником, когда члены разнообразны.
- Мягкое голосование использует калибровку вероятностей, обычно превосходя жесткое голосование.
- Поддерживает гетерогенные семейства моделей, позволяя любое сочетание классификаторов.
- Легко добавлять или удалять базовых учеников без переобучения инфраструктуры ансамбля.
Применение
- Объединение логистической регрессии, SVM и древовидных моделей для прогнозирования клинического риска.
- Надежная классификация текстов путем объединения предсказаний нескольких дообученных языковых моделей.
- Конкурсное машинное обучение (в стиле Kaggle), где объединение топ-k разнообразных моделей улучшает оценку в таблице лидеров.
- Производственные настройки, где робастность ансамбля важнее простоты отдельной модели.
- Базовый ансамбль перед вложением усилий в стекинг или бустинг.
Как это работает
Как это работает
Набор из K базовых учеников — которые могут быть совершенно разными семействами моделей, такими как логистическая регрессия, k-ближайших соседей и дерево решений — каждый обучается независимо на полном обучающем наборе или на своей собственной настроенной конфигурации. Разнообразие между базовыми учениками имеет важное значение: модели, которые делают похожие ошибки, мало выигрывают от объединения.
Во время инференса каждый базовый ученик выдает предсказание для нового входного сигнала. Для жесткого голосования это просто метка класса; для мягкого голосования каждый ученик должен выдать вектор вероятностей классов, что накладывает ограничение на то, что все выбранные базовые ученики могут быть откалиброваны для выдачи значимых оценок вероятности.
При жестком голосовании ансамбль подсчитывает, сколько моделей предсказали каждый класс, и присваивает метку, получившую большинство голосов. При равенстве голосов используется фиксированное правило (например, наименьший индекс класса). Этот режим работает даже тогда, когда базовые ученики не могут выдавать надежные вероятности.
Формула
\hat{y} = \arg\max_c \sum_{k=1}^{K} \mathbf{1}[h_k(x)=c]При мягком голосовании ансамбль усредняет (или берет взвешенное среднее с весами w_k) векторы вероятностей классов по всем базовым ученикам и предсказывает класс с наибольшей усредненной вероятностью. Поскольку мягкое голосование использует величины вероятностей, а не только победителей, оно обычно превосходит жесткое голосование, когда базовые ученики хорошо откалиброваны.
Формула
\hat{y} = \arg\max_c \sum_{k=1}^{K} w_k \, p_k(c \mid x)Ансамбль возвращает выигрышную метку класса и, в режиме мягкого голосования, усредненный вектор вероятностей, который может быть использован для настройки порога, ранжирования или диагностики калибровки ниже по потоку. Дополнительный шаг обучения не требуется после подгонки базовых моделей.
Частые ошибки
- Объединение базовых учеников, настроенных на одних и тех же данных без перекрестной проверки, приводит к оптимистичным оценкам ошибок.
- Использование мягкого голосования с плохо откалиброванными выходными данными вероятности (например, необработанные значения решений SVM) может навредить, а не помочь.
- Выбор слишком похожих базовых учеников — все варианты одного семейства моделей — устраняет разнообразие и тратит вычислительные ресурсы впустую.
- Игнорирование дисбаланса классов: если базовые ученики индивидуально несбалансированы, их голоса коллективно усилят смещение к большинству классов.
- Рассмотрение точности голосующего ансамбля как окончательной без проверки того, достигает ли более простая отдельная модель того же результата.
Часто задаваемые вопросы
Сколько базовых учеников следует включить?
Нет строгого правила, но от трех до семи разнообразных классификаторов — это распространенный практический диапазон. Добавление большего количества учеников за точкой убывающей отдачи увеличивает задержку инференса без существенного улучшения точности.
Когда следует предпочесть мягкое голосование жесткому?
Используйте мягкое голосование, когда все базовые ученики выдают хорошо откалиброванные выходные данные вероятности — оно обычно дает более высокую точность, поскольку использует полное распределение вероятностей, а не только класс-победитель. Если вероятности плохо откалиброваны или недоступны, жесткое голосование безопаснее.
Как выбрать веса во взвешенном мягком голосовании?
Простой подход — взвешивать каждую модель по ее точности или AUC, полученной с помощью перекрестной проверки, на обучающем наборе. Более принципиальные подходы оптимизируют веса с использованием выделенного набора для валидации, но рискуют переобучением, если набор для валидации мал.
Чем голосующий ансамбль отличается от стекинга?
Голосующие ансамбли объединяют выходные данные базовых моделей по фиксированным правилам (большинство или среднее). Стекинг обучает мета-ученика на выходных данных базовых моделей для изучения оптимальной комбинации — более мощный, но более сложный и подверженный утечке данных, если перекрестная проверка не используется должным образом.
Всегда ли разнообразие улучшает ансамбль?
Разнообразие необходимо, но недостаточно. Базовые ученики также должны быть индивидуально точными; ансамбль слабых, разнообразных классификаторов все равно может работать плохо. Цель — разнообразные ошибки среди точных моделей.
Похожие методы
Источники
Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.
ISBN: 978-0-471-21078-8Скопировано.Dietterich, T. G. (2000). Ensemble Methods in Machine Learning. In J. Kittler & F. Roli (Eds.), Multiple Classifier Systems (MCS 2000), Lecture Notes in Computer Science, vol 1857, pp. 1–15. Springer.
Открыть ссылку DOIСкопировано.