Skip to content
Назад к результатам поиска

AdaBoost

Автор метода
Freund, Y. & Schapire, R.E.
Год
1997
Тип
Ensemble (sequential boosting of weak learners)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

AdaBoost (Adaptive Boosting) — это оригинальный алгоритм бустинга, представленный Йоавом Фройндом и Робертом Шапире в 1997 году, который объединяет последовательность простых слабых учеников, придавая больший вес наблюдениям, которые они ошибочно классифицируют.

Предшественник градиентного бустинга, он прост, интерпретируем и является сильной базовой моделью для классификации.

Интуиция метода

Одиночное мелкое дерево — это слабый ученик: лишь немного лучше случайного угадывания. AdaBoost превращает множество таких слабых учеников в один сильный предиктор, обучая их один за другим. После обучения каждого ученика наблюдения, которые он неправильно классифицировал, получают больший вес, поэтому следующий ученик фокусируется на сложных случаях, которые другие продолжают ошибочно классифицировать. Окончательное предсказание — это взвешенное голосование, где более точные ученики имеют больший вес.

История

AdaBoost был представлен Йоавом Фройндом и Робертом Шапире в 1997 году как основанное на теории принятия решений обобщение онлайн-обучения, примененное к бустингу. Это был первый практический алгоритм бустинга, который показал, что множество слабых учеников могут быть объединены в одного сильного, что стало основой для всего семейства бустинга. Это прямой предшественник градиентного бустинга и современных инструментов, таких как XGBoost.

Когда применять

Хорошо подходит для классификации и прогнозирования на поперечных табличных данных с непрерывными, категориальными или бинарными признаками и примерно от 50 наблюдений, когда требуется простая, интерпретируемая базовая модель бустинга. AdaBoost не делает предположений о нормальности, но чувствителен к зашумленным данным и выбросам, поэтому сначала следует провести их скрининг. Контролируйте количество оценщиков (estimators) для управления небольшим, но ненулевым риском переобучения. На малых выборках более простые логистическая регрессия или более робастный случайный лес являются более безопасными.

Ограничения и замечания

  • Чувствителен к зашумленным данным и выбросам из-за экспоненциальной функции потерь; требуется скрининг выбросов.
  • Риск переобучения низок, но не равен нулю и должен контролироваться количеством оценщиков.
  • На малых выборках (n менее примерно 50) зашумленные наблюдения получают избыточный вес, и каждая итерация может ухудшить производительность.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Прост и интерпретируем, с небольшим количеством настраиваемых параметров.
  • Превращает слабые ученики глубиной 1 в сильный классификатор, надежную готовую базовую модель.
  • Не делает предположений о нормальности; обрабатывает непрерывные, категориальные и бинарные признаки.
  • Предшественник градиентного бустинга с четким механизмом адаптивного взвешивания.

Применение

  • Базовые модели классификации на поперечных табличных данных.
  • Задачи прогнозирования, где предпочтительна простая, интерпретируемая бустированная модель.
  • Обучение и демонстрация идеи бустинга перед переходом к градиентному бустингу.
  • Объединение множества мелких решающих пней в единый сильный классификатор.

Как это работает

Как это работает

1

Каждое обучающее наблюдение начинается с равного веса. Эти веса указывают каждому последующему слабому ученику, насколько он должен заботиться о правильной классификации данного наблюдения.

2

Слабый ученик — обычно решающий пень (decision stump), дерево глубиной 1 — подгоняется под взвешенные данные. Поскольку он очень прост, сам по себе он лишь немного лучше случайного угадывания.

3

Общая точность ученика определяет его вес в финальном голосовании, а веса наблюдений, которые он неправильно классифицировал, увеличиваются, чтобы следующий ученик мог на них сосредоточиться. Экспоненциальная функция потерь управляет этим обновлением: она наказывает за неправильную классификацию с быстро возрастающей скоростью, что также делает AdaBoost чувствительным к зашумленным точкам и выбросам.

Формула
w_i \leftarrow w_i \exp(\alpha \, \mathbb{1}[y_i \neq h(x_i)])
4

После многих раундов слабые ученики объединяются в единое предсказание путем взвешенного мажоритарного голосования, где каждый ученик взвешивается по его точности. Эта сумма множества простых, сфокусированных учеников формирует один сильный классификатор.

Формула
H(x) = \text{sign}\left(\sum_t \alpha_t h_t(x)\right)

Частые ошибки

  • Запуск AdaBoost на данных, полных выбросов, без предварительного их скрининга.
  • Позволение количеству оценщиков бесконтрольно расти вместо его настройки.
  • Использование на выборке менее примерно 50 наблюдений, где зашумленные точки доминируют при взвешивании.
  • Выбор AdaBoost, когда более робастный ансамбль, такой как случайный лес, лучше подходит для зашумленных данных.

Часто задаваемые вопросы

Чем AdaBoost отличается от случайного леса?

Случайный лес строит множество независимых деревьев параллельно и усредняет их (бэггинг); AdaBoost строит слабых учеников последовательно, каждый из которых фокусируется на случаях, которые предыдущие ученики ошибочно классифицировали (бустинг). Из-за своей экспоненциальной функции потерь AdaBoost более чувствителен к шуму и выбросам, в то время как случайный лес более робастен.

Почему AdaBoost чувствителен к выбросам?

Он использует экспоненциальную функцию потерь, которая наказывает за неправильную классификацию с быстро возрастающей скоростью. Постоянно неправильно классифицируемые точки — часто выбросы или зашумленные наблюдения — продолжают набирать вес, поэтому они могут доминировать в последующих итерациях и ухудшать модель.

Сколько оценщиков следует использовать?

Количество оценщиков (слабых учеников) контролирует небольшой, но реальный риск переобучения AdaBoost. Увеличивайте его, пока производительность на валидационной выборке улучшается, и остановитесь, когда она достигнет плато или начнет ухудшаться.

Что здесь означает слабый ученик?

Обычно это решающий пень — дерево решений глубиной 1. Сам по себе он лишь немного лучше случайного угадывания, но AdaBoost объединяет множество таких учеников, каждый из которых взвешен по своей точности, в единый сильный классификатор.

Похожие методы

Источники

  1. Freund, Y. & Schapire, R.E. (1997). A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences, 55(1), 119–139.

    Открыть ссылку DOI
    Скопировано.