Градиентный бустинг
- Автор метода
- Friedman, J. H.
- Год
- 2001
- Тип
- Ensemble (sequential boosting of decision trees)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Градиентный бустинг — это метод ансамблевого обучения, формализованный Джеромом Х. Фридманом в 2001 году, который объединяет последовательность слабых учеников (обычно неглубоких деревьев решений) таким образом, что каждое новое дерево подгоняется для минимизации остаточных ошибок предыдущих деревьев.
Это основной алгоритм, лежащий в основе популярных реализаций, таких как XGBoost, LightGBM и CatBoost.
Интуиция метода
Вместо того чтобы строить одну сильную модель сразу, градиентный бустинг строит множество небольших деревьев последовательно, где каждое новое дерево фокусируется на ошибках, которые текущий ансамбль все еще совершает. Путем многократного подталкивания предсказания в направлении, которое максимально уменьшает оставшуюся ошибку, цепочка слабых учеников складывается в один высокоточный предсказатель.
История
Градиентный бустинг был формализован Джеромом Х. Фридманом в его работе 2001 года «Greedy Function Approximation: A Gradient Boosting Machine», которая представила бустинг как градиентный спуск в функциональном пространстве. Идея — добавление слабых учеников, каждый из которых подгоняется под остатки текущего ансамбля — стала основой для наиболее успешных алгоритмов для табличных данных на практике, включая XGBoost, LightGBM и CatBoost.
Когда применять
Отличный выбор для точной классификации и прогнозирования на кросс-секционных или панельных табличных данных с не менее чем 100 наблюдениями, по непрерывным, категориальным, бинарным и порядковым признакам. Масштабирование признаков обычно не требуется, но настройка гиперпараметров количества деревьев, скорости обучения и максимальной глубины имеет решающее значение, а ранняя остановка рекомендуется для защиты от переобучения. При менее чем 100 наблюдениях последовательные деревья склонны запоминать шум, и случайный лес (Random Forest) или одно дерево решений безопаснее.
Ограничения и замечания
- Настройка гиперпараметров количества деревьев, скорости обучения и максимальной глубины является критически важной и трудоемкой.
- Последовательный бустинг склонен к переобучению, если не регуляризован, поэтому рекомендуется ранняя остановка.
- На малых выборках (n менее примерно 100) последовательные деревья запоминают шум, и даже ранней остановки недостаточно.
- При слишком малом количестве данных недостаточно материала для перекрестной проверки, чтобы надежно оптимизировать гиперпараметры.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Очень высокая прогностическая точность на табличных данных как для классификации, так и для прогнозирования.
- Масштабирование признаков обычно не требуется, и метод работает с непрерывными, категориальными, бинарными и порядковыми признаками.
- Формирует основной алгоритм, лежащий в основе широко используемых библиотек, таких как XGBoost, LightGBM и CatBoost.
- Ранняя остановка и малая скорость обучения обеспечивают тонкий контроль над компромиссом между смещением и дисперсией.
Применение
- Высокоточная классификация и прогнозирование на кросс-секционных и панельных табличных данных.
- Оценка рисков и прогнозирование исходов, где максимальная прогностическая производительность является приоритетом.
- Моделирование сложных нелинейных взаимосвязей между признаками смешанного типа без ручного масштабирования.
- Служит движущей силой производственных библиотек градиентного бустинга, таких как XGBoost и LightGBM.
Как это работает
Как это работает
Градиентный бустинг обучает слабых учеников — обычно неглубокие деревья решений — последовательно, а не независимо. Ансамбль начинается с простого начального предположения, и каждое последующее дерево добавляется для исправления того, что текущая модель все еще делает неправильно, поэтому точность улучшается шаг за шагом.
На каждом шаге метод анализирует остаточные ошибки текущего ансамбля и подгоняет следующее дерево к этим остаткам (отрицательному градиенту функции потерь). Новое дерево добавляется с небольшим весом скорости обучения, поэтому предсказание обновляется осторожно: F_m(x) = F_{m-1}(x) + nu * h_m(x). Эта последовательная, управляемая градиентом коррекция дает методу его название и точность.
Формула
F_{m}(x) = F_{m-1}(x) + \nu \, h_m(x)Окончательное предсказание представляет собой сумму начальной оценки и всех небольших коррекций деревьев, накопленных по пути. Поскольку деревья добавляются жадно для преследования оставшейся ошибки, настройка количества деревьев, скорости обучения и глубины дерева — наряду с ранней остановкой — имеет решающее значение для предотвращения переобучения.
Частые ошибки
- Пропуск ранней остановки и слишком долгое выполнение бустинга до переобучения.
- Установка слишком высокой скорости обучения, так что каждое дерево перекомпенсирует вместо того, чтобы мягко подталкивать предсказание.
- Применение его к выборке менее примерно 100 наблюдений, где последовательные деревья запоминают шум.
- Принятие гиперпараметров по умолчанию вместо настройки n_estimators, learning_rate и max_depth.
- Рассмотрение его как требующего масштабирования признаков, как модели, основанные на расстояниях, хотя масштабирование обычно не требуется.
Часто задаваемые вопросы
Чем градиентный бустинг отличается от случайного леса (Random Forest)?
Случайный лес строит множество независимых деревьев параллельно и усредняет их, тогда как градиентный бустинг строит деревья последовательно, каждое из которых подгоняется для исправления остаточных ошибок предыдущих. Бустинг часто достигает более высокой точности, но более чувствителен к переобучению и требует тщательной настройки.
Почему рекомендуется ранняя остановка?
Поскольку каждое новое дерево преследует оставшуюся ошибку, слишком долгий запуск бустинга начинает подгоняться под шум. Ранняя остановка прекращает обучение, как только производительность валидации перестает улучшаться, что является основной защитой от переобучения.
Нужно ли мне масштабировать мои признаки?
Масштабирование признаков обычно не требуется для градиентного бустинга на основе деревьев, поскольку разбиения зависят от порядка, а не от величины. Критически важными параметрами являются количество деревьев, скорость обучения и глубина дерева.
Какой размер выборки мне нужен?
Не менее 100 наблюдений. При меньшем количестве последовательные деревья запоминают шум, и даже ранней остановки недостаточно, поэтому случайный лес (Random Forest) или одно дерево решений является более безопасным выбором.
Похожие методы
Источники
Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.
Открыть ссылку DOIСкопировано.