Skip to content
Назад к результатам поиска

XGBoost

Автор метода
Chen, T. & Guestrin, C.
Год
2016
Тип
Ensemble (gradient-boosted decision trees)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

XGBoost (Extreme Gradient Boosting) — это масштабируемый алгоритм бустинга деревьев, представленный Тяньци Ченом и Карлосом Гестрином в 2016 году.

Он строит сильный предсказатель, последовательно добавляя деревья решений, каждое из которых корректирует ошибки, допущенные предыдущими деревьями, и является мощным методом прогнозирования, широко используемым в соревнованиях.

Интуиция метода

Вместо того чтобы строить множество независимых деревьев и усреднять их, XGBoost строит деревья последовательно: каждое новое дерево фокусируется на случаях, в которых текущая модель все еще ошибается. Шаг за шагом ансамбль устраняет оставшуюся ошибку, в то время как штраф за регуляризацию сохраняет отдельные деревья простыми, чтобы объединенная модель обобщала, а не запоминала обучающие данные.

История

XGBoost был представлен Тяньци Ченом и Карлосом Гестрином в их статье 2016 года «XGBoost: A Scalable Tree Boosting System» на ACM SIGKDD. Объединив регуляризованный градиентный бустинг деревьев решений с масштабируемой, эффективной реализацией, он стал одним из наиболее широко используемых алгоритмов прогнозирования, особенно заметным в соревнованиях по науке о данных.

Когда применять

Используйте XGBoost для точной классификации или прогнозирования на табличных данных с непрерывными, категориальными, бинарными или счетными признаками и как минимум около 100 наблюдений, когда приоритетом является прогностическая производительность. Он не требует нормально распределенных данных; достаточные данные и продуманное конструирование признаков являются основными практическими предположениями. При менее чем ~100 случаях градиентный бустинг имеет тенденцию к переобучению, и более простая модель (такая как логистическая регрессия или одно дерево решений) более надежна.

Ограничения и замечания

  • Требуется достаточно данных — примерно 100+ наблюдений — иначе происходит переобучение, и результаты перекрестной проверки становятся ненадежными.
  • На малых выборках недостаточно данных для настройки многих гиперпараметров, поэтому более простая модель обобщает лучше.
  • Множество гиперпараметров и ансамбль «черного ящика» затрудняют настройку и интерпретацию по сравнению с одной моделью.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Высокая прогностическая точность на табличных данных, поэтому он так распространен в соревнованиях.
  • Встроенная регуляризация штрафует сложность дерева и помогает контролировать переобучение.
  • Допускает пропущенные значения и обрабатывает смешанные типы признаков (непрерывные, категориальные, бинарные, счетные).
  • Хорошо масштабируется и напрямую выигрывает от конструирования признаков.

Применение

  • Классификация и прогнозирование на табличных данных с множеством признаков.
  • Прогностическое моделирование конкурсного уровня, где точность имеет первостепенное значение.
  • Оценка рисков и задачи прогнозирования на непрерывных, категориальных, бинарных и счетных признаках.
  • Задачи моделирования, где распространены пропущенные значения и сконструированные признаки.

Как это работает

Как это работает

1

XGBoost — это метод градиентного бустинга: он объединяет множество неглубоких деревьев решений в один ансамбль. Деревья добавляются одно за другим, и каждое новое дерево подгоняется для уменьшения ошибки прогнозирования, которая остается после деревьев, уже включенных в модель.

2

Модель минимизирует целевую функцию, которая суммирует член потерь, измеряющий соответствие данным, плюс член регуляризации, который штрафует сложность дерева. Этот явный штраф за сложность помогает XGBoost контролировать переобучение, при этом подгоняя гибкие, нелинейные зависимости.

Формула
\mathcal{L} = \sum_i l(\hat{y}_i, y_i) + \sum_k \Omega(f_k)
3

На каждом раунде бустинга текущее предсказание обновляется путем добавления выходных данных нового подогнанного дерева. Каждое дерево выбирается таким образом, чтобы переместить предсказания в направлении, которое максимально уменьшает целевую функцию, поэтому точность ансамбля улучшается от раунда к раунду.

Формула
\hat{y}_i^{(t)} = \hat{y}_i^{(t-1)} + f_t(x_i)
4

После всех раундов окончательное предсказание представляет собой сумму вкладов каждого дерева, используемую для классификации или прогнозирования целевой переменной. Поскольку модель допускает пропущенные значения и выигрывает от конструирования признаков, она демонстрирует высокую производительность на табличных данных при наличии достаточного количества наблюдений.

Частые ошибки

  • Применение его к малым выборкам (n < 100), где градиентный бустинг переобучается, а оценки CV ненадежны.
  • Пропуск настройки гиперпараметров с помощью перекрестной проверки (например, поиск по сетке) и принятие значений по умолчанию.
  • Оставление обработки пропущенных значений и категориального кодирования неопределенными, хотя XGBoost допускает пропуски.
  • Неспособность настроить правильное разделение на обучающую/тестовую выборки или k-кратную перекрестную проверку перед сообщением о производительности.

Часто задаваемые вопросы

Сколько данных нужно XGBoost?

Около 100 наблюдений — это разумный минимум. При менее чем 100 случаях градиентный бустинг имеет тенденцию к переобучению, и результаты перекрестной проверки становятся ненадежными, поэтому более простая модель, такая как логистическая регрессия или одно дерево решений, более надежна.

Требует ли XGBoost нормально распределенных данных?

Нет. Он не делает предположений о нормальности и работает с непрерывными, категориальными, бинарными и счетными признаками. Основными практическими требованиями являются наличие достаточного количества данных и продуманное конструирование признаков.

Чем XGBoost отличается от Random Forest?

Random Forest строит деревья независимо и усредняет их для уменьшения дисперсии. XGBoost строит деревья последовательно, каждое из которых корректирует ошибки предыдущих, и добавляет штраф за регуляризацию сложности дерева, что может привести к более высокой точности при тщательной настройке.

Как интерпретировать модель XGBoost?

Поскольку модель представляет собой ансамбль из множества деревьев, вклады обычно исследуются с помощью анализа атрибуции признаков, такого как SHAP, наряду с метриками тестового набора, такими как RMSE или AUC, и перекрестной проверкой настройки гиперпараметров.

Похожие методы

Источники

  1. Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD, 785–794.

    Открыть ссылку DOI
    Скопировано.