Skip to content
Назад к результатам поиска

Стекинг

Автор метода
Wolpert, D.H.
Год
1992
Тип
Ensemble (heterogeneous meta-learning)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Стекинг, или стековая обобщенная модель (stacked generalization), — это ансамблевый метод, представленный Дэвидом Вольпертом в 1992 году, который объединяет выходные данные нескольких различных базовых моделей (уровень 0) с помощью отдельной метамодели (уровень 1).

В отличие от бэггинга и бустинга, он намеренно использует разнородные типы моделей и является стандартной стратегией финальной стадии в соревнованиях Kaggle.

Интуиция метода

Различные семейства моделей допускают разные виды ошибок: ансамбль деревьев, машина опорных векторов и линейная модель по-своему интерпретируют данные. Стекинг рассматривает их предсказания как новые признаки и обучает еще одну модель, чтобы научиться наилучшим образом их комбинировать, так что метамодель может опираться на каждую базовую модель там, где она сильна, и игнорировать ее там, где она слаба, — получая комбинированное предсказание, которое обычно превосходит любую отдельную модель.

История

Стековая обобщенная модель была представлена Дэвидом Вольпертом в 1992 году как способ объединения нескольких обобщающих моделей с помощью модели более высокого уровня. Идея была позже формализована и получила прочную теоретическую основу от ван дер Лаана, Полли и Хаббарда в 2007 году под названием Super Learner, которая использует перекрестную проверку для объединения библиотеки базовых моделей. С тех пор стекинг стал стандартной стратегией последнего этапа в соревнованиях по машинному обучению, где ансамбли разнородных моделей регулярно занимают лидирующие позиции.

Когда применять

Используйте стекинг, когда приоритетом является точность предсказания, и у вас есть несколько достаточно сильных, разнообразных базовых моделей для комбинирования, на поперечных данных с непрерывными, категориальными или бинарными признаками и по крайней мере около 100 наблюдений. Он не требует нормально распределенных данных. При количестве наблюдений ниже примерно 100 k-кратная перекрестная проверка не может сгенерировать достаточно надежных предсказаний уровня 0, и метамодель переобучается, поэтому одна настроенная модель, такая как случайный лес или XGBoost, является более безопасным выбором.

Ограничения и замечания

  • Требуется достаточно большая выборка (около 100+) для того, чтобы k-кратная перекрестная проверка могла генерировать надежные предсказания уровня 0.
  • Выгода уменьшается, когда базовые модели сильно коррелируют, а не разнообразны.
  • Более сложен и требователен к вычислениям, чем одна модель, и его сложнее интерпретировать в целом.
  • На малых выборках разнообразие базовых моделей не может быть достигнуто, и одной модели обычно достаточно.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Часто достигается высочайшая точность предсказания за счет использования разнородных базовых моделей, допускающих разные ошибки.
  • Гибкость: любая комбинация семейств моделей может служить базовыми моделями, с простой метамоделью поверх них.
  • Минимальные предположения — не требуется нормальность, и метод обрабатывает непрерывные, категориальные и бинарные признаки.
  • Проверенная стратегия финальной стадии в конкурентных сценариях предсказания, таких как Kaggle.

Применение

  • Финальное ансамблирование в соревнованиях по предиктивному моделированию, таких как Kaggle.
  • Объединение разнородных моделей для высокоточной классификации и предсказания.
  • Ансамбли Super Learner в биостатистике и эпидемиологии.
  • Комбинирование сильных, но разнообразных моделей, когда выжимание дополнительной точности имеет значение.

Как это работает

Как это работает

1

На данных обучается разнообразный набор базовых моделей (уровень 0) — например, случайный лес, модель градиентного бустинга и машина опорных векторов. Чем более разнообразны и взаимно независимы эти модели, тем больше выгоды может получить стек; когда базовые модели сильно коррелируют друг с другом, выгода от стекинга уменьшается.

2

Предсказания уровня 0 производятся с помощью k-кратной перекрестной проверки (k-fold cross-validation), а не на тех же данных, на которых были обучены базовые модели. Эта схема вне выборок (out-of-fold) имеет решающее значение для предотвращения утечки данных: метапризнаки каждого наблюдения поступают от моделей, которые не видели его во время обучения.

3

Метамодель (уровень 1) обучается на выходных данных базовых моделей, полученных в результате перекрестной проверки, для получения окончательного предсказания. Метаобучатель обычно остается простым — логистическая регрессия, гребневая регрессия (ridge regression) или небольшой XGBoost — чтобы он научился разумным весам для комбинирования базовых моделей, не переобучаясь сам.

Формула
\hat{y} = g\big(f_1(x), f_2(x), \dots, f_M(x)\big)

Частые ошибки

  • Генерация предсказаний уровня 0 на тех же данных, на которых обучались базовые модели, что приводит к утечке данных в метамодель.
  • Стекинг множества сильно коррелирующих базовых моделей с ожиданием большой выгоды.
  • Использование чрезмерно сложной метамодели, которая переобучается на выходных данных базовых моделей, вместо простого регрессора.
  • Применение стекинга к малому набору данных, где разнообразие базовых моделей и надежная перекрестная проверка невозможны.

Часто задаваемые вопросы

Чем стекинг отличается от бэггинга и бустинга?

Бэггинг и бустинг строят множество моделей одного типа, тогда как стекинг намеренно объединяет разнородные семейства моделей и учится их комбинировать с помощью отдельной метамодели. Именно в этом разнообразии заключается преимущество стекинга.

Зачем использовать перекрестную проверку для построения метапризнаков?

Если метамодель обучается на предсказаниях, которые базовые модели сделали на своих собственных обучающих данных, происходит утечка информации, и стек переобучается. Генерация предсказаний уровня 0 вне выборок с помощью k-кратной перекрестной проверки дает метамодели честные входные данные.

Какой должна быть метамодель?

Сохраняйте простоту — логистическая регрессия, гребневая регрессия или небольшой XGBoost. Простой метаобучатель учится разумным весам комбинирования, не переобучая выходные данные базовых моделей.

Когда не следует использовать стекинг?

Когда у вас менее примерно 100 наблюдений, перекрестная проверка не может дать достаточно надежных предсказаний уровня 0, и достичь разнообразия базовых моделей сложно, поэтому выбор одной настроенной модели случайного леса или XGBoost является более безопасным.

Похожие методы

Источники

  1. Wolpert, D.H. (1992). Stacked Generalization. Neural Networks, 5(2), 241–259.

    Открыть ссылку DOI
    Скопировано.
  2. van der Laan, M.J., Polley, E.C. & Hubbard, A.E. (2007). Super Learner. Statistical Applications in Genetics and Molecular Biology, 6(1), Article 25.

    Открыть ссылку DOI
    Скопировано.