Skip to content
Назад к результатам поиска

Гребневая регрессия

Автор метода
Hoerl, A.E. & Kennard, R.W.
Год
1970
Тип
L2-regularized linear regression

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Гребневая регрессия — это метод линейной регрессии с L2-регуляризацией, представленный Артуром Хёрлом и Робертом Кеннардом в 1970 году, который уменьшает мультиколлинеарность, добавляя штраф за величину коэффициентов.

Он сжимает коэффициенты к нулю, не обнуляя ни один из них точно, что приводит к более стабильным оценкам, когда предикторы сильно коррелированы.

Интуиция метода

Когда предикторы сильно коррелированы, коэффициенты обычного метода наименьших квадратов становятся нестабильными и могут сильно колебаться от выборки к выборке. Гребневая регрессия сознательно принимает небольшую долю смещения в обмен на гораздо меньшую дисперсию: добавляя штраф за квадрат величины коэффициентов, она усмиряет эти дикие колебания и сохраняет все переменные в модели, просто с меньшими, более устойчивыми весами.

История

Гребневая регрессия была представлена Артуром Э. Хёрлом и Робертом У. Кеннардом в 1970 году как способ получения смещенных, но более стабильных оценок для неортогональных (коллинеарных) задач, где обычный метод наименьших квадратов дает сбой. Идея добавления L2-штрафа стала фундаментальным инструментом регуляризованной регрессии и прямым предшественником более поздних методов, таких как LASSO и Elastic Net, которые сочетают или противопоставляют ее поведение сжатия с явным отбором переменных.

Когда применять

Используйте гребневую регрессию для прогнозирования с непрерывными, бинарными или счетными предикторами при наличии мультиколлинеарности — например, когда фактор инфляции дисперсии превышает 10 — и вы хотите сохранить все переменные, а не выбирать среди них. Она предполагает приблизительно линейную зависимость и наличие как минимум около 30 наблюдений. Признаки должны быть предварительно стандартизированы. Когда выборки малы, а коллинеарность незначительна, простая линейная регрессия более интерпретируема; когда целью является отбор переменных, предпочтительнее LASSO или Elastic Net.

Ограничения и замечания

  • Не выполняет отбор переменных; не может обнулять нерелевантные предикторы, как это делает LASSO.
  • Требует стандартизации признаков, иначе штраф несправедливо отдает предпочтение переменным с большими масштабами.
  • Предполагает линейную зависимость между предикторами и исходом.
  • На малых выборках (n менее 30) настройка альфа методом кросс-валидации ненадежна, и простая ОНМК может быть достаточной.
  • Когда коллинеарность не является проблемой, сжатие избыточно и снижает интерпретируемость.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Уменьшает мультиколлинеарность и стабилизирует оценки коэффициентов, добавляя L2-штраф.
  • Сохраняет все предикторы в модели — коэффициенты сжимаются, но ни один не обнуляется.
  • Снижает дисперсию ценой небольшого, контролируемого увеличения смещения, часто улучшая прогноз.
  • Имеет один легко настраиваемый гиперпараметр (альфа), выбираемый методом кросс-валидации.
  • Работает с непрерывными, бинарными и счетными предикторами без необходимости нормального распределения данных.

Применение

  • Прогнозирование с большим количеством коррелированных предикторов, где мультиколлинеарность увеличивает дисперсию ОНМК.
  • Стабилизация коэффициентов регрессии, когда факторы инфляции дисперсии высоки (VIF выше 10).
  • Моделирование, когда все предикторы должны быть сохранены, а не отброшены.
  • Регуляризованная базовая линия перед сравнением с LASSO или Elastic Net.

Как это работает

Как это работает

1

Обычный метод наименьших квадратов подбирает коэффициенты, минимизируя только сумму квадратов ошибок. Когда два или более предиктора почти избыточны (мультиколлинеарность), это приводит к плохо определенным и крайне чувствительным к шуму коэффициентам. Гребневая регрессия решает эту проблему, препятствуя большим коэффициентам, обменивая небольшое смещение на гораздо большую стабильность.

2

Гребневая регрессия минимизирует обычную сумму квадратов ошибок плюс штраф, равный константе настройки альфа, умноженной на сумму квадратов коэффициентов. Этот L2-штраф сжимает все коэффициенты к нулю пропорционально их величине, но, в отличие от LASSO, никогда не обнуляет ни один коэффициент точно, поэтому сохраняются все предикторы. Предварительная стандартизация признаков необходима, чтобы штраф применялся ко всем предикторам справедливо.

Формула
\hat{\beta}^{\text{ridge}} = \arg\min_{\beta} \; \|y - X\beta\|^2 + \alpha \|\beta\|^2
3

Сила штрафа контролируется параметром альфа: большие значения сильнее сжимают коэффициенты. Правильное значение выбирается методом кросс-валидации, обычно путем сканирования диапазона значений альфа и выбора того, которое минимизирует среднеквадратичную ошибку, полученную методом кросс-валидации.

Частые ошибки

  • Подгонка гребневой регрессии на необработанных, нестандартизированных признаках, так что штраф искажает коэффициенты.
  • Выбор альфа вручную вместо выбора методом кросс-валидации.
  • Применение гребневой регрессии при отсутствии реальной мультиколлинеарности, сжатие коэффициентов без какой-либо пользы.
  • Ожидание отбора переменных — гребневая регрессия сохраняет все переменные, поэтому обращайтесь к LASSO или Elastic Net, если вам нужна разреженность.
  • Пропуск диагностики остатков (нормальность, гомоскедастичность) после подгонки.

Часто задаваемые вопросы

Чем гребневая регрессия отличается от LASSO?

Обе добавляют штраф для сжатия коэффициентов, но гребневая регрессия использует L2-штраф, который сжимает коэффициенты к нулю, никогда не достигая его, поэтому все предикторы остаются в модели. LASSO использует L1-штраф, который может обнулять коэффициенты точно, выполняя отбор переменных. Выбирайте гребневую регрессию для стабилизации коррелированных предикторов, а LASSO — когда вам нужна разреженная модель.

Нужно ли мне стандартизировать признаки?

Да. Стандартизация признаков необходима, поскольку L2-штраф действует на величину коэффициентов; без стандартизации штраф несправедливо сжимал бы переменные, измеренные в больших масштабах.

Как выбрать силу штрафа альфа?

Выбирайте альфа методом кросс-валидации: сканируйте диапазон значений и выбирайте то, которое минимизирует среднеквадратичную ошибку, полученную методом кросс-валидации. Построение графика зависимости CV MSE от альфа показывает, где находится оптимум.

Когда не следует использовать гребневую регрессию?

Если реальной мультиколлинеарности нет, гребневая регрессия добавляет ненужное сжатие, и простая линейная регрессия более интерпретируема. При очень малых выборках (n менее 30) настройка альфа ненадежна, и если вам нужно отбросить нерелевантные переменные, следует использовать LASSO или Elastic Net.

Похожие методы

Источники

  1. Hoerl, A.E. & Kennard, R.W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1), 55–67.

    Открыть ссылку DOI
    Скопировано.