Гребневая регрессия
- Автор метода
- Hoerl, A.E. & Kennard, R.W.
- Год
- 1970
- Тип
- L2-regularized linear regression
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Гребневая регрессия — это метод линейной регрессии с L2-регуляризацией, представленный Артуром Хёрлом и Робертом Кеннардом в 1970 году, который уменьшает мультиколлинеарность, добавляя штраф за величину коэффициентов.
Он сжимает коэффициенты к нулю, не обнуляя ни один из них точно, что приводит к более стабильным оценкам, когда предикторы сильно коррелированы.
Интуиция метода
Когда предикторы сильно коррелированы, коэффициенты обычного метода наименьших квадратов становятся нестабильными и могут сильно колебаться от выборки к выборке. Гребневая регрессия сознательно принимает небольшую долю смещения в обмен на гораздо меньшую дисперсию: добавляя штраф за квадрат величины коэффициентов, она усмиряет эти дикие колебания и сохраняет все переменные в модели, просто с меньшими, более устойчивыми весами.
История
Гребневая регрессия была представлена Артуром Э. Хёрлом и Робертом У. Кеннардом в 1970 году как способ получения смещенных, но более стабильных оценок для неортогональных (коллинеарных) задач, где обычный метод наименьших квадратов дает сбой. Идея добавления L2-штрафа стала фундаментальным инструментом регуляризованной регрессии и прямым предшественником более поздних методов, таких как LASSO и Elastic Net, которые сочетают или противопоставляют ее поведение сжатия с явным отбором переменных.
Когда применять
Используйте гребневую регрессию для прогнозирования с непрерывными, бинарными или счетными предикторами при наличии мультиколлинеарности — например, когда фактор инфляции дисперсии превышает 10 — и вы хотите сохранить все переменные, а не выбирать среди них. Она предполагает приблизительно линейную зависимость и наличие как минимум около 30 наблюдений. Признаки должны быть предварительно стандартизированы. Когда выборки малы, а коллинеарность незначительна, простая линейная регрессия более интерпретируема; когда целью является отбор переменных, предпочтительнее LASSO или Elastic Net.
Ограничения и замечания
- Не выполняет отбор переменных; не может обнулять нерелевантные предикторы, как это делает LASSO.
- Требует стандартизации признаков, иначе штраф несправедливо отдает предпочтение переменным с большими масштабами.
- Предполагает линейную зависимость между предикторами и исходом.
- На малых выборках (n менее 30) настройка альфа методом кросс-валидации ненадежна, и простая ОНМК может быть достаточной.
- Когда коллинеарность не является проблемой, сжатие избыточно и снижает интерпретируемость.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Уменьшает мультиколлинеарность и стабилизирует оценки коэффициентов, добавляя L2-штраф.
- Сохраняет все предикторы в модели — коэффициенты сжимаются, но ни один не обнуляется.
- Снижает дисперсию ценой небольшого, контролируемого увеличения смещения, часто улучшая прогноз.
- Имеет один легко настраиваемый гиперпараметр (альфа), выбираемый методом кросс-валидации.
- Работает с непрерывными, бинарными и счетными предикторами без необходимости нормального распределения данных.
Применение
- Прогнозирование с большим количеством коррелированных предикторов, где мультиколлинеарность увеличивает дисперсию ОНМК.
- Стабилизация коэффициентов регрессии, когда факторы инфляции дисперсии высоки (VIF выше 10).
- Моделирование, когда все предикторы должны быть сохранены, а не отброшены.
- Регуляризованная базовая линия перед сравнением с LASSO или Elastic Net.
Как это работает
Как это работает
Обычный метод наименьших квадратов подбирает коэффициенты, минимизируя только сумму квадратов ошибок. Когда два или более предиктора почти избыточны (мультиколлинеарность), это приводит к плохо определенным и крайне чувствительным к шуму коэффициентам. Гребневая регрессия решает эту проблему, препятствуя большим коэффициентам, обменивая небольшое смещение на гораздо большую стабильность.
Гребневая регрессия минимизирует обычную сумму квадратов ошибок плюс штраф, равный константе настройки альфа, умноженной на сумму квадратов коэффициентов. Этот L2-штраф сжимает все коэффициенты к нулю пропорционально их величине, но, в отличие от LASSO, никогда не обнуляет ни один коэффициент точно, поэтому сохраняются все предикторы. Предварительная стандартизация признаков необходима, чтобы штраф применялся ко всем предикторам справедливо.
Формула
\hat{\beta}^{\text{ridge}} = \arg\min_{\beta} \; \|y - X\beta\|^2 + \alpha \|\beta\|^2Сила штрафа контролируется параметром альфа: большие значения сильнее сжимают коэффициенты. Правильное значение выбирается методом кросс-валидации, обычно путем сканирования диапазона значений альфа и выбора того, которое минимизирует среднеквадратичную ошибку, полученную методом кросс-валидации.
Частые ошибки
- Подгонка гребневой регрессии на необработанных, нестандартизированных признаках, так что штраф искажает коэффициенты.
- Выбор альфа вручную вместо выбора методом кросс-валидации.
- Применение гребневой регрессии при отсутствии реальной мультиколлинеарности, сжатие коэффициентов без какой-либо пользы.
- Ожидание отбора переменных — гребневая регрессия сохраняет все переменные, поэтому обращайтесь к LASSO или Elastic Net, если вам нужна разреженность.
- Пропуск диагностики остатков (нормальность, гомоскедастичность) после подгонки.
Часто задаваемые вопросы
Чем гребневая регрессия отличается от LASSO?
Обе добавляют штраф для сжатия коэффициентов, но гребневая регрессия использует L2-штраф, который сжимает коэффициенты к нулю, никогда не достигая его, поэтому все предикторы остаются в модели. LASSO использует L1-штраф, который может обнулять коэффициенты точно, выполняя отбор переменных. Выбирайте гребневую регрессию для стабилизации коррелированных предикторов, а LASSO — когда вам нужна разреженная модель.
Нужно ли мне стандартизировать признаки?
Да. Стандартизация признаков необходима, поскольку L2-штраф действует на величину коэффициентов; без стандартизации штраф несправедливо сжимал бы переменные, измеренные в больших масштабах.
Как выбрать силу штрафа альфа?
Выбирайте альфа методом кросс-валидации: сканируйте диапазон значений и выбирайте то, которое минимизирует среднеквадратичную ошибку, полученную методом кросс-валидации. Построение графика зависимости CV MSE от альфа показывает, где находится оптимум.
Когда не следует использовать гребневую регрессию?
Если реальной мультиколлинеарности нет, гребневая регрессия добавляет ненужное сжатие, и простая линейная регрессия более интерпретируема. При очень малых выборках (n менее 30) настройка альфа ненадежна, и если вам нужно отбросить нерелевантные переменные, следует использовать LASSO или Elastic Net.
Похожие методы
Источники
Hoerl, A.E. & Kennard, R.W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1), 55–67.
Открыть ссылку DOIСкопировано.