Регрессия Лассо
- Автор метода
- Tibshirani, R.
- Год
- 1996
- Тип
- Regularized linear regression (L1 penalty)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Регрессия Лассо, представленная Робертом Тибширани в 1996 году, является методом линейной регрессии, который добавляет L1-регуляризацию к функции потерь, чтобы сжимать коэффициенты и одновременно выполнять отбор признаков, создавая разреженную модель.
Обнуляя некоторые коэффициенты, он сохраняет только значимые предикторы.
Интуиция метода
Метод наименьших квадратов подгоняет каждый предиктор и может распределять вес между множеством коррелированных или нерелевантных переменных, что увеличивает дисперсию и скрывает, какие признаки действительно влияют на результат. Лассо накладывает ограничение на суммарный размер коэффициентов: по мере ужесточения этого ограничения слабые предикторы полностью обнуляются и исключаются из модели. Результатом является меньший, более стабильный набор переменных, который легче интерпретировать.
История
Лассо был представлен Робертом Тибширани в 1996 году как способ объединить сжатие регуляризованной регрессии с автоматическим отбором признаков, используя L1-регуляризацию для коэффициентов. Он стал краеугольным камнем статистики высоких размерностей и мотивировал связанные методы, такие как регрессия Риджа и эластичная сеть, которые используют или комбинируют L1 и L2 регуляризации.
Когда применять
Хорошо подходит, когда требуется разреженная, интерпретируемая линейная модель для прогнозирования или объяснения на основе множества непрерывных, бинарных предикторов или предикторов подсчета, и при наличии как минимум около 30 наблюдений. Особенно полезна при наличии мультиколлинеарности (например, VIF выше 10), когда требуется, чтобы метод сам выбирал, какие переменные сохранить. Предполагает приблизительно линейную зависимость и требует стандартизации признаков. При количестве наблюдений ниже примерно 30 отбор признаков становится нестабильным, и регрессия Риджа является более безопасным выбором; когда количество предикторов превышает размер выборки, предпочтительнее использовать эластичную сеть.
Ограничения и замечания
- Предполагает линейную зависимость между предикторами и исходом.
- Признаки должны быть стандартизированы заранее, иначе штраф несправедливо относится к переменным в разных масштабах.
- На малых выборках (n ниже примерно 30) отобранные переменные нестабильны и невоспроизводимы.
- Когда количество предикторов превышает размер выборки, он может выбрать максимум n переменных, поэтому предпочтительнее эластичная сеть.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Выполняет отбор признаков и сжатие коэффициентов за один шаг подгонки, что приводит к разреженной, интерпретируемой модели.
- Обнуляет слабые предикторы, что упрощает модель и уменьшает переобучение.
- Естественный ответ на мультиколлинеарность (высокий VIF) без ручного исключения переменных.
- Не требует нормально распределенных данных и обрабатывает непрерывные, бинарные предикторы и предикторы подсчета.
- Только один параметр настройки (лямбда), который легко задать с помощью кросс-валидации.
Применение
- Построение разреженных, интерпретируемых моделей прогнозирования из множества кандидатов-предикторов.
- Автоматический отбор признаков при наличии мультиколлинеарности (высокий VIF).
- Высокоразмерные настройки, где ожидается, что только подмножество признаков будет иметь значение.
- Регуляризованная базовая линия перед попыткой использования эластичной сети или более сложных моделей.
Как это работает
Как это работает
Лассо минимизирует обычную сумму квадратов остатков плюс штраф, равный лямбда, умноженному на сумму абсолютных значений коэффициентов. Этот L1-штраф является определяющей особенностью: чем больше лямбда, тем сильнее коэффициенты приближаются к нулю.
Формула
\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \sum_j |\beta_j|Поскольку L1-штраф имеет острые углы, он делает больше, чем просто сжимает коэффициенты к нулю — он устанавливает многие из них точно равными нулю. Переменные с нулевым коэффициентом фактически удаляются, поэтому подгонка и отбор признаков происходят за один шаг, а итоговая модель является разреженной.
Сила штрафа лямбда контролирует компромисс между точностью подгонки и разреженностью, поэтому она выбирается с помощью кросс-валидации: пробуется диапазон значений лямбда, и выбирается то, которое минимизирует среднеквадратичную ошибку кросс-валидации. Признаки должны быть стандартизированы заранее, чтобы единый штраф применялся справедливо ко всем предикторам в разных масштабах.
Частые ошибки
- Подгонка Лассо без предварительной стандартизации признаков.
- Выбор лямбда вручную вместо настройки с помощью кросс-валидации.
- Доверие отобранным переменным на очень малой выборке, где отбор нестабилен.
- Забывание проверить остаточные графики на нормальность и гомогенность после подгонки.
- Игнорирование того, что при большем количестве предикторов, чем наблюдений, Лассо ограничивает количество отобранных переменных.
Часто задаваемые вопросы
Как выбирается лямбда?
Лямбда контролирует, насколько сильно штрафуются коэффициенты. Он выбирается с помощью кросс-валидации: пробуется диапазон значений, и выбирается то, которое минимизирует среднеквадратичную ошибку кросс-валидации.
Почему необходимо стандартизировать признаки?
Единый L1-штраф применяется одинаково ко всем коэффициентам, поэтому предикторы, измеренные в больших масштабах, иначе штрафовались бы меньше. Предварительная стандартизация признаков делает штраф справедливым для всех переменных.
Чем Лассо отличается от регрессии Риджа?
Лассо использует L1-штраф, который может обнулять коэффициенты, выполняя отбор признаков, в то время как Ридж использует L2-штраф, который сжимает коэффициенты, но не обнуляет их. На малых выборках или когда отбор нестабилен, Ридж является более безопасным выбором.
Что следует проверить после подгонки?
Проверить кривую MSE кросс-валидации для подтверждения выбранной лямбда, просмотреть, какие переменные были сохранены, а какие обнулены, и изучить остаточные графики на нормальность и гомогенность.
Похожие методы
Источники
Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.
Открыть ссылку DOIСкопировано.