Skip to content
Назад к результатам поиска

Регрессия Лассо

Автор метода
Tibshirani, R.
Год
1996
Тип
Regularized linear regression (L1 penalty)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Регрессия Лассо, представленная Робертом Тибширани в 1996 году, является методом линейной регрессии, который добавляет L1-регуляризацию к функции потерь, чтобы сжимать коэффициенты и одновременно выполнять отбор признаков, создавая разреженную модель.

Обнуляя некоторые коэффициенты, он сохраняет только значимые предикторы.

Интуиция метода

Метод наименьших квадратов подгоняет каждый предиктор и может распределять вес между множеством коррелированных или нерелевантных переменных, что увеличивает дисперсию и скрывает, какие признаки действительно влияют на результат. Лассо накладывает ограничение на суммарный размер коэффициентов: по мере ужесточения этого ограничения слабые предикторы полностью обнуляются и исключаются из модели. Результатом является меньший, более стабильный набор переменных, который легче интерпретировать.

История

Лассо был представлен Робертом Тибширани в 1996 году как способ объединить сжатие регуляризованной регрессии с автоматическим отбором признаков, используя L1-регуляризацию для коэффициентов. Он стал краеугольным камнем статистики высоких размерностей и мотивировал связанные методы, такие как регрессия Риджа и эластичная сеть, которые используют или комбинируют L1 и L2 регуляризации.

Когда применять

Хорошо подходит, когда требуется разреженная, интерпретируемая линейная модель для прогнозирования или объяснения на основе множества непрерывных, бинарных предикторов или предикторов подсчета, и при наличии как минимум около 30 наблюдений. Особенно полезна при наличии мультиколлинеарности (например, VIF выше 10), когда требуется, чтобы метод сам выбирал, какие переменные сохранить. Предполагает приблизительно линейную зависимость и требует стандартизации признаков. При количестве наблюдений ниже примерно 30 отбор признаков становится нестабильным, и регрессия Риджа является более безопасным выбором; когда количество предикторов превышает размер выборки, предпочтительнее использовать эластичную сеть.

Ограничения и замечания

  • Предполагает линейную зависимость между предикторами и исходом.
  • Признаки должны быть стандартизированы заранее, иначе штраф несправедливо относится к переменным в разных масштабах.
  • На малых выборках (n ниже примерно 30) отобранные переменные нестабильны и невоспроизводимы.
  • Когда количество предикторов превышает размер выборки, он может выбрать максимум n переменных, поэтому предпочтительнее эластичная сеть.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Выполняет отбор признаков и сжатие коэффициентов за один шаг подгонки, что приводит к разреженной, интерпретируемой модели.
  • Обнуляет слабые предикторы, что упрощает модель и уменьшает переобучение.
  • Естественный ответ на мультиколлинеарность (высокий VIF) без ручного исключения переменных.
  • Не требует нормально распределенных данных и обрабатывает непрерывные, бинарные предикторы и предикторы подсчета.
  • Только один параметр настройки (лямбда), который легко задать с помощью кросс-валидации.

Применение

  • Построение разреженных, интерпретируемых моделей прогнозирования из множества кандидатов-предикторов.
  • Автоматический отбор признаков при наличии мультиколлинеарности (высокий VIF).
  • Высокоразмерные настройки, где ожидается, что только подмножество признаков будет иметь значение.
  • Регуляризованная базовая линия перед попыткой использования эластичной сети или более сложных моделей.

Как это работает

Как это работает

1

Лассо минимизирует обычную сумму квадратов остатков плюс штраф, равный лямбда, умноженному на сумму абсолютных значений коэффициентов. Этот L1-штраф является определяющей особенностью: чем больше лямбда, тем сильнее коэффициенты приближаются к нулю.

Формула
\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \sum_j |\beta_j|
2

Поскольку L1-штраф имеет острые углы, он делает больше, чем просто сжимает коэффициенты к нулю — он устанавливает многие из них точно равными нулю. Переменные с нулевым коэффициентом фактически удаляются, поэтому подгонка и отбор признаков происходят за один шаг, а итоговая модель является разреженной.

3

Сила штрафа лямбда контролирует компромисс между точностью подгонки и разреженностью, поэтому она выбирается с помощью кросс-валидации: пробуется диапазон значений лямбда, и выбирается то, которое минимизирует среднеквадратичную ошибку кросс-валидации. Признаки должны быть стандартизированы заранее, чтобы единый штраф применялся справедливо ко всем предикторам в разных масштабах.

Частые ошибки

  • Подгонка Лассо без предварительной стандартизации признаков.
  • Выбор лямбда вручную вместо настройки с помощью кросс-валидации.
  • Доверие отобранным переменным на очень малой выборке, где отбор нестабилен.
  • Забывание проверить остаточные графики на нормальность и гомогенность после подгонки.
  • Игнорирование того, что при большем количестве предикторов, чем наблюдений, Лассо ограничивает количество отобранных переменных.

Часто задаваемые вопросы

Как выбирается лямбда?

Лямбда контролирует, насколько сильно штрафуются коэффициенты. Он выбирается с помощью кросс-валидации: пробуется диапазон значений, и выбирается то, которое минимизирует среднеквадратичную ошибку кросс-валидации.

Почему необходимо стандартизировать признаки?

Единый L1-штраф применяется одинаково ко всем коэффициентам, поэтому предикторы, измеренные в больших масштабах, иначе штрафовались бы меньше. Предварительная стандартизация признаков делает штраф справедливым для всех переменных.

Чем Лассо отличается от регрессии Риджа?

Лассо использует L1-штраф, который может обнулять коэффициенты, выполняя отбор признаков, в то время как Ридж использует L2-штраф, который сжимает коэффициенты, но не обнуляет их. На малых выборках или когда отбор нестабилен, Ридж является более безопасным выбором.

Что следует проверить после подгонки?

Проверить кривую MSE кросс-валидации для подтверждения выбранной лямбда, просмотреть, какие переменные были сохранены, а какие обнулены, и изучить остаточные графики на нормальность и гомогенность.

Похожие методы

Источники

  1. Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    Открыть ссылку DOI
    Скопировано.