Skip to content
Назад к результатам поиска

Регуляризованная линейная регрессия

Автор метода
Hoerl & Kennard (Ridge, 1970); Tibshirani (Lasso, 1996); Zou & Hastie (Elastic Net, 2005)
Год
1970–2005
Тип
Penalized linear model
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Регуляризованная линейная регрессия добавляет штрафной член к целевой функции метода наименьших квадратов, сжимая или обнуляя коэффициенты для уменьшения переобучения и устранения мультиколлинеарности.

Три основных варианта — Ridge (штраф L2), Lasso (штраф L1) и Elastic Net (комбинация L1+L2) — делают линейную регрессию применимой даже тогда, когда число признаков превышает число наблюдений или предикторы сильно коррелированы.

Интуиция метода

Метод наименьших квадратов присваивает каждому предиктору коэффициент, который минимизирует ошибку на обучающей выборке, что может привести к чрезвычайно большим и нестабильным коэффициентам при коррелированных предикторах или при большом количестве признаков в наборе данных. Регуляризация сдвигает эти коэффициенты к нулю — строго, но справедливо — так, что модель теряет немного точности на этапе обучения в обмен на значительно лучшее обобщение. Ridge пропорционально сжимает все коэффициенты; Lasso идет дальше и может установить некоторые коэффициенты в ноль, фактически отбирая признаки; Elastic Net сочетает обе стратегии и работает, когда коррелированные предикторы необходимо сохранить вместе.

История

Регрессия Ridge была предложена Hoerl и Kennard в 1970 году как средство борьбы с мультиколлинеарностью в методе наименьших квадратов. В статье Tibshirani 1996 года о Lasso была добавлена регуляризация L1 и возможность сжатия коэффициентов до нуля, что сделало возможным автоматический отбор признаков. Zou и Hastie развили эти идеи в 2005 году с помощью Elastic Net, комбинируя штрафы L1 и L2 для обработки групп коррелированных предикторов. Эти три метода составляют канонический набор инструментов регуляризации для линейных моделей и являются основными в трудах Elements of Statistical Learning и An Introduction to Statistical Learning.

Когда применять

Используйте регуляризованную линейную регрессию при прогнозировании непрерывной зависимой переменной по множеству числовых признаков, при подозрении на мультиколлинеарность или когда число признаков велико по отношению к размеру выборки. Ridge является выбором по умолчанию, когда все признаки предположительно релевантны; Lasso или Elastic Net, когда требуется автоматический отбор признаков. Предпочитайте обычную (нештрафованную) линейную регрессию только тогда, когда признаков мало, они некоррелированы, а выборка велика. Не используйте ни один из линейных вариантов, когда зависимая переменная явно нелинейна, бинарна или категориальна — вместо этого используйте логистическую регрессию или древовидные методы.

Ограничения и замечания

  • Предполагает линейную зависимость между признаками и непрерывной целевой переменной; упускает нелинейные закономерности, если признаки не были созданы вручную.
  • Стандартизация признаков обязательна перед подгонкой; забывание этого шага искажает оценки коэффициентов.
  • Lasso плохо работает, когда существует много действительно релевантных коррелированных предикторов — он произвольно выбирает один и отбрасывает остальные; Elastic Net является более безопасным выбором в такой ситуации.
  • Ridge сохраняет все признаки и не создает разреженную модель, что может усложнить интерпретацию при очень высокой размерности пространства признаков.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Производит полностью интерпретируемые линейные коэффициенты с явными размерами эффектов и направлениями.
  • Грамотно обрабатывает мультиколлинеарность — Ridge перераспределяет коэффициенты между коррелированными предикторами; Lasso выбирает один из группы.
  • Lasso и Elastic Net выполняют встроенный отбор признаков, устанавливая нерелевантные коэффициенты в ноль.
  • Вычислительно эффективна даже на больших наборах данных; масштабируется до миллионов наблюдений с помощью координатного спуска.
  • Выбор lambda с помощью кросс-валидации хорошо поддерживается всеми основными статистическими пакетами (scikit-learn, glmnet, statsmodels).

Применение

  • Геномика и биоинформатика: прогнозирование непрерывных фенотипов по тысячам генетических маркеров, где p >> n.
  • Экономика и социальные науки: оценка влияния множества переменных политики на непрерывные зависимые переменные при контроле мультиколлинеарности.
  • Инженерия: прогнозирование физических величин по массивам датчиков с коррелированными измерениями.
  • Конвейер отбора признаков: Lasso или Elastic Net используются на предыдущем этапе для идентификации небольшого набора предикторов перед подгонкой более сложной модели.
  • Финансы: прогнозирование доходности или показателей риска по множеству макроэкономических и рыночных факторов.
  • Здравоохранение: прогнозирование непрерывных клинических исходов по большим панелям лабораторных показателей или признаков, полученных из изображений.

Как это работает

Как это работает

1

Перед подгонкой все предикторы стандартизируются (среднее ноль, единичная дисперсия). Это обязательно, поскольку штраф применяется одинаково ко всем коэффициентам — без стандартизации признаки с большими масштабами подвергались бы большему штрафу, искажая оценки коэффициентов.

2

Практик выбирает тип штрафа: Ridge использует сумму квадратов коэффициентов (норма L2), которая сжимает все коэффициенты, но никогда не обнуляет их. Lasso использует сумму абсолютных значений (норма L1), которая может обнулить некоторые коэффициенты, выполняя автоматический отбор признаков. Elastic Net линейно комбинирует L1 и L2, управляемый параметром смешивания alpha, и особенно полезен, когда несколько коррелированных предикторов являются релевантными.

Формула
\text{Ridge: } \lambda\sum_{j}\beta_j^2 \quad \text{Lasso: } \lambda\sum_{j}|\beta_j| \quad \text{Elastic Net: } \lambda_1\sum|\beta_j|+\lambda_2\sum\beta_j^2
3

Модель минимизирует штрафную целевую функцию — сумму квадратов остатков плюс выбранный штраф, масштабированный силой регуляризации lambda. Для Ridge существует аналитическое решение; Lasso и Elastic Net требуют координатного спуска или субградиентной оптимизации, поскольку штраф L1 не является дифференцируемым в нуле.

Формула
\hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} \left[ \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2 + \text{penalty}(\boldsymbol{\beta}) \right]
4

Сила регуляризации lambda является гиперпараметром, который должен быть настроен с помощью кросс-валидации, обычно по логарифмической сетке. Lambda, равное нулю, восстанавливает обычный метод наименьших квадратов; очень большое lambda заставляет все коэффициенты стремиться к нулю. Оптимальное lambda балансирует смещение и дисперсию для конкретного набора данных.

5

После фиксации lambda и оценки коэффициентов предсказание для новых наблюдений идентично обычному линейному регрессионному анализу: скалярное произведение признаков и оцененных коэффициентов. Модель остается полностью интерпретируемой с точки зрения линейных эффектов.

Формула
\hat{y} = \mathbf{x}^\top \hat{\boldsymbol{\beta}}

Частые ошибки

  • Подгонка без стандартизации предикторов, так что признаки с большими масштабами штрафуются больше, а коэффициенты не сравнимы.
  • Использование lambda по умолчанию вместо выбора его с помощью кросс-валидации — неправильное lambda либо недорегуляризует (близко к обычному методу наименьших квадратов), либо перерегуляризует (коэффициенты схлопываются к нулю).
  • Применение регуляризованной линейной регрессии к бинарной или счетной зависимой переменной, когда вместо нее следует использовать логистическую или пуассоновскую регрессию.
  • Представление результатов отбора переменных методом Lasso как подтверждающих — отбор Lasso чувствителен к набору данных и lambda, поэтому рассматривайте отобранные переменные как исследовательские.
  • Игнорирование предположения о линейности и представление плохо подогнанной регуляризованной модели без проверки остатков.

Часто задаваемые вопросы

Когда следует выбирать Ridge вместо Lasso?

Выбирайте Ridge, когда вы считаете, что большинство предикторов вносят вклад в результат, и хотите получить стабильные оценки коэффициентов, не обнуляя ни один из них — например, когда предикторы сильно коррелированы, и вы хотите сохранить их все. Выбирайте Lasso или Elastic Net, когда вы ожидаете, что многие признаки будут нерелевантны, и вам нужен автоматический отбор признаков.

Предоставляются ли все еще p-значения и доверительные интервалы?

Классические p-значения и стандартные ошибки недоступны напрямую из регуляризованной регрессии, поскольку оценки коэффициентов смещены по своей природе. Существуют методы пост-отборочного вывода (например, деспарасифицированный Lasso), но они редко используются на практике; вместо этого сообщаются бутстреп-доверительные интервалы или меры стабильности, полученные с помощью кросс-валидации.

Как выбрать силу регуляризации lambda?

Выберите lambda с помощью k-кратной кросс-валидации (обычно k = 5 или 10) по логарифмической сетке. Библиотеки, такие как RidgeCV и LassoCV в scikit-learn или glmnet в R, делают это автоматически. Укажите выбранное lambda и отметьте, было ли оно выбрано по минимальной ошибке кросс-валидации или по правилу одной стандартной ошибки.

Требует ли регуляризованная линейная регрессия нормально распределенных признаков?

Нет. Как и в случае обычного метода наименьших квадратов, предположение касается остатков (приблизительно нормальных, гомоскедастических), а не предикторов. Сильно скошенные или содержащие выбросы предикторы все еще могут искажать оценки, поэтому логарифмическое преобразование скошенных входных данных является распространенным шагом предварительной обработки.

Что такое Elastic Net и когда он предпочтительнее?

Elastic Net комбинирует штрафы L1 и L2, управляемые параметром смешивания alpha (alpha = 1 — чистый Lasso; alpha = 0 — чистый Ridge). Он предпочтителен, когда группы коррелированных предикторов являются релевантными — Lasso произвольно выберет один из группы и отбросит остальные, в то время как Elastic Net имеет тенденцию сохранять группу вместе.

Похожие методы

Источники

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    Открыть ссылку DOI
    Скопировано.
  2. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 3). Springer.

    ISBN: 978-0-387-84858-7
    Скопировано.