Skip to content
Назад к результатам поиска

Эластичная сеть

Автор метода
Zou, H. & Hastie, T.
Год
2005
Тип
Regularized linear regression (L1 + L2 penalty)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Эластичная сеть — это метод регуляризованной линейной регрессии, представленный Зу и Хэсти в 2005 году, который сочетает в себе штрафы LASSO (L1) и Ridge (L2), поэтому он одновременно выполняет отбор признаков и сжатие коэффициентов.

Он предназначен для предиктивного и объяснительного моделирования на данных с множеством, возможно, коррелированных предикторов.

Интуиция метода

Обычная линейная регрессия может привести к переобучению и плохо ведет себя, когда предикторы коррелированы или признаков больше, чем наблюдений. LASSO может обнулять коэффициенты для отбора переменных, но испытывает трудности, когда группы предикторов коррелированы, в то время как Ridge плавно сжимает всех, но никогда не отбрасывает переменную. Эластичная сеть смешивает эти два подхода: она сохраняет способность LASSO устанавливать некоторые коэффициенты точно равными нулю, заимствуя стабильность Ridge, так что коррелированные предикторы обрабатываются более изящно, а не выбираются произвольно.

История

Эластичная сеть была представлена Хуэй Зу и Тревором Хэсти в 2005 году для преодоления двух известных недостатков LASSO: его непредсказуемого поведения при сильно коррелированных предикторах и его неспособности выбрать больше переменных, чем есть наблюдений. Добавляя член L2 в стиле Ridge к штрафу L1 LASSO, они получили оценщик, который одновременно отбирает переменные и стабилизирует решение, и он стал стандартным инструментом для высокоразмерной регрессии.

Когда применять

Используйте Эластичную сеть для прогнозирования или объяснения непрерывных, бинарных или счетных исходов, когда у вас много предикторов — особенно коррелированных или больше признаков, чем наблюдений — и вам нужен автоматический отбор переменных вместе со сжатием. Она предполагает приблизительно линейную зависимость и нормализацию признаков. Вам потребуется не менее 30 наблюдений, чтобы оба гиперпараметра могли быть настроены методом перекрестной проверки; при меньшем количестве данных безопаснее использовать обычный LASSO или Ridge.

Ограничения и замечания

  • Предполагает приблизительно линейную зависимость между предикторами и исходом.
  • Признаки должны быть нормализованы в первую очередь, иначе штраф несправедливо отдаст предпочтение переменным с большим масштабом.
  • Два гиперпараметра (сила штрафа и соотношение L1/L2) должны быть настроены, что требует больше данных для перекрестной проверки, чем методы с одним штрафом.
  • При малых выборках (n менее примерно 30) соотношение смешивания L1/L2 нестабильно для оптимизации.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Сочетает отбор переменных LASSO со сжатием Ridge в единой модели.
  • Изящно обрабатывает коррелированные предикторы, тенденция сохранять или отбрасывать их как группы.
  • Работает, когда количество признаков превышает количество наблюдений.
  • Легкая по распределению: не требует нормально распределенных исходов и обрабатывает непрерывные, бинарные и счетные признаки.

Применение

  • Высокоразмерная регрессия, где предикторы превосходят по количеству наблюдения.
  • Геномные исследования и исследования биомаркеров с множеством коррелированных признаков.
  • Предиктивное моделирование, требующее как отбора переменных, так и надежных коэффициентов.
  • Объяснительное моделирование, где сжатие и отсечение коррелированных предикторов проясняют сигнал.

Как это работает

Как это работает

1

Модель подгоняет коэффициенты, минимизируя обычную ошибку квадратичных отклонений плюс комбинированный штраф: член L1, который приводит некоторые коэффициенты точно к нулю (отбор), и член L2, который плавно их сжимает (стабильность). Сила общего штрафа контролируется λ, а баланс между двумя штрафами — параметром смешивания (l1_ratio, здесь α).

Формула
\min_{\beta}\; \tfrac{1}{2n}\,\lVert y - X\beta \rVert_2^2 + \lambda\left( \alpha \lVert\beta\rVert_1 + \tfrac{1-\alpha}{2}\lVert\beta\rVert_2^2 \right)
2

Два гиперпараметра управляют подгонкой — общая сила штрафа и соотношение смешивания L1/L2 — и они выбираются методом перекрестной проверки. Поскольку есть два настраиваемых параметра, а не один, Эластичной сети требуется достаточно данных (по крайней мере, около 30 наблюдений) для надежности сетки перекрестной проверки. Предикторы следует сначала стандартизировать, чтобы штраф применялся ко всем признакам в одинаковом масштабе.

3

Подогнанная модель возвращает разреженный набор коэффициентов: неважные предикторы обнуляются и отбрасываются, в то время как коррелированные предикторы имеют тенденцию сохраняться или отбрасываться как группа, а не один выбирается случайным образом. Оставшиеся коэффициенты, будучи сжатыми, дают более стабильную и обобщаемую модель, чем нештрафованная регрессия.

Частые ошибки

  • Подгонка без предварительной стандартизации предикторов.
  • Попытка настройки обоих гиперпараметров на слишком малом количестве наблюдений, что делает сетку перекрестной проверки ненадежной.
  • Использование Эластичной сети, когда достаточно одного штрафа — LASSO, если нужен только отбор, Ridge, если нужно только сжатие.
  • Интерпретация сжатых коэффициентов как несмещенных размеров эффекта.

Часто задаваемые вопросы

Чем Эластичная сеть отличается от LASSO и Ridge?

LASSO использует только штраф L1 (отбор, но нестабилен с коррелированными предикторами); Ridge использует только штраф L2 (стабильное сжатие, но никогда не отбрасывает переменные). Эластичная сеть смешивает оба, контролируемая соотношением смешивания, поэтому она отбирает переменные и остается стабильной с коррелированными признаками.

Нужно ли масштабировать мои признаки?

Да. Штраф действует на размер коэффициентов, поэтому признаки должны быть нормализованы в первую очередь; в противном случае переменные с большим масштабом штрафуются по-разному, и отбор становится смещенным.

Сколько наблюдений мне нужно?

Не менее 30. Эластичная сеть настраивает два гиперпараметра методом перекрестной проверки, поэтому ей требуется больше данных, чем методам с одним штрафом. При количестве менее 30 используйте обычный LASSO, если нужен отбор, или Ridge, если нужно сжатие.

Что контролируют два гиперпараметра?

Общая сила штрафа (λ) контролирует, насколько сжимаются коэффициенты, а соотношение смешивания (l1_ratio) устанавливает баланс между штрафом отбора L1 и штрафом сжатия L2. Оба выбираются методом перекрестной проверки.

Похожие методы

Источники

  1. Zou, H. & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society: Series B, 67(2), 301–320.

    Открыть ссылку DOI
    Скопировано.