Эластичная сеть
- Автор метода
- Zou, H. & Hastie, T.
- Год
- 2005
- Тип
- Regularized linear regression (L1 + L2 penalty)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Эластичная сеть — это метод регуляризованной линейной регрессии, представленный Зу и Хэсти в 2005 году, который сочетает в себе штрафы LASSO (L1) и Ridge (L2), поэтому он одновременно выполняет отбор признаков и сжатие коэффициентов.
Он предназначен для предиктивного и объяснительного моделирования на данных с множеством, возможно, коррелированных предикторов.
Интуиция метода
Обычная линейная регрессия может привести к переобучению и плохо ведет себя, когда предикторы коррелированы или признаков больше, чем наблюдений. LASSO может обнулять коэффициенты для отбора переменных, но испытывает трудности, когда группы предикторов коррелированы, в то время как Ridge плавно сжимает всех, но никогда не отбрасывает переменную. Эластичная сеть смешивает эти два подхода: она сохраняет способность LASSO устанавливать некоторые коэффициенты точно равными нулю, заимствуя стабильность Ridge, так что коррелированные предикторы обрабатываются более изящно, а не выбираются произвольно.
История
Эластичная сеть была представлена Хуэй Зу и Тревором Хэсти в 2005 году для преодоления двух известных недостатков LASSO: его непредсказуемого поведения при сильно коррелированных предикторах и его неспособности выбрать больше переменных, чем есть наблюдений. Добавляя член L2 в стиле Ridge к штрафу L1 LASSO, они получили оценщик, который одновременно отбирает переменные и стабилизирует решение, и он стал стандартным инструментом для высокоразмерной регрессии.
Когда применять
Используйте Эластичную сеть для прогнозирования или объяснения непрерывных, бинарных или счетных исходов, когда у вас много предикторов — особенно коррелированных или больше признаков, чем наблюдений — и вам нужен автоматический отбор переменных вместе со сжатием. Она предполагает приблизительно линейную зависимость и нормализацию признаков. Вам потребуется не менее 30 наблюдений, чтобы оба гиперпараметра могли быть настроены методом перекрестной проверки; при меньшем количестве данных безопаснее использовать обычный LASSO или Ridge.
Ограничения и замечания
- Предполагает приблизительно линейную зависимость между предикторами и исходом.
- Признаки должны быть нормализованы в первую очередь, иначе штраф несправедливо отдаст предпочтение переменным с большим масштабом.
- Два гиперпараметра (сила штрафа и соотношение L1/L2) должны быть настроены, что требует больше данных для перекрестной проверки, чем методы с одним штрафом.
- При малых выборках (n менее примерно 30) соотношение смешивания L1/L2 нестабильно для оптимизации.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Сочетает отбор переменных LASSO со сжатием Ridge в единой модели.
- Изящно обрабатывает коррелированные предикторы, тенденция сохранять или отбрасывать их как группы.
- Работает, когда количество признаков превышает количество наблюдений.
- Легкая по распределению: не требует нормально распределенных исходов и обрабатывает непрерывные, бинарные и счетные признаки.
Применение
- Высокоразмерная регрессия, где предикторы превосходят по количеству наблюдения.
- Геномные исследования и исследования биомаркеров с множеством коррелированных признаков.
- Предиктивное моделирование, требующее как отбора переменных, так и надежных коэффициентов.
- Объяснительное моделирование, где сжатие и отсечение коррелированных предикторов проясняют сигнал.
Как это работает
Как это работает
Модель подгоняет коэффициенты, минимизируя обычную ошибку квадратичных отклонений плюс комбинированный штраф: член L1, который приводит некоторые коэффициенты точно к нулю (отбор), и член L2, который плавно их сжимает (стабильность). Сила общего штрафа контролируется λ, а баланс между двумя штрафами — параметром смешивания (l1_ratio, здесь α).
Формула
\min_{\beta}\; \tfrac{1}{2n}\,\lVert y - X\beta \rVert_2^2 + \lambda\left( \alpha \lVert\beta\rVert_1 + \tfrac{1-\alpha}{2}\lVert\beta\rVert_2^2 \right)Два гиперпараметра управляют подгонкой — общая сила штрафа и соотношение смешивания L1/L2 — и они выбираются методом перекрестной проверки. Поскольку есть два настраиваемых параметра, а не один, Эластичной сети требуется достаточно данных (по крайней мере, около 30 наблюдений) для надежности сетки перекрестной проверки. Предикторы следует сначала стандартизировать, чтобы штраф применялся ко всем признакам в одинаковом масштабе.
Подогнанная модель возвращает разреженный набор коэффициентов: неважные предикторы обнуляются и отбрасываются, в то время как коррелированные предикторы имеют тенденцию сохраняться или отбрасываться как группа, а не один выбирается случайным образом. Оставшиеся коэффициенты, будучи сжатыми, дают более стабильную и обобщаемую модель, чем нештрафованная регрессия.
Частые ошибки
- Подгонка без предварительной стандартизации предикторов.
- Попытка настройки обоих гиперпараметров на слишком малом количестве наблюдений, что делает сетку перекрестной проверки ненадежной.
- Использование Эластичной сети, когда достаточно одного штрафа — LASSO, если нужен только отбор, Ridge, если нужно только сжатие.
- Интерпретация сжатых коэффициентов как несмещенных размеров эффекта.
Часто задаваемые вопросы
Чем Эластичная сеть отличается от LASSO и Ridge?
LASSO использует только штраф L1 (отбор, но нестабилен с коррелированными предикторами); Ridge использует только штраф L2 (стабильное сжатие, но никогда не отбрасывает переменные). Эластичная сеть смешивает оба, контролируемая соотношением смешивания, поэтому она отбирает переменные и остается стабильной с коррелированными признаками.
Нужно ли масштабировать мои признаки?
Да. Штраф действует на размер коэффициентов, поэтому признаки должны быть нормализованы в первую очередь; в противном случае переменные с большим масштабом штрафуются по-разному, и отбор становится смещенным.
Сколько наблюдений мне нужно?
Не менее 30. Эластичная сеть настраивает два гиперпараметра методом перекрестной проверки, поэтому ей требуется больше данных, чем методам с одним штрафом. При количестве менее 30 используйте обычный LASSO, если нужен отбор, или Ridge, если нужно сжатие.
Что контролируют два гиперпараметра?
Общая сила штрафа (λ) контролирует, насколько сжимаются коэффициенты, а соотношение смешивания (l1_ratio) устанавливает баланс между штрафом отбора L1 и штрафом сжатия L2. Оба выбираются методом перекрестной проверки.
Похожие методы
Источники
Zou, H. & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society: Series B, 67(2), 301–320.
Открыть ссылку DOIСкопировано.