Skip to content
Voltar aos resultados

Elastic Net

Proposto por
Zou, H. & Hastie, T.
Ano
2005
Tipo
Regularized linear regression (L1 + L2 penalty)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Elastic Net é um método de regressão linear regularizada introduzido por Zou e Hastie em 2005 que combina as penalidades LASSO (L1) e Ridge (L2), de modo que realiza seleção de variáveis e encolhimento de coeficientes simultaneamente.

Foi concebido para modelagem preditiva e explicativa em dados com muitos preditores, possivelmente correlacionados.

A intuição por trás do método

A regressão linear simples pode sofrer overfitting e comporta-se mal quando os preditores são correlacionados ou há mais características do que observações. O LASSO pode zerar coeficientes para selecionar variáveis, mas tem dificuldades quando grupos de preditores são correlacionados, enquanto o Ridge encolhe todos suavemente, mas nunca descarta uma variável. O Elastic Net mistura os dois: mantém a capacidade do LASSO de definir alguns coeficientes exatamente como zero, ao mesmo tempo que empresta a estabilidade do Ridge, de modo que preditores correlacionados são tratados graciosamente em vez de serem escolhidos arbitrariamente.

História

O Elastic Net foi introduzido por Hui Zou e Trevor Hastie em 2005 para superar duas fraquezas conhecidas do LASSO: seu comportamento errático quando os preditores são altamente correlacionados e sua incapacidade de selecionar mais variáveis do que o número de observações. Ao adicionar um termo L2 estilo Ridge à penalidade L1 do LASSO, eles produziram um estimador que seleciona variáveis e estabiliza a solução, e tornou-se uma ferramenta padrão para regressão de alta dimensão.

Quando usar

Use Elastic Net para predição ou explicação em resultados contínuos, binários ou de contagem quando você tem muitos preditores — especialmente os correlacionados ou mais características do que observações — e deseja seleção automática de variáveis juntamente com encolhimento. Assume uma relação aproximadamente linear e que as características foram normalizadas. Você precisa de pelo menos cerca de 30 observações para que ambos os hiperparâmetros possam ser ajustados por validação cruzada; abaixo disso, LASSO simples ou Ridge é mais seguro.

Limitações e considerações

  • Assume uma relação aproximadamente linear entre preditores e resultado.
  • As características devem ser normalizadas primeiro, ou a penalidade favorece injustamente variáveis de grande escala.
  • Dois hiperparâmetros (força da penalidade e razão L1/L2) devem ser ajustados, necessitando de mais dados de validação cruzada do que métodos de penalidade única.
  • Em amostras pequenas (n abaixo de cerca de 30) a razão de mistura L1/L2 é instável para otimizar.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Combina a seleção de variáveis do LASSO com o encolhimento do Ridge em um único modelo.
  • Trata preditores correlacionados graciosamente, tendendo a mantê-los ou descartá-los em grupos.
  • Funciona quando o número de características excede o número de observações.
  • Leve em distribuição: não requer resultados normalmente distribuídos e lida com características contínuas, binárias e de contagem.

Aplicações

  • Regressão de alta dimensão onde preditores superam observações.
  • Estudos genômicos e de biomarcadores com muitas características correlacionadas.
  • Modelagem preditiva que necessita de seleção de variáveis e coeficientes robustos.
  • Modelagem explicativa onde o encolhimento e a poda de preditores correlacionados clarificam o sinal.

Como funciona

Como funciona

1

O modelo ajusta os coeficientes minimizando a perda usual de erro quadrático mais uma penalidade combinada: um termo L1 que empurra alguns coeficientes para exatamente zero (seleção) e um termo L2 que os encolhe suavemente (estabilidade). A força da penalidade total é controlada por λ, e o equilíbrio entre as duas penalidades pelo parâmetro de mistura (l1_ratio, aqui escrito como α).

Fórmula
\min_{\beta}\; \tfrac{1}{2n}\,\lVert y - X\beta \rVert_2^2 + \lambda\left( \alpha \lVert\beta\rVert_1 + \tfrac{1-\alpha}{2}\lVert\beta\rVert_2^2 \right)
2

Dois hiperparâmetros governam o ajuste — a força da penalidade geral e a razão de mistura L1/L2 — e são escolhidos por validação cruzada. Como há dois botões para ajustar em vez de um, o Elastic Net precisa de dados suficientes (pelo menos cerca de 30 observações) para que a grade de validação cruzada seja confiável. Os preditores devem ser padronizados primeiro para que a penalidade trate cada característica na mesma escala.

3

O modelo ajustado retorna um conjunto esparso de coeficientes: preditores sem importância são levados a zero e descartados, enquanto preditores correlacionados tendem a ser mantidos ou removidos como um grupo, em vez de um ser escolhido aleatoriamente. Os coeficientes sobreviventes, tendo sido encolhidos, fornecem um modelo mais estável e generalizável do que a regressão não penalizada.

Erros comuns

  • Ajuste sem padronizar os preditores primeiro.
  • Tentar ajustar ambos os hiperparâmetros com poucas observações, tornando a grade de validação cruzada não confiável.
  • Buscar Elastic Net quando uma única penalidade é suficiente — LASSO sozinho se você só precisa de seleção, Ridge sozinho se você só precisa de encolhimento.
  • Interpretar coeficientes encolhidos como tamanhos de efeito não enviesados.

Perguntas frequentes

Como o Elastic Net difere do LASSO e do Ridge?

O LASSO usa apenas a penalidade L1 (seleção, mas instável com preditores correlacionados); o Ridge usa apenas a penalidade L2 (encolhimento estável, mas nunca descarta variáveis). O Elastic Net combina ambos, controlado por uma razão de mistura, de modo que seleciona variáveis e permanece estável com características correlacionadas.

Preciso escalar minhas características?

Sim. A penalidade atua no tamanho dos coeficientes, portanto, as características devem ser normalizadas primeiro; caso contrário, variáveis de grande escala são penalizadas de forma diferente e a seleção é enviesada.

Quantas observações eu preciso?

Pelo menos cerca de 30. O Elastic Net ajusta dois hiperparâmetros por validação cruzada, portanto, necessita de mais dados do que métodos de penalidade única. Abaixo de 30, use LASSO simples se precisar de seleção ou Ridge se precisar de encolhimento.

O que os dois hiperparâmetros controlam?

A força da penalidade geral (λ) controla o quanto os coeficientes são encolhidos, e a razão de mistura (l1_ratio) define o equilíbrio entre a penalidade de seleção L1 e a penalidade de encolhimento L2. Ambos são escolhidos por validação cruzada.

Métodos relacionados

Fontes

  1. Zou, H. & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society: Series B, 67(2), 301–320.

    Abrir referência DOI
    Copiado.