Skip to content
Voltar aos resultados

Regressão Linear Regularizada

Proposto por
Hoerl & Kennard (Ridge, 1970); Tibshirani (Lasso, 1996); Zou & Hastie (Elastic Net, 2005)
Ano
1970–2005
Tipo
Penalized linear model
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A regressão linear regularizada adiciona um termo de penalidade à função objetivo de mínimos quadrados ordinários, encolhendo ou zerando coeficientes para reduzir o overfitting e lidar com a multicolinearidade.

As três variantes principais — Ridge (penalidade L2), Lasso (penalidade L1) e Elastic Net (L1+L2 combinada) — tornam a regressão linear utilizável mesmo quando o número de características excede o de observações ou os preditores são altamente correlacionados.

A intuição por trás do método

Mínimos quadrados ordinários atribui a cada preditor exatamente o coeficiente que minimiza o erro na amostra, o que pode produzir coeficientes instáveis e excessivamente grandes quando os preditores são correlacionados ou quando o conjunto de dados possui muitas características. A regularização puxa esses coeficientes para perto de zero — firmemente, mas de forma justa — de modo que o modelo perca um pouco de precisão no treinamento em troca de uma generalização muito melhor. Ridge encolhe todos os coeficientes proporcionalmente; Lasso vai além e pode definir alguns como exatamente zero, selecionando efetivamente características; Elastic Net combina ambas as estratégias e funciona quando preditores correlacionados precisam ser mantidos juntos.

História

A regressão Ridge foi introduzida por Hoerl e Kennard em 1970 como um remédio para multicolinearidade em mínimos quadrados ordinários. O artigo de Tibshirani em 1996 sobre Lasso adicionou a regularização L1 e a capacidade de encolher coeficientes para exatamente zero, possibilitando a seleção automática de características. Zou e Hastie estenderam essas ideias em 2005 com Elastic Net, combinando penalidades L1 e L2 para lidar com grupos de preditores correlacionados. Esses três métodos formam o conjunto canônico de ferramentas de regularização para modelos lineares e são pilares de 'Elements of Statistical Learning' e 'An Introduction to Statistical Learning'.

Quando usar

Use regressão linear regularizada ao prever um desfecho contínuo a partir de muitas características numéricas e quando pelo menos alguma multicolinearidade é suspeita, ou quando o número de características é grande em relação ao tamanho da amostra. Ridge é a escolha padrão quando todas as características são plausivelmente relevantes; Lasso ou Elastic Net quando a seleção automática de características é necessária. Prefira regressão linear ordinária (não penalizada) apenas quando as características são poucas, não correlacionadas e a amostra é grande. Não use nenhuma variante linear quando o desfecho é claramente não linear ou quando é binário ou categórico — use regressão logística ou métodos baseados em árvores em vez disso.

Limitações e considerações

  • Assume uma relação linear entre as características e o alvo contínuo; perde padrões não lineares a menos que as características sejam criadas manualmente.
  • A padronização de características é obrigatória antes do ajuste; esquecer esta etapa distorce as estimativas dos coeficientes.
  • Lasso tem desempenho ruim quando muitos preditores correlacionados verdadeiramente relevantes existem — ele seleciona arbitrariamente um e descarta outros; Elastic Net é a escolha mais segura nesse cenário.
  • Ridge retém todas as características e não produz um modelo esparso, o que pode complicar a interpretação quando o espaço de características é de alta dimensionalidade.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Produz coeficientes lineares totalmente interpretáveis com tamanhos de efeito e direções explícitos.
  • Lida com multicolinearidade de forma elegante — Ridge redistribui coeficientes entre preditores correlacionados; Lasso seleciona um de um grupo.
  • Lasso e Elastic Net realizam seleção de características embutida ao definir coeficientes irrelevantes como exatamente zero.
  • Computacionalmente eficiente mesmo em grandes conjuntos de dados; escala para milhões de observações com descida de coordenadas.
  • A seleção de lambda por validação cruzada é bem suportada em todos os principais softwares estatísticos (scikit-learn, glmnet, statsmodels).

Aplicações

  • Genômica e bioinformática: prever fenótipos contínuos a partir de milhares de marcadores genéticos onde p >> n.
  • Economia e ciências sociais: estimar efeitos de muitas variáveis de política em desfechos contínuos enquanto se controla a multicolinearidade.
  • Engenharia: prever quantidades físicas a partir de arrays de sensores com medições correlacionadas.
  • Pipeline de seleção de características: Lasso ou Elastic Net usados a montante para identificar um pequeno conjunto de preditores antes de ajustar um modelo mais complexo.
  • Finanças: prever retornos ou medidas de risco a partir de muitos fatores macroeconômicos e de mercado.
  • Saúde: prever desfechos clínicos contínuos a partir de grandes painéis de valores de laboratório ou características derivadas de imagens.

Como funciona

Como funciona

1

Antes do ajuste, todos os preditores são padronizados (média zero, variância unitária). Isso é obrigatório porque a penalidade se aplica igualmente a cada coeficiente — sem padronização, características em escalas maiores seriam penalizadas mais pesadamente, distorcendo as estimativas dos coeficientes.

2

O profissional seleciona um tipo de penalidade: Ridge usa a soma dos coeficientes ao quadrado (norma L2), que encolhe todos os coeficientes, mas nunca zera nenhum. Lasso usa a soma dos valores absolutos (norma L1), que pode encolher alguns coeficientes para exatamente zero, realizando seleção automática de características. Elastic Net combina linearmente L1 e L2, controlada por um parâmetro de mistura alfa, e é particularmente útil quando vários preditores correlacionados são relevantes.

Fórmula
\text{Ridge: } \lambda\sum_{j}\beta_j^2 \quad \text{Lasso: } \lambda\sum_{j}|\beta_j| \quad \text{Elastic Net: } \lambda_1\sum|\beta_j|+\lambda_2\sum\beta_j^2
3

O modelo minimiza a função objetivo penalizada — soma dos quadrados dos resíduos mais a penalidade escolhida escalada pela força de regularização lambda. Para Ridge, isso tem uma solução de forma fechada; Lasso e Elastic Net requerem descida de coordenadas ou otimização subgradiente porque a penalidade L1 não é diferenciável em zero.

Fórmula
\hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} \left[ \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2 + \text{penalty}(\boldsymbol{\beta}) \right]
4

A força de regularização lambda é um hiperparâmetro que deve ser ajustado por validação cruzada, tipicamente em uma grade logarítmica. Um lambda de zero recupera mínimos quadrados ordinários; um lambda muito grande força todos os coeficientes para perto de zero. O lambda ótimo equilibra viés e variância para o conjunto de dados específico.

5

Uma vez que lambda é fixado e os coeficientes são estimados, a predição para novas observações é idêntica à regressão linear ordinária: o produto escalar das características e dos coeficientes estimados. O modelo permanece totalmente interpretável em termos de efeitos lineares.

Fórmula
\hat{y} = \mathbf{x}^\top \hat{\boldsymbol{\beta}}

Erros comuns

  • Ajuste sem padronizar preditores, de modo que características em escalas maiores sejam penalizadas mais e os coeficientes não sejam comparáveis.
  • Usar o lambda padrão em vez de selecioná-lo por validação cruzada — um lambda incorreto sub-regulariza (próximo a mínimos quadrados ordinários) ou super-regulariza (coeficientes colapsam para zero).
  • Aplicar regressão linear regularizada a um desfecho binário ou de contagem quando regressão logística ou regressão de Poisson deveriam ser usadas em vez disso.
  • Relatar resultados de seleção de variáveis do Lasso como se fossem confirmatórios — a seleção do Lasso é sensível ao conjunto de dados e ao lambda, portanto, trate as variáveis selecionadas como exploratórias.
  • Ignorar a suposição de linearidade e relatar um modelo regularizado de mau ajuste sem verificar os resíduos.

Perguntas frequentes

Quando devo escolher Ridge em vez de Lasso?

Escolha Ridge quando você acredita que a maioria dos preditores contribui para o desfecho e deseja estimativas de coeficientes estáveis sem zerar nenhum — por exemplo, quando os preditores são altamente correlacionados e você deseja mantê-los todos. Escolha Lasso ou Elastic Net quando você espera que muitas características sejam irrelevantes e deseja seleção automática de características.

Eu ainda obtenho p-valores e intervalos de confiança?

P-valores clássicos e erros padrão não estão disponíveis diretamente da regressão penalizada porque as estimativas dos coeficientes são enviesadas por design. Métodos de inferência pós-seleção (por exemplo, o Lasso dessparcificado) existem, mas raramente são usados na prática; em vez disso, intervalos de confiança de bootstrap ou medidas de estabilidade por validação cruzada são relatados.

Como escolho a força de regularização lambda?

Selecione lambda por validação cruzada k-fold (tipicamente k = 5 ou 10) em uma grade logarítmica. Bibliotecas como RidgeCV e LassoCV do scikit-learn ou glmnet do R fazem isso automaticamente. Relate o lambda escolhido e observe se ele foi selecionado pelo erro mínimo de validação cruzada ou pela regra de um desvio padrão.

A regressão linear regularizada requer características normalmente distribuídas?

Não. Assim como mínimos quadrados ordinários, a suposição é sobre os resíduos (aproximadamente normais, homoscedásticos), não sobre os preditores. Preditores altamente assimétricos ou com muitos outliers ainda podem distorcer as estimativas, portanto, a transformação logarítmica de entradas assimétricas é um passo comum de pré-processamento.

O que é Elastic Net e quando é preferível?

Elastic Net combina as penalidades L1 e L2, controladas por um parâmetro de mistura alfa (alfa = 1 é Lasso puro; alfa = 0 é Ridge puro). É preferível quando grupos de preditores correlacionados são todos relevantes — Lasso selecionaria arbitrariamente um do grupo e descartaria os outros, enquanto Elastic Net tende a manter o grupo junto.

Métodos relacionados

Fontes

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    Abrir referência DOI
    Copiado.
  2. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 3). Springer.

    ISBN: 978-0-387-84858-7
    Copiado.