Regressão Lasso
- Proposto por
- Tibshirani, R.
- Ano
- 1996
- Tipo
- Regularized linear regression (L1 penalty)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A regressão Lasso, introduzida por Robert Tibshirani em 1996, é um método de regressão linear que adiciona uma penalidade L1 à função de perda, de modo a encolher os coeficientes e realizar seleção de variáveis simultaneamente, produzindo um modelo esparso.
Ao zerar alguns coeficientes, ela mantém apenas os preditores que importam.
A intuição por trás do método
Mínimos quadrados ordinários ajusta todos os preditores e pode distribuir o peso entre muitas variáveis correlacionadas ou irrelevantes, o que infla a variância e oculta quais características realmente impulsionam o resultado. Lasso adiciona um orçamento ao tamanho total dos coeficientes: à medida que esse orçamento aperta, preditores fracos são empurrados até zero e eliminados do modelo. O resultado é um conjunto menor e mais estável de variáveis, mais fácil de interpretar.
História
Lasso foi introduzido por Robert Tibshirani em 1996 como uma forma de combinar o encolhimento da regressão penalizada com a seleção automática de variáveis, usando uma penalidade L1 nos coeficientes. Tornou-se um pilar da estatística de alta dimensionalidade e motivou métodos relacionados como a regressão ridge e a rede elástica, que trocam ou combinam penalidades L1 e L2.
Quando usar
Um bom ajuste quando se deseja um modelo linear esparso e interpretável para predição ou explicação a partir de muitos preditores contínuos, binários ou de contagem, e pelo menos cerca de 30 observações. É especialmente útil quando a multicolinearidade está presente (por exemplo, VIF acima de 10) e se deseja que o método escolha quais variáveis manter. Assume uma relação aproximadamente linear e requer que as características sejam padronizadas. Abaixo de cerca de 30 observações, a seleção de variáveis torna-se instável e a regressão ridge é mais segura; quando o número de preditores excede o tamanho da amostra, a rede elástica é preferível.
Limitações e considerações
- Assume uma relação linear entre preditores e resultado.
- As características devem ser padronizadas primeiro, caso contrário a penalidade trata variáveis em diferentes escalas de forma injusta.
- Em amostras pequenas (n abaixo de cerca de 30), as variáveis selecionadas são instáveis e não reproduzíveis.
- Quando o número de preditores excede o tamanho da amostra, ele pode selecionar no máximo n variáveis, portanto a rede elástica é preferível.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Realiza seleção de variáveis e encolhimento de coeficientes em um único ajuste, resultando em um modelo esparso e interpretável.
- Empurra preditores fracos exatamente para zero, o que simplifica o modelo e reduz o overfitting.
- Uma resposta natural à multicolinearidade (VIF alto) sem a necessidade de remover variáveis manualmente.
- Não requer dados normalmente distribuídos e lida com preditores contínuos, binários e de contagem.
- Apenas um parâmetro de ajuste (lambda), que é simples de definir por validação cruzada.
Aplicações
- Construção de modelos de predição esparsos e interpretáveis a partir de muitos preditores candidatos.
- Seleção automática de variáveis quando a multicolinearidade (VIF alto) está presente.
- Configurações de alta dimensionalidade onde apenas um subconjunto de características se espera que importe.
- Uma linha de base regularizada antes de tentar a rede elástica ou modelos mais complexos.
Como funciona
Como funciona
Lasso minimiza a soma usual dos resíduos quadrados mais uma penalidade igual a lambda vezes a soma dos valores absolutos dos coeficientes. Esta penalidade L1 é a característica definidora: quanto maior lambda, mais os coeficientes são puxados para zero.
Fórmula
\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \sum_j |\beta_j|Como a penalidade L1 tem cantos agudos, ela faz mais do que apenas encolher os coeficientes em direção a zero — ela os zera exatamente. Variáveis com coeficiente zero são efetivamente removidas, de modo que o ajuste e a seleção de variáveis ocorrem em uma única etapa e o modelo final é esparso.
A força da penalidade lambda controla o trade-off entre ajuste e esparsidade, sendo escolhida por validação cruzada: uma faixa de valores de lambda é testada e aquele que minimiza o erro quadrático médio validado cruzado é mantido. As características devem ser padronizadas primeiro para que a penalidade única se aplique de forma justa entre preditores em diferentes escalas.
Erros comuns
- Ajustar Lasso sem padronizar as características previamente.
- Escolher lambda manualmente em vez de ajustá-lo com validação cruzada.
- Confiar nas variáveis selecionadas em uma amostra muito pequena onde a seleção é instável.
- Esquecer de verificar os gráficos de resíduos quanto à normalidade e homogeneidade após o ajuste.
- Ignorar que, com mais preditores do que observações, Lasso limita o número de variáveis selecionadas.
Perguntas frequentes
Como lambda é escolhido?
Lambda controla o quão fortemente os coeficientes são penalizados. Ele é selecionado por validação cruzada: uma faixa de valores é testada e aquele que minimiza o erro quadrático médio validado cruzado é mantido.
Por que devo padronizar as características?
A penalidade L1 única se aplica igualmente a cada coeficiente, de modo que preditores medidos em escalas maiores seriam penalizados menos. Padronizar as características primeiro torna a penalidade justa entre as variáveis.
Como Lasso difere da regressão ridge?
Lasso usa uma penalidade L1 que pode zerar coeficientes exatamente, realizando seleção de variáveis, enquanto ridge usa uma penalidade L2 que encolhe os coeficientes, mas não os zera. Em amostras pequenas ou quando a seleção é instável, ridge é a escolha mais segura.
O que devo verificar após o ajuste?
Inspecionar a curva MSE de validação cruzada para confirmar o lambda escolhido, revisar quais variáveis foram mantidas versus zeradas, e examinar os gráficos de resíduos quanto à normalidade e homogeneidade.
Métodos relacionados
Fontes
Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.
Abrir referência DOICopiado.