Skip to content
Voltar aos resultados

Regressão Ridge

Proposto por
Hoerl, A.E. & Kennard, R.W.
Ano
1970
Tipo
L2-regularized linear regression

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A Regressão Ridge é um método de regressão linear com regularização L2, introduzido por Arthur Hoerl e Robert Kennard em 1970, que reduz a multicolinearidade adicionando uma penalidade ao tamanho dos coeficientes.

Ela encolhe os coeficientes em direção a zero sem zerar nenhum deles exatamente, produzindo estimativas mais estáveis quando os preditores são altamente correlacionados.

A intuição por trás do método

Quando os preditores são fortemente correlacionados, os coeficientes de Mínimos Quadrados Ordinários (MQO) tornam-se instáveis e podem variar drasticamente de uma amostra para outra. A Regressão Ridge aceita deliberadamente uma pequena quantidade de viés em troca de uma variância muito menor: ao adicionar uma penalidade ao tamanho ao quadrado dos coeficientes, ela doma essas variações extremas e mantém todas as variáveis no modelo, apenas com pesos menores e mais estáveis.

História

A Regressão Ridge foi introduzida por Arthur E. Hoerl e Robert W. Kennard em 1970 como uma forma de obter estimativas enviesadas, porém mais estáveis, para problemas não ortogonais (colineares), onde os Mínimos Quadrados Ordinários falham. A ideia de adicionar uma penalidade L2 tornou-se uma ferramenta fundamental da regressão regularizada e um precursor direto de métodos posteriores como LASSO e Elastic Net, que combinam ou contrastam seu comportamento de encolhimento com a seleção explícita de variáveis.

Quando usar

Use Regressão Ridge para predição com preditores contínuos, binários ou de contagem quando a multicolinearidade estiver presente — por exemplo, quando um fator de inflação de variância exceder 10 — e você desejar manter todas as variáveis em vez de selecionar entre elas. Assume uma relação aproximadamente linear e pelo menos cerca de 30 observações. As variáveis preditoras devem ser padronizadas primeiro. Quando as amostras são pequenas e a colinearidade é leve, a regressão linear simples é mais interpretável; quando a seleção de variáveis é o objetivo, LASSO ou Elastic Net são preferíveis.

Limitações e considerações

  • Não realiza seleção de variáveis; não pode zerar preditores irrelevantes como o LASSO pode.
  • Requer que as variáveis preditoras sejam padronizadas, caso contrário, a penalidade favorece injustamente variáveis em escalas maiores.
  • Assume uma relação linear entre os preditores e o resultado.
  • Em amostras pequenas (n abaixo de cerca de 30), o ajuste de alfa por validação cruzada é não confiável e o MQO simples pode ser suficiente.
  • Quando a colinearidade não é realmente um problema, o encolhimento é desnecessário e reduz a interpretabilidade.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Reduz a multicolinearidade e estabiliza as estimativas dos coeficientes adicionando uma penalidade L2.
  • Mantém todos os preditores no modelo — os coeficientes encolhem, mas nenhum é zerado.
  • Diminui a variância ao custo de um pequeno e controlado aumento no viés, frequentemente melhorando a predição.
  • Possui um único hiperparâmetro (alfa) facilmente ajustável, escolhido por validação cruzada.
  • Funciona com preditores contínuos, binários e de contagem sem exigir dados com distribuição normal.

Aplicações

  • Predição com muitos preditores correlacionados onde a multicolinearidade inflaciona a variância do MQO.
  • Estabilização de coeficientes de regressão quando os fatores de inflação de variância são altos (VIF acima de 10).
  • Modelagem quando todos os preditores devem ser retidos em vez de selecionados.
  • Uma linha de base regularizada antes de comparar com LASSO ou Elastic Net.

Como funciona

Como funciona

1

Mínimos Quadrados Ordinários ajusta os coeficientes minimizando apenas o erro ao quadrado. Quando dois ou mais preditores são quase redundantes (multicolinearidade), isso deixa os coeficientes mal determinados e altamente sensíveis ao ruído. A Regressão Ridge aborda isso desencorajando coeficientes grandes, trocando um pouco de viés por muito mais estabilidade.

2

A Regressão Ridge minimiza a soma usual dos erros ao quadrado mais uma penalidade igual a uma constante de ajuste alfa multiplicada pela soma dos coeficientes ao quadrado. Essa penalidade L2 encolhe todos os coeficientes em direção a zero em proporção ao seu tamanho, mas, ao contrário do LASSO, nunca força nenhum coeficiente a ser exatamente zero, de modo que todos os preditores são retidos. A padronização das variáveis preditoras antecipadamente é necessária para que a penalidade trate cada preditor de forma justa.

Fórmula
\hat{\beta}^{\text{ridge}} = \arg\min_{\beta} \; \|y - X\beta\|^2 + \alpha \|\beta\|^2
3

A força da penalidade é controlada por alfa: valores maiores encolhem mais os coeficientes. O valor correto é escolhido por validação cruzada, tipicamente escaneando uma faixa de valores de alfa e selecionando aquele que minimiza o erro quadrático médio validado cruzado.

Erros comuns

  • Ajustar Regressão Ridge em variáveis preditoras brutas e não padronizadas, de modo que a penalidade distorça os coeficientes.
  • Escolher alfa manualmente em vez de selecioná-lo via validação cruzada.
  • Aplicar Regressão Ridge quando não existe multicolinearidade real, encolhendo coeficientes sem benefício.
  • Esperar seleção de variáveis — a Regressão Ridge mantém todas as variáveis, portanto, use LASSO ou Elastic Net se precisar de esparsidade.
  • Ignorar diagnósticos de resíduos (normalidade, homocedasticidade) após o ajuste.

Perguntas frequentes

Como a Regressão Ridge difere do LASSO?

Ambos adicionam uma penalidade para encolher os coeficientes, mas a Regressão Ridge usa uma penalidade L2 que encolhe os coeficientes em direção a zero sem nunca alcançá-lo, de modo que todos os preditores permanecem no modelo. O LASSO usa uma penalidade L1 que pode zerar coeficientes exatamente, realizando seleção de variáveis. Escolha Regressão Ridge para estabilizar preditores correlacionados e LASSO quando precisar de um modelo esparso.

Preciso padronizar minhas variáveis preditoras?

Sim. A padronização das variáveis preditoras é necessária, pois a penalidade L2 atua no tamanho dos coeficientes; sem padronização, a penalidade encolheria injustamente variáveis medidas em escalas maiores.

Como escolho a força da penalidade alfa?

Escolha alfa por validação cruzada: escaneie uma faixa de valores e selecione aquele que minimiza o erro quadrático médio validado cruzado. Plotar a curva de Erro Quadrático Médio (MSE) da Validação Cruzada (CV) em função de alfa mostra onde reside o ótimo.

Quando não devo usar Regressão Ridge?

Se não houver multicolinearidade real, a Regressão Ridge adiciona encolhimento desnecessário e uma regressão linear simples é mais interpretável. Com amostras muito pequenas (n abaixo de cerca de 30), o ajuste de alfa é não confiável, e se você precisar remover variáveis irrelevantes, deve usar LASSO ou Elastic Net em vez disso.

Métodos relacionados

Fontes

  1. Hoerl, A.E. & Kennard, R.W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1), 55–67.

    Abrir referência DOI
    Copiado.