Skip to content
Voltar aos resultados

Regressão Logística Regularizada

Proposto por
Tibshirani, R. (lasso); Hoerl & Kennard (ridge); Zou & Hastie (elastic net)
Ano
1996–2005
Tipo
Penalized classification model
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A regressão logística regularizada estende a regressão logística padrão adicionando uma penalidade L1 (lasso), L2 (ridge) ou elastic net à log-verossimilhança, encolhendo os coeficientes em direção a zero e prevenindo o overfitting.

É a escolha padrão para classificação binária ou multinomial quando se deseja estimativas de coeficientes interpretáveis, esparsas ou estáveis em espaços de características de alta dimensionalidade ou colineares.

A intuição por trás do método

A regressão logística padrão maximiza a probabilidade dos rótulos de classe observados. Em cenários de alta dimensionalidade — muitas características, poucas observações ou preditores correlacionados — os coeficientes estimados podem explodir ou flutuar descontroladamente, causando má generalização. A regularização restringe as magnitudes dos coeficientes adicionando uma penalidade que cresce com o tamanho do coeficiente, trocando uma pequena quantidade de ajuste ao conjunto de treinamento por uma generalização muito melhor. A penalidade L1 leva alguns coeficientes exatamente a zero (seleção automática de características), a penalidade L2 encolhe todos os coeficientes suavemente sem zerá-los, e o elastic net combina ambos os comportamentos.

História

A regressão Ridge foi formalizada por Hoerl e Kennard em 1970 e aplicada a modelos lineares generalizados, incluindo regressão logística. O artigo de Tibshirani sobre lasso em 1996 introduziu a regularização L1 com soluções esparsas, transformando a modelagem de alta dimensionalidade. Zou e Hastie (2005) combinaram ambas as penalidades no elastic net, abordando a limitação do lasso com grupos de características correlacionadas. Hoje, a regressão logística regularizada é um algoritmo fundamental no scikit-learn, glmnet (R) e LIBLINEAR, e é rotineiramente usada como classificador de referência em aplicações biomédicas e de PNL.

Quando usar

Use regressão logística regularizada para classificação binária ou multinomial quando precisar de saídas probabilísticas interpretáveis, quando o número de características for grande em relação ao tamanho da amostra, ou quando os preditores forem correlacionados. É o modelo inicial preferido em predição clínica, classificação de texto com características bag-of-words e estudos de biomarcadores de alta dimensionalidade. Escolha L1 quando a seleção automática de características for necessária, L2 para estimativa estável de coeficientes e elastic net quando as características chegam em grupos correlacionados. Evite-o quando a relação resultado-característica for altamente não linear ou quando houver fortes efeitos de interação que a formulação linear de log-odds não consiga capturar; conjuntos de árvores ou métodos de kernel podem ser mais apropriados.

Limitações e considerações

  • Assume uma relação linear entre características e log-odds; não consegue capturar efeitos não lineares ou de interação sem engenharia manual de características.
  • Requer que o resultado seja categórico; resultados contínuos precisam de regressão linear (não logística).
  • O desempenho degrada quando características relevantes interagem fortemente, pois o modelo é aditivo em log-odds.
  • O lambda ótimo deve ser selecionado por validação cruzada, adicionando computação e uma etapa de ajuste.
  • Dados severamente desbalanceados de classe podem enviesar as probabilidades previstas em direção à classe majoritária sem reponderação.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Produz probabilidades de classe calibradas e coeficientes assinados interpretáveis, ao contrário da maioria dos classificadores de caixa preta.
  • A penalidade L1 realiza seleção automática de características, gerando modelos esparsos que são fáceis de relatar.
  • Lida robustamente com espaços de características de alta dimensionalidade (p >> n) através do encolhimento de coeficientes.
  • A penalidade elastic net lida graciosamente com grupos de características correlacionadas, distribuindo o peso entre preditores relacionados.
  • Muito rápido para ajustar mesmo em grandes conjuntos de dados usando solucionadores coordinate descent; escala para milhões de observações.

Aplicações

  • Pontuações de risco clínico e classificadores diagnósticos de painéis de biomarcadores de alta dimensionalidade.
  • Classificação de texto com características bag-of-words ou TF-IDF, onde L1 produz pesos de palavras esparsos interpretáveis.
  • Genômica e proteômica onde o número de características excede vastamente o tamanho da amostra.
  • Pontuação de crédito e detecção de fraude que exigem saídas de probabilidade para decisões baseadas em limiar.
  • Benchmark de classificação de base antes de avaliar modelos de ensemble ou deep learning mais complexos.

Como funciona

Como funciona

1

Uma combinação linear de características prevê o log-odds da classe positiva. A função sigmoide converte o log-odds em uma probabilidade entre 0 e 1, tornando a saída diretamente interpretável como probabilidade de classe.

Fórmula
\log\frac{p}{1-p} = \mathbf{x}^\top\boldsymbol{\beta}
2

O objetivo da otimização é a log-verossimilhança negativa (entropia cruzada) mais um termo de penalidade. A penalidade escala com as magnitudes dos coeficientes, controlada pelo hiperparâmetro lambda (força) e alpha (mistura L1/L2). Um lambda maior impõe um encolhimento mais pesado; alpha=1 resulta em lasso puro, alpha=0 resulta em ridge puro.

Fórmula
\mathcal{L}(\boldsymbol{\beta}) = -\ell(\boldsymbol{\beta}) + \lambda\left[\alpha\|\boldsymbol{\beta}\|_1 + \tfrac{1-\alpha}{2}\|\boldsymbol{\beta}\|_2^2\right]
3

A escolha da penalidade determina o comportamento: L1 (lasso) produz soluções esparsas zerando características irrelevantes e é preferida quando a seleção de características é desejada. L2 (ridge) é preferida quando se espera que todas as características contribuam e a colinearidade é alta. O elastic net (alpha entre 0 e 1) lida melhor com grupos de características correlacionadas do que o lasso sozinho.

4

A perda penalizada é minimizada usando algoritmos iterativos como o coordinate descent (solucionadores liblinear/saga do scikit-learn). O lambda ótimo é determinado por validação cruzada, tipicamente sobre uma grade logarítmica. Padronizar as características antes do ajuste é essencial para que a penalidade seja aplicada consistentemente a todos os preditores.

5

As probabilidades previstas são convertidas em rótulos de classe usando um limiar de decisão, tipicamente 0.5 por padrão. Em cenários desbalanceados, o limiar deve ser ajustado para equilibrar precisão e recall de acordo com a estrutura de custo da aplicação.

Fórmula
\hat{y} = \mathbf{1}[\hat{p} \ge t]

Erros comuns

  • Ajuste sem padronizar características: a penalidade trata todos os coeficientes igualmente, então características em escalas diferentes recebem encolhimento desigual, distorcendo a solução.
  • Usar o limiar padrão de 0.5 sem verificar a calibração e o balanceamento de classe, o que degrada silenciosamente o recall da classe minoritária.
  • Relatar apenas acurácia em vez de AUC, F1 e métricas de calibração, mascarando o desempenho pobre da classe minoritária.
  • Pular a validação cruzada para seleção de lambda e em vez disso avaliar nos dados de treinamento, levando a modelos com overfitting.
  • Interpretar coeficientes selecionados por lasso como causais sem levar em conta o viés de variável omitida e a instabilidade da seleção de variáveis perto do limite de decisão.

Perguntas frequentes

Como escolho entre L1, L2 e elastic net?

Use L1 quando acreditar que apenas um subconjunto de características é relevante e você deseja seleção automática. Use L2 quando todas as características provavelmente contribuem ou os preditores são altamente correlacionados, pois o ridge distribui o peso entre grupos correlacionados. Use elastic net quando precisar de esparsidade, mas também tiver blocos de características correlacionadas; ajuste alpha junto com lambda via validação cruzada aninhada.

Preciso padronizar as características antes de ajustar?

Sim, sempre. O termo de penalidade trata todos os coeficientes igualmente, então uma característica com valores numéricos grandes receberá proporcionalmente menos encolhimento, a menos que seja padronizada. Centre e escale cada característica para média zero e variância unitária antes de ajustar e aplique a mesma transformação aos dados de teste.

Como o lambda é escolhido?

Lambda é um hiperparâmetro selecionado por validação cruzada, tipicamente k-fold (k=5 ou 10) sobre uma grade logarítmica. No glmnet do R, cv.glmnet automatiza isso. No scikit-learn, LogisticRegressionCV ou GridSearchCV com validação cruzada na força de regularização inversa C (C=1/lambda) devem ser usados.

A regressão logística regularizada fornece probabilidades calibradas?

Geralmente sim, melhor que ensembles de árvores, porque a regressão logística modela diretamente as probabilidades de classe via sigmoide. No entanto, regularização extrema pode comprimir as probabilidades previstas em direção a 0.5. Platt scaling ou regressão isotônica podem recalibrar se necessário.

Como lido com desbalanceamento de classe?

Defina class_weight='balanced' (scikit-learn) para que as observações da classe minoritária recebam um peso de perda maior, ou reamostre manualmente o conjunto de treinamento. Ajuste também o limiar de decisão usando a curva precisão-recall em vez de fixá-lo em 0.5.

Métodos relacionados

Fontes

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    Abrir referência DOI
    Copiado.
  2. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 4, 18). Springer.

    ISBN: 978-0-387-84857-0
    Copiado.