Regressão Logística Regularizada
- Proposto por
- Tibshirani, R. (lasso); Hoerl & Kennard (ridge); Zou & Hastie (elastic net)
- Ano
- 1996–2005
- Tipo
- Penalized classification model
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A regressão logística regularizada estende a regressão logística padrão adicionando uma penalidade L1 (lasso), L2 (ridge) ou elastic net à log-verossimilhança, encolhendo os coeficientes em direção a zero e prevenindo o overfitting.
É a escolha padrão para classificação binária ou multinomial quando se deseja estimativas de coeficientes interpretáveis, esparsas ou estáveis em espaços de características de alta dimensionalidade ou colineares.
A intuição por trás do método
A regressão logística padrão maximiza a probabilidade dos rótulos de classe observados. Em cenários de alta dimensionalidade — muitas características, poucas observações ou preditores correlacionados — os coeficientes estimados podem explodir ou flutuar descontroladamente, causando má generalização. A regularização restringe as magnitudes dos coeficientes adicionando uma penalidade que cresce com o tamanho do coeficiente, trocando uma pequena quantidade de ajuste ao conjunto de treinamento por uma generalização muito melhor. A penalidade L1 leva alguns coeficientes exatamente a zero (seleção automática de características), a penalidade L2 encolhe todos os coeficientes suavemente sem zerá-los, e o elastic net combina ambos os comportamentos.
História
A regressão Ridge foi formalizada por Hoerl e Kennard em 1970 e aplicada a modelos lineares generalizados, incluindo regressão logística. O artigo de Tibshirani sobre lasso em 1996 introduziu a regularização L1 com soluções esparsas, transformando a modelagem de alta dimensionalidade. Zou e Hastie (2005) combinaram ambas as penalidades no elastic net, abordando a limitação do lasso com grupos de características correlacionadas. Hoje, a regressão logística regularizada é um algoritmo fundamental no scikit-learn, glmnet (R) e LIBLINEAR, e é rotineiramente usada como classificador de referência em aplicações biomédicas e de PNL.
Quando usar
Use regressão logística regularizada para classificação binária ou multinomial quando precisar de saídas probabilísticas interpretáveis, quando o número de características for grande em relação ao tamanho da amostra, ou quando os preditores forem correlacionados. É o modelo inicial preferido em predição clínica, classificação de texto com características bag-of-words e estudos de biomarcadores de alta dimensionalidade. Escolha L1 quando a seleção automática de características for necessária, L2 para estimativa estável de coeficientes e elastic net quando as características chegam em grupos correlacionados. Evite-o quando a relação resultado-característica for altamente não linear ou quando houver fortes efeitos de interação que a formulação linear de log-odds não consiga capturar; conjuntos de árvores ou métodos de kernel podem ser mais apropriados.
Limitações e considerações
- Assume uma relação linear entre características e log-odds; não consegue capturar efeitos não lineares ou de interação sem engenharia manual de características.
- Requer que o resultado seja categórico; resultados contínuos precisam de regressão linear (não logística).
- O desempenho degrada quando características relevantes interagem fortemente, pois o modelo é aditivo em log-odds.
- O lambda ótimo deve ser selecionado por validação cruzada, adicionando computação e uma etapa de ajuste.
- Dados severamente desbalanceados de classe podem enviesar as probabilidades previstas em direção à classe majoritária sem reponderação.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Produz probabilidades de classe calibradas e coeficientes assinados interpretáveis, ao contrário da maioria dos classificadores de caixa preta.
- A penalidade L1 realiza seleção automática de características, gerando modelos esparsos que são fáceis de relatar.
- Lida robustamente com espaços de características de alta dimensionalidade (p >> n) através do encolhimento de coeficientes.
- A penalidade elastic net lida graciosamente com grupos de características correlacionadas, distribuindo o peso entre preditores relacionados.
- Muito rápido para ajustar mesmo em grandes conjuntos de dados usando solucionadores coordinate descent; escala para milhões de observações.
Aplicações
- Pontuações de risco clínico e classificadores diagnósticos de painéis de biomarcadores de alta dimensionalidade.
- Classificação de texto com características bag-of-words ou TF-IDF, onde L1 produz pesos de palavras esparsos interpretáveis.
- Genômica e proteômica onde o número de características excede vastamente o tamanho da amostra.
- Pontuação de crédito e detecção de fraude que exigem saídas de probabilidade para decisões baseadas em limiar.
- Benchmark de classificação de base antes de avaliar modelos de ensemble ou deep learning mais complexos.
Como funciona
Como funciona
Uma combinação linear de características prevê o log-odds da classe positiva. A função sigmoide converte o log-odds em uma probabilidade entre 0 e 1, tornando a saída diretamente interpretável como probabilidade de classe.
Fórmula
\log\frac{p}{1-p} = \mathbf{x}^\top\boldsymbol{\beta}O objetivo da otimização é a log-verossimilhança negativa (entropia cruzada) mais um termo de penalidade. A penalidade escala com as magnitudes dos coeficientes, controlada pelo hiperparâmetro lambda (força) e alpha (mistura L1/L2). Um lambda maior impõe um encolhimento mais pesado; alpha=1 resulta em lasso puro, alpha=0 resulta em ridge puro.
Fórmula
\mathcal{L}(\boldsymbol{\beta}) = -\ell(\boldsymbol{\beta}) + \lambda\left[\alpha\|\boldsymbol{\beta}\|_1 + \tfrac{1-\alpha}{2}\|\boldsymbol{\beta}\|_2^2\right]A escolha da penalidade determina o comportamento: L1 (lasso) produz soluções esparsas zerando características irrelevantes e é preferida quando a seleção de características é desejada. L2 (ridge) é preferida quando se espera que todas as características contribuam e a colinearidade é alta. O elastic net (alpha entre 0 e 1) lida melhor com grupos de características correlacionadas do que o lasso sozinho.
A perda penalizada é minimizada usando algoritmos iterativos como o coordinate descent (solucionadores liblinear/saga do scikit-learn). O lambda ótimo é determinado por validação cruzada, tipicamente sobre uma grade logarítmica. Padronizar as características antes do ajuste é essencial para que a penalidade seja aplicada consistentemente a todos os preditores.
As probabilidades previstas são convertidas em rótulos de classe usando um limiar de decisão, tipicamente 0.5 por padrão. Em cenários desbalanceados, o limiar deve ser ajustado para equilibrar precisão e recall de acordo com a estrutura de custo da aplicação.
Fórmula
\hat{y} = \mathbf{1}[\hat{p} \ge t]Erros comuns
- Ajuste sem padronizar características: a penalidade trata todos os coeficientes igualmente, então características em escalas diferentes recebem encolhimento desigual, distorcendo a solução.
- Usar o limiar padrão de 0.5 sem verificar a calibração e o balanceamento de classe, o que degrada silenciosamente o recall da classe minoritária.
- Relatar apenas acurácia em vez de AUC, F1 e métricas de calibração, mascarando o desempenho pobre da classe minoritária.
- Pular a validação cruzada para seleção de lambda e em vez disso avaliar nos dados de treinamento, levando a modelos com overfitting.
- Interpretar coeficientes selecionados por lasso como causais sem levar em conta o viés de variável omitida e a instabilidade da seleção de variáveis perto do limite de decisão.
Perguntas frequentes
Como escolho entre L1, L2 e elastic net?
Use L1 quando acreditar que apenas um subconjunto de características é relevante e você deseja seleção automática. Use L2 quando todas as características provavelmente contribuem ou os preditores são altamente correlacionados, pois o ridge distribui o peso entre grupos correlacionados. Use elastic net quando precisar de esparsidade, mas também tiver blocos de características correlacionadas; ajuste alpha junto com lambda via validação cruzada aninhada.
Preciso padronizar as características antes de ajustar?
Sim, sempre. O termo de penalidade trata todos os coeficientes igualmente, então uma característica com valores numéricos grandes receberá proporcionalmente menos encolhimento, a menos que seja padronizada. Centre e escale cada característica para média zero e variância unitária antes de ajustar e aplique a mesma transformação aos dados de teste.
Como o lambda é escolhido?
Lambda é um hiperparâmetro selecionado por validação cruzada, tipicamente k-fold (k=5 ou 10) sobre uma grade logarítmica. No glmnet do R, cv.glmnet automatiza isso. No scikit-learn, LogisticRegressionCV ou GridSearchCV com validação cruzada na força de regularização inversa C (C=1/lambda) devem ser usados.
A regressão logística regularizada fornece probabilidades calibradas?
Geralmente sim, melhor que ensembles de árvores, porque a regressão logística modela diretamente as probabilidades de classe via sigmoide. No entanto, regularização extrema pode comprimir as probabilidades previstas em direção a 0.5. Platt scaling ou regressão isotônica podem recalibrar se necessário.
Como lido com desbalanceamento de classe?
Defina class_weight='balanced' (scikit-learn) para que as observações da classe minoritária recebam um peso de perda maior, ou reamostre manualmente o conjunto de treinamento. Ajuste também o limiar de decisão usando a curva precisão-recall em vez de fixá-lo em 0.5.
Métodos relacionados
Fontes
Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.
Abrir referência DOICopiado.Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 4, 18). Springer.
ISBN: 978-0-387-84857-0Copiado.