Regressão Logística (ML)
- Proposto por
- Cox, D. R.
- Ano
- 1958
- Tipo
- Probabilistic linear classifier
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A regressão logística é um classificador probabilístico fundamental que modela as chances logarítmicas (log-odds) de um resultado binário (ou multinomial) como uma função linear dos preditores.
Introduzida por D. R. Cox em 1958, continua sendo um dos métodos de classificação mais amplamente utilizados e interpretáveis tanto em estatística quanto em aprendizado de máquina, valorizada por suas saídas de probabilidade calibradas e clara interpretação dos coeficientes.
A intuição por trás do método
A regressão logística pergunta: dado um conjunto de características, qual é a probabilidade de uma observação pertencer a uma classe particular? Ela ajusta uma linha reta às chances logarítmicas do resultado e, em seguida, comprime essa pontuação linear através de uma curva sigmoide (em forma de S) para produzir uma probabilidade entre 0 e 1. O coeficiente de cada preditor informa diretamente como uma mudança de uma unidade nessa característica desloca as chances logarítmicas da classe positiva, tornando o modelo altamente transparente. Uma probabilidade prevista acima de 0,5 é classificada como a classe positiva, embora esse limiar seja ajustável.
História
David Cox formalizou a regressão logística para resultados binários em 1958, estendendo trabalhos anteriores sobre modelos probit. Ao longo das décadas de 1970-1980, tornou-se o classificador padrão em epidemiologia e ciências sociais. A estrutura de máxima verossimilhança, estendida a resultados multinomial e variantes regularizadas, foi consolidada pelo Lasso de Tibshirani (1996) e por The Elements of Statistical Learning (2001) de Hastie, Tibshirani e Friedman. Hoje, continua sendo o classificador interpretável canônico e é a linha de base exigida em muitas diretrizes de revisão por pares.
Quando usar
Use a regressão logística quando o resultado for binário ou categórico, o tamanho da amostra for pelo menos moderado (n > 10 eventos por preditor como regra geral), e coeficientes interpretáveis ou probabilidades calibradas forem necessários. É o classificador de linha de base padrão em ciências sociais, medicina e epidemiologia e deve ser testado antes de modelos mais complexos. Evite quando o limite de decisão for fortemente não linear, quando muitos termos de interação seriam necessários, ou quando a precisão da previsão em dados tabulares complexos importar mais do que a interpretabilidade — nesses casos, conjuntos baseados em árvores ou SVMs geralmente a superam.
Limitações e considerações
- Assume uma relação linear entre as características e as chances logarítmicas do resultado; padrões não lineares exigem engenharia de características manual ou um modelo não linear.
- Sensível à multicolinearidade entre os preditores: características correlacionadas inflacionam os erros padrão dos coeficientes e desestabilizam as estimativas.
- Requer um número razoável de eventos por preditor (regra geral: pelo menos 10); classes de resultado esparsas causam problemas de convergência e sobreajuste.
- Pode ter desempenho inferior a métodos de conjunto (random forest, gradient boosting) em dados tabulares complexos com muitas interações.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Produz probabilidades de classe calibradas, não apenas rótulos, que são diretamente utilizáveis para ranqueamento e definição de limiares de decisão.
- Os coeficientes são interpretáveis como razões de chances logarítmicas, atendendo aos padrões esperados em pesquisas clínicas, de ciências sociais e de políticas públicas.
- Computacionalmente rápida e eficiente em termos de memória, mesmo em grandes conjuntos de dados.
- Variantes regularizadas (Ridge, Lasso, Elastic Net) lidam com características de alta dimensão e realizam seleção automática de características.
- Poucas suposições em relação à análise discriminante: não requer normalidade multivariada dos preditores.
- Robusta e bem compreendida; serve como uma linha de base forte e crível contra a qual modelos complexos devem ser comparados.
Aplicações
- Diagnóstico de doenças e pontuação de risco clínico (por exemplo, previsão de readmissão ou mortalidade).
- Risco de crédito e detecção de fraude em finanças.
- Modelagem de resposta a pesquisas binárias em ciências sociais e epidemiologia.
- Classificação de spam e sentimento como uma linha de base de texto rápida e interpretável.
- Classificador de linha de base antes de implantar modelos de conjunto mais complexos.
Como funciona
Como funciona
É calculada uma soma ponderada de todas as características de entrada. Cada característica recebe um coeficiente (peso) que é aprendido a partir dos dados; o intercepto captura as chances logarítmicas de base quando todas as características são zero. Isso é idêntico em forma à regressão linear, mas a saída é interpretada como uma pontuação de chances logarítmicas em vez de uma previsão numérica direta.
Fórmula
z = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
A pontuação linear é transformada pela função sigmoide, que mapeia qualquer número real para o intervalo aberto (0, 1). Isso fornece uma probabilidade de classe bem calibrada. Para problemas multiclasse, a função softmax generaliza esta etapa para produzir uma distribuição de probabilidade sobre todas as classes.
Fórmula
P(y=1|\mathbf{x}) = \sigma(z) = \frac{1}{1 + e^{-z}}Os parâmetros do modelo são estimados maximizando a verossimilhança logarítmica dos rótulos observados dadas as probabilidades previstas. Isso é equivalente a minimizar a perda de entropia cruzada binária. Ao contrário dos mínimos quadrados ordinários, não há solução de forma fechada: um algoritmo de otimização iterativo (tipicamente Newton–Raphson ou gradiente descendente) é usado.
Fórmula
\ell(\boldsymbol{\beta}) = \sum_{i=1}^{n} \left[ y_i \log \hat{p}_i + (1-y_i) \log(1-\hat{p}_i) \right]Um resolvedor iterativo — como L-BFGS, Newton–Raphson ou gradiente descendente estocástico — atualiza o vetor de coeficientes até a convergência. Termos de regularização (L1 ou L2) podem ser adicionados ao objetivo para encolher os coeficientes, prevenindo o sobreajuste e permitindo a seleção automática de características (L1 / Lasso).
A probabilidade ajustada é comparada a um limiar de classificação (padrão 0,5) para atribuir um rótulo de classe. Em configurações desequilibradas ou quando os custos de falsos positivos e falsos negativos diferem, esse limiar deve ser ajustado usando uma curva de precisão-recall ou análise ROC, em vez de ser mantido em 0,5.
Fórmula
\hat{y} = \mathbf{1}[\hat{p} \geq 0.5]Erros comuns
- Omitir a divisão treino/teste ou validação cruzada e avaliar nos dados de treinamento, o que infla o desempenho aparente.
- Usar a acurácia como única métrica com classes desequilibradas em vez de relatar AUC-ROC, F1 e uma matriz de confusão.
- Ignorar a suposição de linearidade e aplicar regressão logística a dados com limites de classe fortemente não lineares sem verificações diagnósticas.
- Não aplicar regularização quando o número de preditores é grande em relação ao tamanho da amostra, levando ao sobreajuste.
- Não verificar a multicolinearidade (via VIF) antes de interpretar as magnitudes dos coeficientes.
Perguntas frequentes
Quando devo preferir a regressão logística a uma random forest?
Quando você precisa de probabilidades calibradas, coeficientes interpretáveis ou deve satisfazer padrões de relatórios que exigem razões de chances explícitas — como em ensaios clínicos ou avaliação de políticas. A random forest geralmente alcança maior precisão preditiva, mas não oferece interpretação direta dos coeficientes.
Quantas observações eu preciso?
Uma regra geral amplamente citada é de pelo menos 10 eventos (resultados positivos) por variável preditora. Com menos eventos, as estimativas dos parâmetros tornam-se instáveis e os intervalos de confiança não confiáveis. A regularização ou verossimilhança penalizada pode estender um pouco o intervalo utilizável.
Devo padronizar minhas características?
A padronização das características não é necessária para a previsão, mas é importante ao comparar as magnitudes dos coeficientes entre os preditores ou ao usar regularização (L1 ou L2), porque as penalidades tratam todos os coeficientes na mesma escala.
Qual é a diferença entre regressão logística binária e multinomial?
A regressão logística binária modela um resultado de duas classes usando a função sigmoide. A regressão logística multinomial (softmax) generaliza isso para três ou mais classes não ordenadas, estimando um conjunto de coeficientes por classe em relação a uma classe de referência.
Como lidar com o desequilíbrio de classes?
Defina class_weight='balanced' no scikit-learn para reponderar a função de perda, ou faça sobreamostragem da classe minoritária (SMOTE). Sempre avalie com AUC-ROC e curvas de precisão-recall em vez de acurácia, e ajuste o limiar de classificação em um conjunto de validação.
Métodos relacionados
Fontes
Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society, Series B, 20(2), 215–242.
Abrir referência DOICopiado.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 4). Springer.
ISBN: 978-1-4614-7138-7Copiado.