Skip to content
Voltar aos resultados

Regressão Linear (ML)

Proposto por
Legendre, A.-M. & Gauss, C.F.
Ano
1805–1809
Tipo
Supervised regression
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A regressão linear ajusta uma relação de linha reta entre uma ou mais características de entrada e um resultado numérico contínuo, minimizando a soma dos erros de previsão ao quadrado.

Como um modelo de aprendizado de máquina, é treinada em exemplos rotulados e avaliada em dados de validação, tornando-a a linha de base de aprendizado supervisionado mais simples para qualquer tarefa de regressão.

A intuição por trás do método

Imagine traçar a linha de melhor ajuste através de um gráfico de dispersão de pontos de dados. A regressão linear faz exatamente isso para muitos preditores de uma vez: ela encontra a combinação de pesos de características que minimiza a distância quadrada total entre as previsões da linha e os valores verdadeiros. Como a relação é expressa como uma simples soma ponderada de entradas, cada coeficiente informa diretamente o quanto o resultado previsto muda quando essa característica aumenta em uma unidade, mantendo todo o resto constante. Essa transparência torna a regressão linear excepcionalmente fácil de explicar e auditar, embora ela subajuste sempre que a relação verdadeira for curva ou envolver interações.

História

Os mínimos quadrados foram publicados independentemente por Legendre em 1805 e Gauss por volta de 1809. Em meados do século XX, a regressão linear havia se tornado a técnica fundamental da estatística aplicada. Sua reformulação como um modelo de aprendizado de máquina — treinado em exemplos, avaliado em dados de validação e regularizado para evitar o overfitting — deu-lhe uma segunda vida na modelagem preditiva, onde permanece a linha de base canônica de primeiro passo para qualquer problema de regressão.

Quando usar

Use a regressão linear quando o resultado é contínuo, a relação esperada entre preditores e resultado é aproximadamente linear e coeficientes interpretáveis são necessários. É a linha de base inicial correta antes de tentar modelos mais complexos, e um bom modelo final quando suas suposições são válidas. Não a use para resultados binários ou categóricos (use regressão logística em vez disso), quando fortes padrões não lineares ou interações dominam, ou quando o número de preditores excede o tamanho da amostra sem regularização.

Limitações e considerações

  • Assume uma relação linear; não capta curvas, limiares e interações, a menos que sejam codificados manualmente.
  • Sensível a outliers porque o quadrado dos erros amplifica a influência de pontos extremos.
  • A multicolinearidade entre preditores infla os erros padrão e desestabiliza as estimativas dos coeficientes.
  • Requer que os resíduos sejam aproximadamente normalmente distribuídos e homocedásticos para inferência válida.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Os coeficientes são diretamente interpretáveis: cada valor é um efeito marginal nas unidades do resultado.
  • Computacionalmente trivial — ajusta-se quase instantaneamente mesmo em grandes conjuntos de dados.
  • Fornece erros padrão e valores p, suportando testes de hipóteses formais.
  • Serve como a linha de base indispensável contra a qual modelos mais complexos devem ser comparados.
  • Funciona bem e é totalmente justificada quando a suposição de linearidade é válida.
  • Altamente compatível com extensões de regularização (Ridge, Lasso, Elastic Net) quando há muitos preditores.

Aplicações

  • Prever um resultado numérico contínuo a partir de características tabulares em qualquer domínio.
  • Estabelecer uma linha de base de desempenho antes de testar modelos de gradient-boosting ou redes neurais.
  • Estimar tamanhos de efeito e impactos marginais em estudos observacionais quando a linearidade é válida.
  • Previsão de demanda, modelagem de preços e estimativa de recursos em análises de negócios.
  • Modelagem exploratória rápida para identificar os preditores mais importantes antes de análises mais complexas.
  • Funções de pontuação interpretáveis em contextos onde a transparência do modelo é legal ou eticamente exigida.

Como funciona

Como funciona

1

O modelo expressa a previsão como uma soma ponderada de características de entrada mais um intercepto. A variável alvo deve ser contínua e numérica; as entradas categóricas devem ser codificadas como variáveis dummy ou numéricas antes do ajuste.

Fórmula
\hat{y} = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
2

Os mínimos quadrados ordinários encontram o vetor de coeficientes que minimiza a soma dos quadrados dos resíduos. Para conjuntos de dados de tamanho moderado, isso é resolvido analiticamente via equações normais; para conjuntos de dados muito grandes, são usados solucionadores iterativos ou gradiente descendente estocástico.

Fórmula
\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}
3

O R-quadrado (coeficiente de determinação) resume o quanto da variância no resultado o modelo explica. Ele é complementado pelo erro quadrático médio da raiz (RMSE) e pelo erro absoluto médio (MAE), que reportam os erros nas unidades originais do resultado.

Fórmula
R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}
4

O ajuste é avaliado em um conjunto de teste de validação ou por meio de validação cruzada k-fold para detectar overfitting. Gráficos de resíduos — resíduos versus valores ajustados e um gráfico Q-Q de resíduos — são inspecionados para verificar a linearidade, homocedasticidade e normalidade dos erros antes de confiar na inferência.

Erros comuns

  • Extrapolar previsões muito além do intervalo dos dados de treinamento, onde a aproximação linear se desfaz.
  • Ignorar diagnósticos de resíduos e assumir que o modelo é válido sem verificar os gráficos.
  • Incluir preditores altamente correlacionados sem abordar a multicolinearidade (verifique o VIF).
  • Confundir R-quadrado com precisão preditiva em novos dados — sempre avalie em um conjunto de validação.
  • Aplicar regressão linear a um resultado binário ou de contagem em vez de regressão logística ou de Poisson.

Perguntas frequentes

Qual a diferença entre regressão linear e regressão logística?

A regressão linear prevê um resultado contínuo diretamente. A regressão logística modela as chances logarítmicas (log-odds) de um resultado binário e produz probabilidades limitadas entre 0 e 1. Usar regressão linear para um resultado binário pode produzir previsões fora de [0, 1] e viola a suposição de variância constante.

Preciso padronizar minhas características?

A padronização não é necessária para previsões, mas torna os coeficientes diretamente comparáveis quando as características têm escalas muito diferentes. É especialmente recomendada ao usar variantes regularizadas como Ridge ou Lasso.

Como lidar com muitos preditores em relação ao tamanho da amostra?

Mude para regressão linear regularizada (Ridge para encolhimento, Lasso para esparsidade, Elastic Net para ambos). O OLS torna-se não confiável ou indefinido quando o número de preditores se aproxima ou excede o número de observações.

Quais gráficos de resíduos devo inspecionar?

No mínimo: (1) resíduos vs. valores ajustados para verificar padrões que sugerem não linearidade ou heterocedasticidade, e (2) um gráfico Q-Q de resíduos para avaliar a normalidade. Um gráfico de escala-localização e estatísticas de alavancagem/influência (distância de Cook) também são informativos.

Um R-quadrado alto é suficiente para declarar um bom modelo?

Não. O R-quadrado mede o ajuste dentro da amostra e pode ser inflado por preditores irrelevantes. Sempre relate o RMSE validado cruzadamente ou do conjunto de teste junto com o R-quadrado, e inspecione os diagnósticos de resíduos para confirmar que as suposições do modelo são satisfeitas.

Métodos relacionados

Fontes

  1. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed., Ch. 3). Springer.

    ISBN: 978-0-387-84858-7
    Copiado.
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 3). Springer.

    ISBN: 978-1-4614-7138-7
    Copiado.