Skip to content
Torna ai risultati

Regressione Lineare (ML)

Introdotto da
Legendre, A.-M. & Gauss, C.F.
Anno
1805–1809
Tipo
Supervised regression
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

La regressione lineare adatta una relazione lineare tra una o più caratteristiche di input e un risultato numerico continuo minimizzando la somma degli errori di predizione al quadrato.

Come modello di machine learning, viene addestrata su esempi etichettati e valutata su dati non utilizzati, rendendola la più semplice baseline di apprendimento supervisionato per qualsiasi attività di regressione.

L’intuizione alla base del metodo

Immaginate di tracciare la linea di migliore adattamento attraverso un grafico a dispersione di punti dati. La regressione lineare fa esattamente questo per molti predittori contemporaneamente: trova la combinazione di pesi delle caratteristiche che minimizza la distanza totale al quadrato tra le predizioni della linea e i valori veri. Poiché la relazione è espressa come una semplice somma pesata degli input, ogni coefficiente indica direttamente di quanto cambia il risultato previsto quando quella caratteristica aumenta di una unità, mantenendo costanti tutte le altre. Questa trasparenza rende la regressione lineare eccezionalmente facile da spiegare e verificare, anche se sottostimerà la realtà ogni volta che la relazione vera è curva o coinvolge interazioni.

Storia

I minimi quadrati furono pubblicati indipendentemente da Legendre nel 1805 e Gauss intorno al 1809. A metà del XX secolo, la regressione lineare era diventata la tecnica fondamentale della statistica applicata. La sua riformulazione come modello di machine learning — addestrato su esempi, valutato su dati separati e regolarizzato per prevenire l'overfitting — gli ha dato una seconda vita nella modellazione predittiva, dove rimane la prima baseline canonica per qualsiasi problema di regressione.

Quando usarlo

Utilizzare la regressione lineare quando il risultato è continuo, la relazione attesa tra predittori e risultato è approssimativamente lineare e sono necessari coefficienti interpretabili. È la giusta baseline iniziale prima di provare modelli più complessi, e un buon modello finale quando le sue assunzioni sono soddisfatte. Non usarla per risultati binari o categorici (usare la regressione logistica invece), quando dominano forti pattern non lineari o interazioni, o quando il numero di predittori supera la dimensione del campione senza regolarizzazione.

Limiti e considerazioni

  • Assume una relazione lineare; manca curve, soglie e interazioni a meno che non vengano codificate manualmente.
  • Sensibile agli outlier poiché elevare al quadrato gli errori amplifica l'influenza dei punti estremi.
  • La multicollinearità tra i predittori gonfia gli errori standard e destabilizza le stime dei coefficienti.
  • Richiede che i residui siano approssimativamente distribuiti normalmente e omoschedastici per un'inferenza valida.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • I coefficienti sono direttamente interpretabili: ogni valore è un effetto marginale nelle unità del risultato.
  • Computazionalmente banale — si adatta quasi istantaneamente anche su dataset di grandi dimensioni.
  • Fornisce errori standard e p-value, supportando test di ipotesi formali.
  • Serve come baseline indispensabile rispetto alla quale confrontare modelli più complessi.
  • Funziona bene ed è pienamente giustificata quando l'assunzione di linearità è soddisfatta.
  • Altamente compatibile con estensioni di regolarizzazione (Ridge, Lasso, Elastic Net) quando i predittori sono numerosi.

Applicazioni

  • Prevedere un risultato numerico continuo da caratteristiche tabulari in qualsiasi dominio.
  • Stabilire una baseline di prestazioni prima di testare modelli di gradient-boosting o reti neurali.
  • Stimare le dimensioni dell'effetto e gli impatti marginali in studi osservazionali quando la linearità è soddisfatta.
  • Previsione della domanda, modellazione dei prezzi e stima delle risorse nell'analisi aziendale.
  • Rapida modellazione esplorativa per identificare i predittori più importanti prima di analisi più complesse.
  • Funzioni di punteggio interpretabili in contesti in cui la trasparenza del modello è legalmente o eticamente richiesta.

Come funziona

Come funziona

1

Il modello esprime la predizione come una somma pesata delle caratteristiche di input più un'intercetta. La variabile target deve essere continua e numerica; gli input categorici devono essere codificati come variabili dummy o numeriche prima dell'addestramento.

Formula
\hat{y} = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
2

I minimi quadrati ordinari trovano il vettore di coefficienti che minimizza la somma residua dei quadrati. Per dataset di dimensioni moderate, questo viene risolto analiticamente tramite le equazioni normali; per dataset molto grandi vengono invece utilizzati risolutori iterativi o la discesa del gradiente stocastico.

Formula
\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}
3

R-quadro (coefficiente di determinazione) riassume quanta parte della varianza nel risultato il modello spiega. È completato dalla radice dell'errore quadratico medio (RMSE) e dall'errore assoluto medio (MAE), che riportano gli errori nelle unità originali del risultato.

Formula
R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}
4

L'adattamento viene valutato su un set di test separato o tramite validazione incrociata k-fold per rilevare l'overfitting. I grafici dei residui — residui rispetto ai valori adattati e un grafico Q-Q dei residui — vengono ispezionati per verificare linearità, omoschedasticità e normalità degli errori prima di fidarsi dell'inferenza.

Errori comuni

  • Estrapolare predizioni ben oltre l'intervallo dei dati di addestramento dove l'approssimazione lineare fallisce.
  • Ignorare le diagnosi dei residui e presumere che il modello sia valido senza controllare i grafici.
  • Includere predittori altamente correlati senza affrontare la multicollinearità (controllare VIF).
  • Confondere R-quadro con accuratezza predittiva su nuovi dati — valutare sempre su un set separato.
  • Applicare la regressione lineare a un risultato binario o di conteggio invece della regressione logistica o di Poisson.

Domande frequenti

In cosa differisce la regressione lineare dalla regressione logistica?

La regressione lineare predice direttamente un risultato continuo. La regressione logistica modella il log-odds di un risultato binario e restituisce probabilità comprese tra 0 e 1. L'uso della regressione lineare per un risultato binario può produrre predizioni al di fuori di [0, 1] e viola l'assunzione di varianza costante.

Devo standardizzare le mie caratteristiche?

La standardizzazione non è richiesta per le predizioni, ma rende i coefficienti direttamente comparabili quando le caratteristiche hanno scale molto diverse. È particolarmente raccomandata quando si utilizzano varianti regolarizzate come Ridge o Lasso.

Come gestisco molti predittori rispetto alla dimensione del campione?

Passare alla regressione lineare regolarizzata (Ridge per la contrazione, Lasso per la sparsità, Elastic Net per entrambi). OLS diventa inaffidabile o indefinito quando il numero di predittori si avvicina o supera il numero di osservazioni.

Quali grafici dei residui dovrei ispezionare?

Come minimo: (1) residui vs. valori adattati per verificare pattern che suggeriscono non linearità o eteroschedasticità, e (2) un grafico Q-Q dei residui per valutare la normalità. Un grafico scala-locazione e statistiche di leva/influenza (distanza di Cook) sono anch'essi informativi.

Un R-quadro elevato è sufficiente per dichiarare un buon modello?

No. R-quadro misura l'adattamento nel campione e può essere gonfiato da predittori irrilevanti. Riportare sempre RMSE validato incrociato o sul set di test insieme a R-quadro, e ispezionare le diagnosi dei residui per confermare che le assunzioni del modello siano soddisfatte.

Metodi correlati

Fonti

  1. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed., Ch. 3). Springer.

    ISBN: 978-0-387-84858-7
    Copiato.
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 3). Springer.

    ISBN: 978-1-4614-7138-7
    Copiato.