Skip to content
Torna ai risultati

Regressione Lineare Regolarizzata

Introdotto da
Hoerl & Kennard (Ridge, 1970); Tibshirani (Lasso, 1996); Zou & Hastie (Elastic Net, 2005)
Anno
1970–2005
Tipo
Penalized linear model
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

La regressione lineare regolarizzata aggiunge un termine di penalità all'obiettivo dei minimi quadrati ordinari, contraendo o azzerando i coefficienti per ridurre l'overfitting e gestire la multicollinearità.

Le tre varianti principali — Ridge (penalità L2), Lasso (penalità L1) ed Elastic Net (combinazione L1+L2) — rendono la regressione lineare utilizzabile anche quando le caratteristiche superano le osservazioni o i predittori sono altamente correlati.

L’intuizione alla base del metodo

I minimi quadrati ordinari assegnano a ciascun predittore esattamente il coefficiente che minimizza l'errore nel campione (in-sample), il che può produrre coefficienti ampi e instabili quando i predittori sono correlati o quando il set di dati ha molte caratteristiche. La regolarizzazione avvicina tali coefficienti allo zero — in modo deciso ma equo — in modo che il modello perda un po' di accuratezza di addestramento in cambio di una generalizzazione molto migliore. Ridge contrae tutti i coefficienti proporzionalmente; Lasso va oltre e può impostare alcuni coefficienti esattamente a zero, selezionando efficacemente le caratteristiche; Elastic Net combina entrambe le strategie e funziona quando i predittori correlati devono essere mantenuti insieme.

Storia

La regressione Ridge è stata introdotta da Hoerl e Kennard nel 1970 come rimedio alla multicollinearità nei minimi quadrati ordinari. Il paper di Tibshirani del 1996 su Lasso ha aggiunto la regolarizzazione L1 e la capacità di ridurre i coefficienti a zero esatto, rendendo possibile la selezione automatica delle caratteristiche. Zou e Hastie hanno esteso queste idee nel 2005 con Elastic Net, combinando le penalità L1 e L2 per gestire gruppi di predittori correlati. Questi tre metodi costituiscono il toolkit canonico di regolarizzazione per modelli lineari e sono pilastri di Elements of Statistical Learning e An Introduction to Statistical Learning.

Quando usarlo

Utilizzare la regressione lineare regolarizzata quando si predice un esito continuo da molte caratteristiche numeriche e si sospetta almeno una certa multicollinearità, o quando il numero di caratteristiche è elevato rispetto alla dimensione del campione. Ridge è la scelta predefinita quando tutte le caratteristiche sono plausibilmente rilevanti; Lasso o Elastic Net quando è necessaria la selezione automatica delle caratteristiche. Preferire la regressione lineare ordinaria (non penalizzata) solo quando le caratteristiche sono poche, non correlate e il campione è ampio. Non utilizzare alcuna variante lineare quando l'esito è chiaramente non lineare o quando è binario o categorico — utilizzare invece la regressione logistica o metodi basati su alberi.

Limiti e considerazioni

  • Presuppone una relazione lineare tra le caratteristiche e il target continuo; perde pattern non lineari a meno che le caratteristiche non vengano ingegnerizzate manualmente.
  • La standardizzazione delle caratteristiche è obbligatoria prima dell'addestramento; dimenticare questo passaggio distorce le stime dei coefficienti.
  • Lasso funziona male quando esistono molti predittori correlati veramente rilevanti — seleziona arbitrariamente uno ed elimina gli altri; Elastic Net è la scelta più sicura in tale contesto.
  • Ridge mantiene tutte le caratteristiche e non produce un modello sparso, il che può complicare l'interpretazione quando lo spazio delle caratteristiche è molto ad alta dimensionalità.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Produce coefficienti lineari pienamente interpretabili con dimensioni ed direzioni esplicite dell'effetto.
  • Gestisce la multicollinearità con grazia — Ridge ridistribuisce i coefficienti tra predittori correlati; Lasso ne seleziona uno da un gruppo.
  • Lasso ed Elastic Net eseguono una selezione delle caratteristiche integrata impostando a zero esatto i coefficienti irrilevanti.
  • Efficiente dal punto di vista computazionale anche su grandi set di dati; scala a milioni di osservazioni con coordinate descent.
  • La selezione di lambda tramite cross-validation è ben supportata in tutti i principali software statistici (scikit-learn, glmnet, statsmodels).

Applicazioni

  • Genomica e bioinformatica: predire fenotipi continui da migliaia di marcatori genetici dove p >> n.
  • Economia e scienze sociali: stimare gli effetti di molte variabili politiche su esiti continui controllando per la multicollinearità.
  • Ingegneria: predire quantità fisiche da array di sensori con misurazioni correlate.
  • Pipeline di selezione delle caratteristiche: Lasso o Elastic Net utilizzati a monte per identificare un piccolo set di predittori prima di addestrare un modello più complesso.
  • Finanza: previsione di rendimenti o misure di rischio da molti fattori macroeconomici e di mercato.
  • Sanità: predire esiti clinici continui da grandi pannelli di valori di laboratorio o caratteristiche derivate da immagini.

Come funziona

Come funziona

1

Prima dell'addestramento, tutti i predittori vengono standardizzati (media zero, varianza unitaria). Questo è obbligatorio perché la penalità si applica equamente a ogni coefficiente — senza standardizzazione, le caratteristiche su scale più ampie sarebbero penalizzate maggiormente, distorcendo le stime dei coefficienti.

2

Il professionista seleziona un tipo di penalità: Ridge utilizza la somma dei coefficienti al quadrato (norma L2), che contrae tutti i coefficienti ma non ne azzera mai nessuno. Lasso utilizza la somma dei valori assoluti (norma L1), che può ridurre alcuni coefficienti a zero esatto, eseguendo una selezione automatica delle caratteristiche. Elastic Net combina linearmente L1 e L2, controllato da un parametro di miscelazione alpha, ed è particolarmente utile quando diversi predittori correlati sono rilevanti.

Formula
\text{Ridge: } \lambda\sum_{j}\beta_j^2 \quad \text{Lasso: } \lambda\sum_{j}|\beta_j| \quad \text{Elastic Net: } \lambda_1\sum|\beta_j|+\lambda_2\sum\beta_j^2
3

Il modello minimizza l'obiettivo penalizzato — la somma dei quadrati dei residui più la penalità scelta scalata dalla forza di regolarizzazione lambda. Per Ridge esiste una soluzione in forma chiusa; Lasso ed Elastic Net richiedono ottimizzazione coordinate-descent o subgradient perché la penalità L1 non è differenziabile a zero.

Formula
\hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} \left[ \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2 + \text{penalty}(\boldsymbol{\beta}) \right]
4

La forza di regolarizzazione lambda è un iperparametro che deve essere ottimizzato tramite cross-validation, tipicamente su una griglia logaritmica. Un lambda pari a zero recupera i minimi quadrati ordinari; un lambda molto grande forza tutti i coefficienti verso zero. Il lambda ottimale bilancia bias e varianza per il set di dati specifico.

5

Una volta fissato lambda e stimate le coefficienti, la predizione per nuove osservazioni è identica a quella dei minimi quadrati ordinari: il prodotto scalare delle caratteristiche e delle coefficienti stimate. Il modello rimane pienamente interpretabile in termini di effetti lineari.

Formula
\hat{y} = \mathbf{x}^\top \hat{\boldsymbol{\beta}}

Errori comuni

  • Addestramento senza standardizzazione dei predittori, quindi le caratteristiche su scale più ampie vengono penalizzate di più e i coefficienti non sono comparabili.
  • Utilizzo del lambda predefinito invece di selezionarlo tramite cross-validation — un lambda errato o sottoregolarizza (vicino ai minimi quadrati ordinari) o sovraregolarizza (i coefficienti collassano a zero).
  • Applicare la regressione lineare regolarizzata a un esito binario o di conteggio quando invece dovrebbero essere utilizzate la regressione logistica o la regressione di Poisson.
  • Riportare i risultati di selezione delle variabili di Lasso come se fossero confermativi — la selezione di Lasso è sensibile al set di dati e a lambda, quindi trattare le variabili selezionate come esplorative.
  • Ignorare l'assunzione di linearità e riportare un modello regolarizzato con scarso adattamento senza controllare i residui.

Domande frequenti

Quando dovrei scegliere Ridge rispetto a Lasso?

Scegliere Ridge quando si ritiene che la maggior parte dei predittori contribuisca all'esito e si desiderano stime stabili dei coefficienti senza azzerarne alcuno — ad esempio, quando i predittori sono altamente correlati e si desidera mantenerli tutti. Scegliere Lasso o Elastic Net quando ci si aspetta che molte caratteristiche siano irrilevanti e si desidera una selezione automatica delle caratteristiche.

Ottengo ancora p-value e intervalli di confidenza?

I p-value classici e gli errori standard non sono disponibili direttamente dalla regressione penalizzata perché le stime dei coefficienti sono distorte per progettazione. Esistono metodi di inferenza post-selezione (ad esempio, il Lasso desparsificato) ma sono raramente utilizzati nella pratica; invece, vengono riportati intervalli di confidenza bootstrap o misure di stabilità tramite cross-validation.

Come scelgo la forza di regolarizzazione lambda?

Selezionare lambda tramite cross-validation k-fold (tipicamente k = 5 o 10) su una griglia logaritmica. Librerie come RidgeCV e LassoCV di scikit-learn o glmnet di R lo fanno automaticamente. Riportare il lambda scelto e notare se è stato selezionato dall'errore minimo di cross-validation o dalla regola del "one-standard-error".

La regressione lineare regolarizzata richiede caratteristiche normalmente distribuite?

No. Come i minimi quadrati ordinari, l'assunzione riguarda i residui (approssimativamente normali, omoscedastici), non i predittori. Predittori altamente asimmetrici o con molti outlier possono comunque distorcere le stime, quindi la trasformazione logaritmica degli input asimmetrici è un comune passo di pre-elaborazione.

Cos'è Elastic Net e quando è preferibile?

Elastic Net combina le penalità L1 e L2, controllate da un parametro di miscelazione alpha (alpha = 1 è Lasso puro; alpha = 0 è Ridge puro). È preferibile quando gruppi di predittori correlati sono tutti rilevanti — Lasso selezionerebbe arbitrariamente uno dal gruppo e scarterebbe gli altri, mentre Elastic Net tende a mantenere il gruppo unito.

Metodi correlati

Fonti

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    Apri il riferimento DOI
    Copiato.
  2. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 3). Springer.

    ISBN: 978-0-387-84858-7
    Copiato.