Skip to content
Torna ai risultati

Regressione Lasso

Introdotto da
Tibshirani, R.
Anno
1996
Tipo
Regularized linear regression (L1 penalty)

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

La regressione Lasso, introdotta da Robert Tibshirani nel 1996, è un metodo di regressione lineare che aggiunge una penalità L1 alla funzione di perdita, in modo da ridurre i coefficienti ed eseguire contemporaneamente la selezione delle variabili, producendo un modello sparso.

Azzerando alcuni coefficienti, mantiene solo i predittori che contano.

L’intuizione alla base del metodo

La regressione ordinaria dei minimi quadrati adatta ogni predittore e può distribuire il peso su molte variabili correlate o irrilevanti, il che aumenta la varianza e nasconde quali caratteristiche guidano realmente l'esito. Lasso aggiunge un vincolo sulla dimensione totale dei coefficienti: man mano che questo vincolo si stringe, i predittori deboli vengono spinti fino a zero e rimossi dal modello. Il risultato è un insieme più piccolo e stabile di variabili, più facile da interpretare.

Storia

Lasso è stato introdotto da Robert Tibshirani nel 1996 come modo per combinare la riduzione dei coefficienti della regressione penalizzata con la selezione automatica delle variabili, utilizzando una penalità L1 sui coefficienti. È diventato una pietra miliare della statistica ad alta dimensionalità e ha motivato metodi correlati come la regressione ridge e la rete elastica, che scambiano o combinano penalità L1 e L2.

Quando usarlo

Adatto quando si desidera un modello lineare sparso e interpretabile per la predizione o la spiegazione, a partire da molti predittori continui, binari o di conteggio, e almeno circa 30 osservazioni. È particolarmente utile quando è presente multicollinearità (ad esempio VIF superiore a 10) e si desidera che il metodo stesso scelga quali variabili mantenere. Presuppone una relazione approssimativamente lineare e richiede la standardizzazione delle caratteristiche. Al di sotto di circa 30 osservazioni, la selezione delle variabili diventa instabile e la regressione ridge è più sicura; quando il numero di predittori supera la dimensione del campione, è preferibile la rete elastica.

Limiti e considerazioni

  • Presuppone una relazione lineare tra predittori ed esito.
  • Le caratteristiche devono essere standardizzate prima, altrimenti la penalità tratta in modo iniquo variabili su scale diverse.
  • Su campioni piccoli (n inferiore a circa 30) le variabili selezionate sono instabili e non riproducibili.
  • Quando il numero di predittori supera la dimensione del campione, può selezionare al massimo n variabili, quindi si preferisce la rete elastica.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Esegue la selezione delle variabili e la riduzione dei coefficienti in un unico adattamento, producendo un modello sparso e interpretabile.
  • Spinge i predittori deboli esattamente a zero, il che semplifica il modello e riduce l'overfitting.
  • Una risposta naturale alla multicollinearità (alto VIF) senza eliminare manualmente le variabili.
  • Non richiede dati normalmente distribuiti e gestisce predittori continui, binari e di conteggio.
  • Un solo parametro di tuning (lambda), che è semplice da impostare tramite cross-validation.

Applicazioni

  • Costruzione di modelli predittivi sparsi e interpretabili a partire da molti predittori candidati.
  • Selezione automatica delle variabili in presenza di multicollinearità (alto VIF).
  • Contesti ad alta dimensionalità in cui ci si aspetta che solo un sottoinsieme di caratteristiche sia rilevante.
  • Una baseline regolarizzata prima di provare la rete elastica o modelli più complessi.

Come funziona

Come funziona

1

Lasso minimizza la solita somma dei quadrati dei residui più una penalità pari a lambda volte la somma dei valori assoluti dei coefficienti. Questa penalità L1 è la caratteristica distintiva: maggiore è lambda, più i coefficienti vengono spinti verso zero.

Formula
\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \sum_j |\beta_j|
2

Poiché la penalità L1 presenta angoli acuti, fa più che semplicemente ridurre i coefficienti verso zero: li imposta esattamente a zero. Le variabili con coefficiente zero vengono effettivamente rimosse, quindi l'adattamento e la selezione delle variabili avvengono in un unico passaggio e il modello finale è sparso.

3

La forza della penalità lambda controlla il compromesso tra adattamento e sparsità, quindi viene scelta tramite cross-validation: si prova una gamma di valori di lambda e si conserva quello che minimizza l'errore quadratico medio cross-validato. Le caratteristiche devono essere standardizzate prima, in modo che l'unica penalità si applichi equamente ai predittori su scale diverse.

Errori comuni

  • Adattamento di Lasso senza standardizzare preventivamente le caratteristiche.
  • Scelta di lambda a mano invece di ottimizzarla con la cross-validation.
  • Fidarsi delle variabili selezionate su un campione molto piccolo dove la selezione è instabile.
  • Dimenticare di controllare i grafici dei residui per normalità e omogeneità dopo l'adattamento.
  • Ignorare che, con più predittori delle osservazioni, Lasso limita il numero di variabili selezionate.

Domande frequenti

Come viene scelto lambda?

Lambda controlla quanto fortemente vengono penalizzati i coefficienti. Viene selezionato tramite cross-validation: si prova una gamma di valori e si conserva quello che minimizza l'errore quadratico medio cross-validato.

Perché devo standardizzare le caratteristiche?

L'unica penalità L1 si applica equamente a ogni coefficiente, quindi i predittori misurati su scale più grandi sarebbero altrimenti penalizzati meno. Standardizzare prima le caratteristiche rende la penalità equa tra le variabili.

In che modo Lasso differisce dalla regressione ridge?

Lasso utilizza una penalità L1 che può impostare i coefficienti esattamente a zero, eseguendo la selezione delle variabili, mentre ridge utilizza una penalità L2 che riduce i coefficienti ma non li azzera. Su campioni piccoli o quando la selezione è instabile, ridge è la scelta più sicura.

Cosa dovrei controllare dopo l'adattamento?

Ispezionare la curva MSE di cross-validation per confermare il lambda scelto, rivedere quali variabili sono state mantenute rispetto a quelle azzerate, ed esaminare i grafici dei residui per normalità e omogeneità.

Metodi correlati

Fonti

  1. Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    Apri il riferimento DOI
    Copiato.