Skip to content
Torna ai risultati

Elastic Net

Introdotto da
Zou, H. & Hastie, T.
Anno
2005
Tipo
Regularized linear regression (L1 + L2 penalty)

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Elastic Net è un metodo di regressione lineare regolarizzato introdotto da Zou e Hastie nel 2005 che fonde le penalità LASSO (L1) e Ridge (L2), quindi esegue la selezione delle variabili e la contrazione dei coefficienti contemporaneamente.

È progettato per la modellazione predittiva e esplicativa su dati con molti predittori, possibilmente correlati.

L’intuizione alla base del metodo

La regressione lineare semplice può sovradattare e si comporta male quando i predittori sono correlati o ci sono più caratteristiche che osservazioni. LASSO può azzerare i coefficienti per selezionare le variabili ma fatica quando gruppi di predittori sono correlati, mentre Ridge contrae tutti uniformemente ma non elimina mai una variabile. Elastic Net mescola i due: mantiene la capacità di LASSO di impostare alcuni coefficienti esattamente a zero, prendendo in prestito la stabilità di Ridge in modo che i predittori correlati siano gestiti con grazia invece di essere scelti arbitrariamente.

Storia

Elastic Net è stato introdotto da Hui Zou e Trevor Hastie nel 2005 per superare due debolezze note di LASSO: il suo comportamento erratico quando i predittori sono altamente correlati e la sua incapacità di selezionare più variabili di quante siano le osservazioni. Aggiungendo un termine L2 in stile Ridge alla penalità L1 di LASSO, hanno prodotto uno stimatore che seleziona variabili e stabilizza la soluzione, ed è diventato uno strumento standard per la regressione ad alta dimensionalità.

Quando usarlo

Utilizzare Elastic Net per la predizione o la spiegazione su esiti continui, binari o di conteggio quando si hanno molti predittori — specialmente quelli correlati o più caratteristiche che osservazioni — e si desidera la selezione automatica delle variabili insieme alla contrazione. Presuppone una relazione approssimativamente lineare e che le caratteristiche siano state normalizzate. Sono necessarie almeno circa 30 osservazioni affinché entrambi gli iperparametri possano essere ottimizzati tramite cross-validation; al di sotto di tale soglia, LASSO semplice o Ridge sono più sicuri.

Limiti e considerazioni

  • Presuppone una relazione approssimativamente lineare tra predittori ed esito.
  • Le caratteristiche devono essere normalizzate prima, altrimenti la penalità favorisce ingiustamente le variabili su larga scala.
  • Due iperparametri (forza della penalità e rapporto di miscelazione L1/L2) devono essere ottimizzati, richiedendo più dati di cross-validation rispetto ai metodi a penalità singola.
  • Su campioni piccoli (n inferiore a circa 30) il rapporto di miscelazione L1/L2 è instabile da ottimizzare.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Combina la selezione delle variabili di LASSO con la contrazione di Ridge in un unico modello.
  • Gestisce i predittori correlati con grazia, tendendo a mantenerli o eliminarli come gruppi.
  • Funziona quando il numero di caratteristiche supera il numero di osservazioni.
  • Leggero in termini di distribuzione: non richiede esiti distribuiti normalmente e gestisce caratteristiche continue, binarie e di conteggio.

Applicazioni

  • Regressione ad alta dimensionalità dove i predittori superano le osservazioni.
  • Studi genomici e di biomarcatori con molte caratteristiche correlate.
  • Modellazione predittiva che richiede sia la selezione delle variabili che coefficienti robusti.
  • Modellazione esplicativa dove la contrazione e la potatura dei predittori correlati chiariscono il segnale.

Come funziona

Come funziona

1

Il modello adatta i coefficienti minimizzando la consueta perdita di errore quadratico più una penalità combinata: un termine L1 che spinge alcuni coefficienti esattamente a zero (selezione) e un termine L2 che li contrae uniformemente (stabilità). La forza della penalità totale è controllata da λ, e l'equilibrio tra le due penalità dal parametro di miscelazione (l1_ratio, scritto qui α).

Formula
\min_{\beta}\; \tfrac{1}{2n}\,\lVert y - X\beta \rVert_2^2 + \lambda\left( \alpha \lVert\beta\rVert_1 + \tfrac{1-\alpha}{2}\lVert\beta\rVert_2^2 \right)
2

Due iperparametri governano l'adattamento — la forza complessiva della penalità e il rapporto di miscelazione L1/L2 — e vengono scelti tramite cross-validation. Poiché ci sono due manopole da regolare anziché una, Elastic Net necessita di dati sufficienti (almeno circa 30 osservazioni) affinché la griglia di cross-validation sia affidabile. I predittori dovrebbero essere standardizzati prima in modo che la penalità tratti ogni caratteristica su una scala uguale.

3

Il modello adattato restituisce un insieme sparso di coefficienti: i predittori non importanti vengono spinti a zero ed eliminati, mentre i predittori correlati tendono ad essere mantenuti o rimossi insieme come gruppo piuttosto che uno scelto a caso. I coefficienti sopravvissuti, essendo stati contratti, forniscono un modello più stabile e generalizzabile rispetto alla regressione non penalizzata.

Errori comuni

  • Adattamento senza standardizzare prima i predittori.
  • Tentare di ottimizzare entrambi gli iperparametri su un numero troppo esiguo di osservazioni, rendendo la griglia di cross-validation inaffidabile.
  • Ricorrere a Elastic Net quando una singola penalità è sufficiente — LASSO da solo se si necessita solo di selezione, Ridge da solo se si necessita solo di contrazione.
  • Interpretare i coefficienti contratti come dimensioni dell'effetto non distorte.

Domande frequenti

In che modo Elastic Net differisce da LASSO e Ridge?

LASSO utilizza solo la penalità L1 (selezione ma instabile con predittori correlati); Ridge utilizza solo la penalità L2 (contrazione stabile ma non elimina mai variabili). Elastic Net fonde entrambi, controllato da un rapporto di miscelazione, quindi seleziona variabili e rimane stabile con caratteristiche correlate.

Devo scalare le mie caratteristiche?

Sì. La penalità agisce sulla dimensione dei coefficienti, quindi le caratteristiche devono essere normalizzate prima; altrimenti le variabili su larga scala vengono penalizzate diversamente e la selezione è distorta.

Quante osservazioni mi servono?

Almeno circa 30. Elastic Net ottimizza due iperparametri tramite cross-validation, quindi necessita di più dati rispetto ai metodi a penalità singola. Sotto i 30, usare LASSO semplice se si necessita di selezione o Ridge se si necessita di contrazione.

Cosa controllano i due iperparametri?

La forza complessiva della penalità (λ) controlla quanto vengono contratti i coefficienti, e il rapporto di miscelazione (l1_ratio) imposta l'equilibrio tra la penalità di selezione L1 e la penalità di contrazione L2. Entrambi sono scelti tramite cross-validation.

Metodi correlati

Fonti

  1. Zou, H. & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society: Series B, 67(2), 301–320.

    Apri il riferimento DOI
    Copiato.