Regressione Ridge
- Introdotto da
- Hoerl, A.E. & Kennard, R.W.
- Anno
- 1970
- Tipo
- L2-regularized linear regression
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
La Regressione Ridge è un metodo di regressione lineare regolarizzata L2, introdotto da Arthur Hoerl e Robert Kennard nel 1970, che riduce la multicollinearità aggiungendo una penalità alla dimensione dei coefficienti.
Restringe i coefficienti verso zero senza impostarne alcuno esattamente a zero, producendo stime più stabili quando i predittori sono altamente correlati.
L’intuizione alla base del metodo
Quando i predittori sono fortemente correlati, i coefficienti dei minimi quadrati ordinari diventano instabili e possono oscillare selvaggiamente da un campione all'altro. La Regressione Ridge accetta deliberatamente una piccola quantità di bias in cambio di una varianza molto più bassa: aggiungendo una penalità alla dimensione al quadrato dei coefficienti, doma queste oscillazioni selvagge e mantiene tutte le variabili nel modello, solo con pesi più piccoli e stabili.
Storia
La Regressione Ridge è stata introdotta da Arthur E. Hoerl e Robert W. Kennard nel 1970 come modo per ottenere stime distorte ma più stabili per problemi non ortogonali (collineari), dove i minimi quadrati ordinari falliscono. L'idea di aggiungere una penalità L2 è diventata uno strumento fondamentale della regressione regolarizzata e un precursore diretto di metodi successivi come LASSO ed Elastic Net, che combinano o contrastano il suo comportamento di restringimento con una selezione esplicita delle variabili.
Quando usarlo
Utilizzare la Regressione Ridge per la predizione con predittori continui, binari o di conteggio quando è presente multicollinearità — ad esempio quando un fattore di inflazione della varianza supera 10 — e si desidera mantenere tutte le variabili piuttosto che selezionarle. Presuppone una relazione approssimativamente lineare e almeno circa 30 osservazioni. Le feature devono essere standardizzate prima. Quando i campioni sono piccoli e la collinearità è lieve, la regressione lineare semplice è più interpretabile; quando l'obiettivo è la selezione delle variabili, LASSO o Elastic Net sono preferibili.
Limiti e considerazioni
- Non esegue selezione delle variabili; non può azzerare predittori irrilevanti come può fare LASSO.
- Richiede la standardizzazione delle feature, altrimenti la penalità favorisce ingiustamente le variabili su larga scala.
- Presuppone una relazione lineare tra predittori e outcome.
- Su campioni piccoli (n inferiore a circa 30) l'ottimizzazione di alpha tramite cross-validation è inaffidabile e la semplice OLS può essere sufficiente.
- Quando la collinearità non è un problema reale, il restringimento è non necessario e riduce l'interpretabilità.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Riduce la multicollinearità e stabilizza le stime dei coefficienti aggiungendo una penalità L2.
- Mantiene ogni predittore nel modello — i coefficienti si restringono ma nessuno viene azzerato.
- Riduce la varianza a costo di un piccolo e controllato aumento del bias, migliorando spesso la predizione.
- Ha un singolo iperparametro (alpha) facilmente ottimizzabile, scelto tramite cross-validation.
- Funziona con predittori continui, binari e di conteggio senza richiedere dati normalmente distribuiti.
Applicazioni
- Predizione con molti predittori correlati dove la multicollinearità aumenta la varianza OLS.
- Stabilizzazione dei coefficienti di regressione quando i fattori di inflazione della varianza sono alti (VIF superiore a 10).
- Modellazione quando tutti i predittori devono essere mantenuti piuttosto che selezionati.
- Una baseline regolarizzata prima del confronto con LASSO o Elastic Net.
Come funziona
Come funziona
I minimi quadrati ordinari adattano i coefficienti minimizzando da soli l'errore quadratico. Quando due o più predittori sono quasi ridondanti (multicollinearità), ciò lascia i coefficienti mal determinati e altamente sensibili al rumore. La Ridge affronta questo problema scoraggiando coefficienti grandi, scambiando un po' di bias per una maggiore stabilità.
La Ridge minimizza la solita somma degli errori quadratici più una penalità pari a una costante di tuning alpha moltiplicata per la somma dei coefficienti al quadrato. Questa penalità L2 restringe tutti i coefficienti verso zero in proporzione alla loro dimensione, ma a differenza di LASSO non forza mai alcun coefficiente esattamente a zero, quindi ogni predittore viene mantenuto. È necessaria la standardizzazione delle feature in anticipo in modo che la penalità tratti ogni predittore in modo equo.
Formula
\hat{\beta}^{\text{ridge}} = \arg\min_{\beta} \; \|y - X\beta\|^2 + \alpha \|\beta\|^2La forza della penalità è controllata da alpha: valori più grandi restringono maggiormente i coefficienti. Il valore corretto viene scelto tramite cross-validation, tipicamente scansionando un intervallo di alpha e scegliendo quello che minimizza l'errore quadratico medio cross-validato.
Errori comuni
- Adattamento della Ridge su feature grezze e non standardizzate in modo che la penalità distorca i coefficienti.
- Scelta di alpha a mano invece di selezionarlo tramite cross-validation.
- Applicazione della Ridge quando non esiste una reale multicollinearità, restringendo i coefficienti senza alcun beneficio.
- Aspettarsi una selezione delle variabili — la Ridge mantiene tutte le variabili, quindi ricorrere a LASSO o Elastic Net se si necessita di sparsità.
- Saltare la diagnostica dei residui (normalità, omoschedasticità) dopo l'adattamento.
Domande frequenti
Come si differenzia la Ridge da LASSO?
Entrambe aggiungono una penalità per restringere i coefficienti, ma la Ridge utilizza una penalità L2 che restringe i coefficienti verso zero senza mai raggiungerlo, quindi tutti i predittori rimangono nel modello. LASSO utilizza una penalità L1 che può impostare i coefficienti esattamente a zero, eseguendo la selezione delle variabili. Scegliere Ridge per stabilizzare predittori correlati e LASSO quando si necessita di un modello sparso.
Devo standardizzare le mie feature?
Sì. La standardizzazione delle feature è richiesta, poiché la penalità L2 agisce sulla dimensione dei coefficienti; senza standardizzazione la penalità restringerebbe ingiustamente le variabili misurate su scale più grandi.
Come scelgo la forza della penalità alpha?
Scegliere alpha tramite cross-validation: scansionare un intervallo di valori e scegliere quello che minimizza l'errore quadratico medio cross-validato. Il grafico della curva MSE CV rispetto ad alpha mostra dove si trova l'ottimo.
Quando non dovrei usare la Ridge?
Se non c'è reale multicollinearità, la Ridge aggiunge un restringimento non necessario e una regressione lineare semplice è più interpretabile. Con campioni molto piccoli (n inferiore a circa 30), l'ottimizzazione di alpha è inaffidabile, e se è necessario eliminare variabili irrilevanti si dovrebbe usare LASSO o Elastic Net invece.
Metodi correlati
Fonti
Hoerl, A.E. & Kennard, R.W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1), 55–67.
Apri il riferimento DOICopiato.