Regressione logistica regolarizzata
- Introdotto da
- Tibshirani, R. (lasso); Hoerl & Kennard (ridge); Zou & Hastie (elastic net)
- Anno
- 1996–2005
- Tipo
- Penalized classification model
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
La regressione logistica regolarizzata estende la regressione logistica standard aggiungendo una penalità L1 (lasso), L2 (ridge) o elastic net alla log-verosimiglianza, contraendo i coefficienti verso lo zero e prevenendo l'overfitting.
È la scelta predefinita per la classificazione binaria o multinomiale quando si desiderano stime dei coefficienti interpretabili, sparse o stabili in spazi di feature ad alta dimensionalità o collineari.
L’intuizione alla base del metodo
La regressione logistica standard massimizza la probabilità delle etichette di classe osservate. In contesti ad alta dimensionalità — molte feature, poche osservazioni o predittori correlati — i coefficienti stimati possono esplodere o fluttuare in modo selvaggio, causando una scarsa generalizzazione. La regolarizzazione vincola le magnitudini dei coefficienti aggiungendo una penalità che cresce con la dimensione del coefficiente, scambiando una piccola quantità di adattamento sul set di addestramento per una generalizzazione molto migliore. La penalità L1 porta alcuni coefficienti esattamente a zero (selezione automatica delle feature), la penalità L2 contrae tutti i coefficienti in modo fluido senza azzerarli, e l'elastic net fonde entrambi i comportamenti.
Storia
La regressione Ridge è stata formalizzata da Hoerl e Kennard nel 1970 e applicata a modelli lineari generalizzati, inclusa la regressione logistica. Il paper di Tibshirani sul lasso del 1996 ha introdotto la regolarizzazione L1 con soluzioni sparse, trasformando la modellazione ad alta dimensionalità. Zou e Hastie (2005) hanno combinato entrambe le penalità nell'elastic net, affrontando la limitazione del lasso con gruppi di feature correlate. Oggi, la regressione logistica regolarizzata è un algoritmo fondamentale in scikit-learn, glmnet (R) e LIBLINEAR, ed è routinariamente utilizzata come classificatore di benchmark nelle applicazioni biomediche e NLP.
Quando usarlo
Utilizzare la regressione logistica regolarizzata per la classificazione binaria o multinomiale quando si necessitano output probabilistici interpretabili, quando il numero di feature è elevato rispetto alla dimensione del campione, o quando i predittori sono correlati. È il modello di partenza preferito nella predizione clinica, nella classificazione di testi con feature bag-of-words e negli studi su biomarcatori ad alta dimensionalità. Scegliere L1 quando è necessaria la selezione automatica delle feature, L2 per stime stabili dei coefficienti, ed elastic net quando le feature arrivano in gruppi correlati. Evitarla quando la relazione esito-feature è altamente non lineare o quando ci sono forti effetti di interazione che la formulazione lineare dei log-odds non può catturare; ensemble di alberi o metodi kernel potrebbero quindi essere più appropriati.
Limiti e considerazioni
- Presuppone una relazione lineare tra le feature e i log-odds; non può catturare effetti non lineari o di interazione senza ingegneria manuale delle feature.
- Richiede che l'esito sia categorico; esiti continui necessitano di regressione lineare (non logistica).
- Le prestazioni degradano quando le feature rilevanti interagiscono fortemente, poiché il modello è additivo nei log-odds.
- Il lambda ottimale deve essere selezionato tramite cross-validation, aggiungendo calcolo e una fase di tuning.
- Dati gravemente sbilanciati tra le classi possono distorcere le probabilità predette verso la classe maggioritaria senza ricampionamento.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Produce probabilità di classe calibrate e coefficienti interpretabili e con segno, a differenza della maggior parte dei classificatori black-box.
- La penalità L1 esegue la selezione automatica delle feature, producendo modelli sparsi facili da riportare.
- Gestisce in modo robusto spazi di feature ad alta dimensionalità (p >> n) tramite la contrazione dei coefficienti.
- La penalità elastic net gestisce con grazia i gruppi di feature correlati, distribuendo il peso tra i predittori correlati.
- Molto veloce da addestrare anche su dataset di grandi dimensioni utilizzando solver a discesa delle coordinate; scala a milioni di osservazioni.
Applicazioni
- Punteggi di rischio clinico e classificatori diagnostici da pannelli di biomarcatori ad alta dimensionalità.
- Classificazione di testi con feature bag-of-words o TF-IDF, dove L1 produce pesi di parole sparsi interpretabili.
- Genomica e proteomica dove il numero di feature supera di gran lunga la dimensione del campione.
- Credit scoring e rilevamento frodi che richiedono output probabilistici per decisioni basate su soglia.
- Benchmark di classificazione di base prima di valutare modelli ensemble o deep learning più complessi.
Come funziona
Come funziona
Una combinazione lineare di feature predice il log-odds della classe positiva. La funzione sigmoide converte i log-odds in una probabilità tra 0 e 1, rendendo l'output direttamente interpretabile come probabilità di classe.
Formula
\log\frac{p}{1-p} = \mathbf{x}^\top\boldsymbol{\beta}L'obiettivo di ottimizzazione è la negazione della log-verosimiglianza (entropia incrociata) più un termine di penalità. La penalità scala con le magnitudini dei coefficienti, controllata dall'iperparametro lambda (forza) e alpha (mix L1/L2). Un lambda maggiore impone una contrazione più pesante; alpha=1 dà lasso puro, alpha=0 dà ridge puro.
Formula
\mathcal{L}(\boldsymbol{\beta}) = -\ell(\boldsymbol{\beta}) + \lambda\left[\alpha\|\boldsymbol{\beta}\|_1 + \tfrac{1-\alpha}{2}\|\boldsymbol{\beta}\|_2^2\right]La scelta della penalità determina il comportamento: L1 (lasso) produce soluzioni sparse azzerando le feature irrilevanti ed è preferita quando si desidera la selezione delle feature. L2 (ridge) è preferita quando si prevede che tutte le feature contribuiscano e la collinearità sia alta. L'elastic net (alpha tra 0 e 1) gestisce meglio i gruppi di feature correlate rispetto al solo lasso.
La perdita penalizzata viene minimizzata utilizzando algoritmi iterativi come la discesa delle coordinate (solver liblinear/saga di scikit-learn). Il lambda ottimale viene determinato tramite cross-validation, tipicamente su una griglia logaritmica. La standardizzazione delle feature prima dell'addestramento è essenziale in modo che la penalità venga applicata in modo coerente a tutti i predittori.
Le probabilità predette vengono convertite in etichette di classe utilizzando una soglia di decisione, tipicamente 0.5 per impostazione predefinita. In contesti sbilanciati la soglia dovrebbe essere ottimizzata per bilanciare precisione e richiamo in base alla struttura dei costi dell'applicazione.
Formula
\hat{y} = \mathbf{1}[\hat{p} \ge t]Errori comuni
- Addestramento senza standardizzazione delle feature: la penalità tratta tutti i coefficienti allo stesso modo, quindi feature con valori numerici grandi ricevono una contrazione proporzionalmente minore a meno che non vengano standardizzate, distorcendo la soluzione.
- Utilizzo della soglia predefinita di 0.5 senza verificare la calibrazione e lo sbilanciamento delle classi, il che degrada silenziosamente il richiamo sulla classe minoritaria.
- Riportare solo l'accuratezza invece di AUC, F1 e metriche di calibrazione, mascherando scarse prestazioni della classe minoritaria.
- Saltare la cross-validation per la selezione di lambda e invece valutare sui dati di addestramento, portando a modelli sovradattati.
- Interpretare i coefficienti selezionati da lasso come causali senza tenere conto del bias da variabile omessa e dell'instabilità della selezione delle variabili vicino al confine decisionale.
Domande frequenti
Come scelgo tra L1, L2 ed elastic net?
Utilizzare L1 quando si ritiene che solo un sottoinsieme di feature sia rilevante e si desidera una selezione automatica. Utilizzare L2 quando tutte le feature contribuiscono probabilmente o i predittori sono altamente correlati, poiché ridge distribuisce il peso tra gruppi correlati. Utilizzare elastic net quando si necessita di sparsità ma si hanno anche blocchi di feature correlate; ottimizzare alpha insieme a lambda tramite cross-validation annidata.
Devo standardizzare le feature prima dell'addestramento?
Sì, sempre. Il termine di penalità tratta tutti i coefficienti allo stesso modo, quindi una feature con valori numerici grandi riceverà una contrazione proporzionalmente minore a meno che non venga standardizzata. Centrare e scalare ogni feature a media zero e varianza unitaria prima dell'addestramento e applicare la stessa trasformazione ai dati di test.
Come viene scelto lambda?
Lambda è un iperparametro selezionato tramite cross-validation, tipicamente k-fold (k=5 o 10) su una griglia logaritmica. In glmnet di R, cv.glmnet automatizza questo processo. In scikit-learn, LogisticRegressionCV o GridSearchCV con cross-validation sulla forza di regolarizzazione inversa C (C=1/lambda) dovrebbero essere utilizzati.
La regressione logistica regolarizzata fornisce probabilità calibrate?
Generalmente sì, meglio degli ensemble di alberi, poiché la regressione logistica modella direttamente le probabilità di classe tramite la sigmoide. Tuttavia, una regolarizzazione estrema può comprimere le probabilità predette verso 0.5. Platt scaling o regressione isotonica possono ricalibrare se necessario.
Come gestisco lo sbilanciamento delle classi?
Impostare class_weight='balanced' (scikit-learn) in modo che le osservazioni della classe minoritaria ricevano un peso di perdita maggiore, o ricampionare manualmente il set di addestramento. Ottimizzare anche la soglia di decisione utilizzando la curva precision-recall invece di fissarla a 0.5.
Metodi correlati
Fonti
Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.
Apri il riferimento DOICopiato.Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 4, 18). Springer.
ISBN: 978-0-387-84857-0Copiato.