Skip to content
Torna ai risultati

Regressione Logistica (ML)

Introdotto da
Cox, D. R.
Anno
1958
Tipo
Probabilistic linear classifier
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

La regressione logistica è un classificatore probabilistico fondamentale che modella il log-odds di un esito binario (o multinomiale) come funzione lineare dei predittori.

Introdotta da D. R. Cox nel 1958, rimane uno dei metodi di classificazione più utilizzati e interpretabili sia in statistica che in machine learning, apprezzato per le sue probabilità calibrate e la chiara interpretazione dei coefficienti.

L’intuizione alla base del metodo

La regressione logistica chiede: dati un insieme di caratteristiche, qual è la probabilità che un'osservazione appartenga a una particolare classe? Adatta una linea retta ai log-odds dell'esito, quindi comprime quel punteggio lineare attraverso una curva sigmoide (a forma di S) per produrre una probabilità tra 0 e 1. Il coefficiente di ogni predittore indica direttamente come una variazione unitaria di quella caratteristica sposta il log-odds della classe positiva, rendendo il modello altamente trasparente. Una probabilità prevista superiore a 0,5 viene classificata come classe positiva, sebbene questa soglia sia regolabile.

Storia

David Cox formalizzò la regressione logistica per esiti binari nel 1958, estendendo lavori precedenti sui modelli probit. Negli anni '70-'80 divenne il classificatore standard in epidemiologia e scienze sociali. Il quadro della massima verosimiglianza, esteso a esiti multinomiali e varianti regolarizzate, fu consolidato dal Lasso di Tibshirani (1996) e da The Elements of Statistical Learning di Hastie, Tibshirani e Friedman (2001). Oggi rimane il classificatore interpretabile canonico ed è la baseline richiesta in molte linee guida di peer-review.

Quando usarlo

Utilizzare la regressione logistica quando l'esito è binario o categorico, la dimensione del campione è almeno moderata (n > 10 eventi per predittore come regola generale) e sono richiesti coefficienti interpretabili o probabilità calibrate. È il classificatore di base predefinito nelle scienze sociali, in medicina e in epidemiologia e dovrebbe essere provato prima di modelli più complessi. Evitare quando il confine decisionale è fortemente non lineare, quando sarebbero necessari molti termini di interazione, o quando l'accuratezza predittiva su dati tabulari complessi è più importante dell'interpretabilità — in quei casi gli ensemble basati su alberi o le SVM tipicamente superano le sue prestazioni.

Limiti e considerazioni

  • Assume una relazione lineare tra le caratteristiche e il log-odds dell'esito; schemi non lineari richiedono ingegneria manuale delle caratteristiche o un modello non lineare.
  • Sensibile alla multicollinearità tra i predittori: caratteristiche correlate aumentano gli errori standard dei coefficienti e destabilizzano le stime.
  • Richiede un numero ragionevole di eventi per predittore (regola generale: almeno 10); classi di esito sparse causano problemi di convergenza e overfitting.
  • Può avere prestazioni inferiori rispetto ai metodi ensemble (random forest, gradient boosting) su dati tabulari complessi con molte interazioni.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Produce probabilità di classe calibrate, non solo etichette, che sono direttamente utilizzabili per il ranking e la definizione di soglie decisionali.
  • I coefficienti sono interpretabili come rapporti di log-odds, soddisfacendo gli standard attesi nella ricerca clinica, nelle scienze sociali e nelle politiche pubbliche.
  • Computazionalmente veloce ed efficiente in termini di memoria anche su grandi set di dati.
  • Varianti regolarizzate (Ridge, Lasso, Elastic Net) gestiscono caratteristiche ad alta dimensionalità ed eseguono la selezione automatica delle caratteristiche.
  • Assunzioni meno restrittive rispetto all'analisi discriminante: non richiede la normalità multivariata dei predittori.
  • Robusto e ben compreso; funge da baseline forte e credibile rispetto al quale confrontare modelli complessi.

Applicazioni

  • Diagnosi di malattie e punteggio di rischio clinico (ad es., predizione di riammissione o mortalità).
  • Rischio di credito e rilevamento frodi in finanza.
  • Modellazione binaria delle risposte ai sondaggi nelle scienze sociali e in epidemiologia.
  • Classificazione spam e sentiment come baseline testuale rapida e interpretabile.
  • Classificatore di base prima di implementare modelli ensemble più complessi.

Come funziona

Come funziona

1

Viene calcolata una somma ponderata di tutte le caratteristiche di input. Ogni caratteristica riceve un coefficiente (peso) che viene appreso dai dati; l'intercetta cattura il log-odds di base quando tutte le caratteristiche sono zero. Questo è identico nella forma alla regressione lineare, ma l'output viene interpretato come un punteggio di log-odds piuttosto che una predizione numerica diretta.

Formula
z = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
2

Il punteggio lineare viene trasformato dalla funzione sigmoide, che mappa qualsiasi numero reale nell'intervallo aperto (0, 1). Ciò fornisce una probabilità di classe ben calibrata. Per problemi multiclasse, la funzione softmax generalizza questo passaggio per produrre una distribuzione di probabilità su tutte le classi.

Formula
P(y=1|\mathbf{x}) = \sigma(z) = \frac{1}{1 + e^{-z}}
3

I parametri del modello sono stimati massimizzando la log-verosimiglianza delle etichette osservate date le probabilità previste. Ciò equivale a minimizzare la perdita di entropia incrociata binaria. A differenza dei minimi quadrati ordinari, non esiste una soluzione in forma chiusa: viene utilizzato un algoritmo di ottimizzazione iterativo (tipicamente Newton-Raphson o discesa del gradiente).

Formula
\ell(\boldsymbol{\beta}) = \sum_{i=1}^{n} \left[ y_i \log \hat{p}_i + (1-y_i) \log(1-\hat{p}_i) \right]
4

Un risolutore iterativo — come L-BFGS, Newton-Raphson o discesa del gradiente stocastico — aggiorna il vettore dei coefficienti fino alla convergenza. Termini di regolarizzazione (L1 o L2) possono essere aggiunti all'obiettivo per ridurre i coefficienti, prevenendo l'overfitting e abilitando la selezione automatica delle caratteristiche (L1 / Lasso).

5

La probabilità adattata viene confrontata con una soglia di classificazione (predefinita 0,5) per assegnare un'etichetta di classe. In contesti sbilanciati o quando i costi dei falsi positivi e dei falsi negativi differiscono, questa soglia dovrebbe essere ottimizzata utilizzando una curva precision-recall o un'analisi ROC piuttosto che lasciarla a 0,5.

Formula
\hat{y} = \mathbf{1}[\hat{p} \geq 0.5]

Errori comuni

  • Omissione di una suddivisione train/test o di una cross-validation e valutazione sui dati di addestramento, il che gonfia le prestazioni apparenti.
  • Utilizzo dell'accuratezza come unica metrica con classi sbilanciate invece di riportare AUC-ROC, F1 e una matrice di confusione.
  • Ignorare l'assunzione di linearità e applicare la regressione logistica a dati con confini di classe fortemente non lineari senza controlli diagnostici.
  • Mancata applicazione della regolarizzazione quando il numero di predittori è elevato rispetto alla dimensione del campione, con conseguente overfitting.
  • Non verificare la multicollinearità (tramite VIF) prima di interpretare le magnitudini dei coefficienti.

Domande frequenti

Quando dovrei preferire la regressione logistica a una random forest?

Quando sono necessarie probabilità calibrate, coefficienti interpretabili, o si devono soddisfare standard di reporting che richiedono espliciti rapporti di odds — come negli studi clinici o nella valutazione delle politiche. La random forest tipicamente raggiunge una maggiore accuratezza predittiva ma non fornisce un'interpretazione diretta dei coefficienti.

Di quante osservazioni ho bisogno?

Una regola generale ampiamente citata è di almeno 10 eventi (esiti positivi) per variabile predittore. Con meno eventi, le stime dei parametri diventano instabili e gli intervalli di confidenza inaffidabili. La regolarizzazione o la verosimiglianza penalizzata possono estendere leggermente l'intervallo utilizzabile.

Dovrei standardizzare le mie caratteristiche?

La standardizzazione delle caratteristiche non è necessaria per la predizione, ma è importante quando si confrontano le magnitudini dei coefficienti tra predittori o quando si utilizza la regolarizzazione (L1 o L2), poiché le penalità trattano tutti i coefficienti sulla stessa scala.

Qual è la differenza tra regressione logistica binaria e multinomiale?

La regressione logistica binaria modella un esito a due classi utilizzando la funzione sigmoide. La regressione logistica multinomiale (softmax) generalizza questo a tre o più classi non ordinate, stimando un set di coefficienti per classe rispetto a una classe di riferimento.

Come gestisco lo sbilanciamento delle classi?

Impostare class_weight='balanced' in scikit-learn per ripesare la funzione di perdita, o sovra-campionare la classe minoritaria (SMOTE). Valutare sempre con curve AUC-ROC e precision-recall invece che con l'accuratezza, e ottimizzare la soglia di classificazione su un set di validazione.

Metodi correlati

Fonti

  1. Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society, Series B, 20(2), 215–242.

    Apri il riferimento DOI
    Copiato.
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 4). Springer.

    ISBN: 978-1-4614-7138-7
    Copiato.