Skip to content
Torna ai risultati

Support Vector Machine (Classificazione)

Introdotto da
Cortes, C. & Vapnik, V.
Anno
1995
Tipo
Maximum-margin classifier (kernel method)

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

La Support Vector Machine (SVM), introdotta da Corinna Cortes e Vladimir Vapnik nel 1995, è un classificatore che trova l'iperpiano separatore ottimale tra le classi in uno spazio ad alta dimensionalità.

Sceglie il confine che lascia il margine più ampio possibile ai punti di addestramento più vicini, il che rende le sue decisioni robuste su nuovi dati.

L’intuizione alla base del metodo

Immaginate di separare due gruppi di punti con un confine rettilineo. Molte linee potrebbero farlo, ma la SVM cerca quella posizionata il più lontano possibile dai punti più vicini di ciascuna classe — la 'strada' più larga tra di esse. Solo quei punti più vicini, i vettori di supporto, definiscono effettivamente il confine; tutto ciò che è più lontano è irrilevante. Quando le classi non possono essere separate da una linea retta, un kernel rimodella lo spazio in modo che una separazione netta diventi possibile.

Storia

La Support Vector Machine è stata introdotta da Corinna Cortes e Vladimir Vapnik nel loro articolo del 1995 'Support-Vector Networks', che combinava l'idea del massimo margine con il kernel trick per gestire dati non linearmente separabili. Divenne uno dei metodi di classificazione più influenti della sua epoca e un benchmark standard per l'apprendimento supervisionato ad alta dimensionalità.

Quando usarlo

Utilizzare la SVM per la classificazione binaria o categorica su dati tabulari con circa 50 o più osservazioni, specialmente quando lo spazio delle feature è ad alta dimensionalità e l'accuratezza predittiva è più importante dei coefficienti espliciti. Non richiede dati distribuiti normalmente, ma le feature devono essere standardizzate e il kernel e C devono essere ottimizzati tramite cross-validation. Su campioni molto piccoli, preferire un classificatore più semplice come la regressione logistica o il naive Bayes.

Limiti e considerazioni

  • Sensibile alla scelta del kernel e del parametro C, che devono essere ottimizzati tramite cross-validation.
  • Richiede un'attenta standardizzazione delle feature; feature non scalate distorcono il margine.
  • Diventa instabile su campioni piccoli, dove ci sono troppo pochi vettori di supporto per definire un confine affidabile.
  • Non fornisce coefficienti direttamente interpretabili né stime di probabilità di classe native.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Efficace in spazi di feature ad alta dimensionalità, anche quando ci sono più feature della complessità del confine suggerirebbe.
  • Il principio del massimo margine e l'uso dei soli vettori di supporto conferiscono confini robusti e generalizzabili.
  • I kernel permettono di catturare confini di classe non lineari senza ingegnerizzare manualmente nuove feature.
  • Assunzioni limitate: non richiede dati distribuiti normalmente.

Applicazioni

  • Classificazione binaria e multiclasse su dati tabulari.
  • Problemi di classificazione ad alta dimensionalità dove le feature superano la capacità di un modello semplice.
  • Compiti predittivi dove un confine decisionale robusto e ben separato è più importante di coefficienti interpretabili.
  • Problemi con confini di classe non lineari, affrontati tramite funzioni kernel.

Come funziona

Come funziona

1

La SVM cerca l'iperpiano che separa le classi con il margine più ampio — la maggiore distanza dai punti dati più vicini su entrambi i lati. Quei punti più vicini sono i vettori di supporto, e solo essi determinano la posizione del confine. Un margine ampio tende a generalizzare meglio a dati non visti rispetto a un confine molto vicino ai punti di addestramento.

2

Quando le classi non sono linearmente separabili, una funzione kernel (ad esempio la radial basis function) mappa implicitamente le feature in uno spazio a dimensionalità superiore dove esiste un iperpiano separatore. Questo è il motivo per cui le feature devono prima essere standardizzate (è richiesto StandardScaler), e perché il kernel e il parametro di regolarizzazione C dovrebbero essere scelti tramite cross-validation.

3

Il confine viene trovato minimizzando l'obiettivo sopra indicato: riduce il vettore dei pesi (allargando il margine) pagando una penalità C per ogni punto che cade dalla parte sbagliata o all'interno del margine (lo slack ξ). Un C elevato richiede un adattamento stretto ai dati di addestramento; un C basso tollera più violazioni per un margine più ampio e più liscio. Con classi sbilanciate, class_weight='balanced' impedisce che la classe minoritaria venga ignorata.

Formula
\min_{w,b}\; \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i \xi_i

Errori comuni

  • Addestrare la SVM su feature grezze e non scalate invece di standardizzarle prima.
  • Accettare valori di kernel e C predefiniti piuttosto che selezionarli con cross-validation (ad esempio, grid search).
  • Ignorare lo sbilanciamento delle classi invece di impostare class_weight='balanced'.
  • Applicare la SVM su un campione inferiore a circa 50 osservazioni, dove il confine è instabile e incline all'overfitting.
  • Riportare solo l'accuratezza senza una matrice di confusione, precision/recall/F1 e ROC-AUC.

Domande frequenti

Perché devo standardizzare le feature?

La SVM misura le distanze dall'iperpiano separatore, quindi le feature su scale numeriche più grandi dominano il margine. Standardizzare ogni feature (StandardScaler) le pone su scale comparabili in modo che il confine rifletta la vera struttura di classe piuttosto che unità arbitrarie.

Cosa controlla il parametro C?

C scambia la larghezza del margine con gli errori di classificazione. Un C elevato impone un adattamento stretto ai dati di addestramento con un margine stretto; un C basso consente più violazioni del margine in cambio di un confine più ampio e liscio. Il valore corretto viene trovato tramite cross-validation.

A cosa serve il kernel?

Quando le classi non possono essere separate da un confine rettilineo, un kernel (come la radial basis function) mappa implicitamente i dati in uno spazio a dimensionalità superiore dove esiste un iperpiano separatore, permettendo alla SVM di modellare confini non lineari. La scelta del kernel dovrebbe essere validata tramite cross-validation.

Quando non dovrei usare la SVM?

Su campioni molto piccoli — al di sotto di circa 50 osservazioni — ci sono troppo pochi vettori di supporto per definire un confine stabile e non ci sono abbastanza dati per ottimizzare il kernel e C, quindi il modello rischia l'overfitting. In tal caso è preferibile un classificatore più semplice come la regressione logistica o il naive Bayes.

Metodi correlati

Fonti

  1. Cortes, C. & Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20, 273–297.

    Apri il riferimento DOI
    Copiato.