Skip to content
Torna ai risultati

Regressione con Vettori di Supporto

Introdotto da
Smola, A.J. & Schölkopf, B.
Anno
2004
Tipo
Kernel-based supervised model (epsilon-insensitive regression)

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

La Regressione con Vettori di Supporto (Support Vector Regression, SVR), descritta nel tutorial di Smola e Schölkopf del 2004, predice un esito continuo adattando una funzione che rimanga entro un tubo di ampiezza epsilon attorno ai dati, minimizzando al contempo l'errore.

Estende l'idea delle macchine a vettori di supporto dalla classificazione alla regressione, utilizzando un kernel per catturare relazioni non lineari.

L’intuizione alla base del metodo

Invece di penalizzare ogni deviazione dalla linea adattata, la SVR ignora gli errori inferiori a una tolleranza epsilon — traccia un tubo di ampiezza epsilon attorno alla funzione predetta e solo i punti che cadono al di fuori del tubo vengono considerati un errore. Il modello cerca quindi la funzione più piatta possibile che mantenga la maggior parte dei punti all'interno del tubo. La manciata di punti sul bordo o al di fuori del tubo diventano i vettori di supporto che definiscono la predizione.

Storia

La Regressione con Vettori di Supporto estende le macchine a vettori di supporto, originariamente un metodo di classificazione, al compito della regressione. La formulazione epsilon-insensibile e la sua soluzione kernelizzata sono presentate nel tutorial di Smola e Schölkopf del 2004 in Statistics and Computing, che è diventato il riferimento standard per il metodo.

Quando usarlo

Utilizzare la SVR per predire un esito continuo (o un conteggio) da feature quando la relazione può essere non lineare e si dispone di almeno circa 50 osservazioni. Le feature devono essere normalizzate, e il kernel e il parametro C richiedono ottimizzazione. Con meno di 50 casi, la predizione si basa su troppo pochi vettori di supporto e diventa instabile, quindi una regressione ridge o lineare è preferibile.

Limiti e considerazioni

  • Richiede almeno circa 50 osservazioni; con meno, le predizioni si basano su troppo pochi vettori di supporto e sono instabili.
  • Le prestazioni dipendono dall'ottimizzazione del kernel e del parametro C, che richiede dati sufficienti per la validazione incrociata.
  • Le feature devono essere normalizzate in anticipo, altrimenti le distanze del kernel vengono distorte.
  • Non offre coefficienti interpretabili.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • La perdita epsilon-insensibile rende l'adattamento robusto a piccole deviazioni e agli outlier all'interno del tubo.
  • I kernel consentono alla SVR di modellare relazioni non lineari senza la necessità di ingegnerizzare esplicitamente nuove feature.
  • Non richiede dati distribuiti normalmente.
  • Il modello finale dipende solo dai vettori di supporto, mantenendo la predizione compatta.

Applicazioni

  • Predizione di esiti continui dove la relazione con le feature è non lineare.
  • Compiti di previsione e predizione dove la robustezza a piccole deviazioni è importante.
  • Modellazione di target continui o di conteggio in dati sanitari, sociali, ingegneristici e di business.
  • Servire come alternativa basata su kernel alla regressione lineare o ridge quando si sospetta non linearità.

Come funziona

Come funziona

1

La SVR definisce un margine di tolleranza, il tubo epsilon, attorno alla funzione di regressione: le deviazioni entro epsilon sono trattate come nessun errore. Ciò rende l'adattamento insensibile a piccole fluttuazioni e concentra il modello sulle osservazioni che ricadono genuinamente al di fuori della banda.

Formula
|y_i - f(x_i)| \le \varepsilon
2

Il modello bilancia la piattezza della funzione con l'errore commesso dai punti al di fuori del tubo. Un parametro di regolarizzazione C controlla quanto pesantemente vengono penalizzate le deviazioni fuori dal tubo, mentre un kernel (come il kernel RBF) permette alla funzione di piegarsi per catturare la struttura non lineare. Poiché sia C che il kernel devono essere ottimizzati, le feature dovrebbero essere normalizzate prima dell'adattamento.

Formula
\min \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i (\xi_i + \xi_i^*)
3

Le predizioni per nuovi input sono formate come una combinazione pesata dal kernel dei vettori di supporto — i punti di addestramento che giacciono sul bordo del tubo o oltre — più un offset. Solo questi vettori di supporto entrano nella predizione finale, il che rende il modello adattato compatto.

Formula
f(x) = \sum_i (\alpha_i - \alpha_i^*) k(x_i, x) + b

Errori comuni

  • Adattare la SVR su feature non normalizzate, il che distorce le distanze del kernel.
  • Accettare valori di kernel e C predefiniti senza ottimizzarli tramite validazione incrociata.
  • Utilizzare la SVR su un campione piccolo dove non ci sono dati sufficienti per l'ottimizzazione degli iperparametri.
  • Trattare l'adattamento basato su kernel come se producesse dimensioni dell'effetto interpretabili.

Domande frequenti

Cosa controlla il parametro epsilon?

Epsilon imposta la semi-ampiezza del tubo di tolleranza attorno alla funzione adattata. Le deviazioni inferiori a epsilon sono trattate come errore zero, quindi un epsilon maggiore produce un modello più piatto e semplice con meno vettori di supporto, mentre un epsilon minore adatta i dati più strettamente.

Perché devo normalizzare le feature?

La SVR si basa su distanze calcolate tramite il kernel. Se le feature sono su scale molto diverse, quelle con intervalli più ampi dominano le distanze, quindi le feature dovrebbero essere standardizzate prima dell'adattamento.

Quanto è piccolo un campione troppo piccolo?

Con meno di circa 50 osservazioni, l'adattamento dipende da troppo pochi vettori di supporto e diventa instabile, e non ci sono dati sufficienti per ottimizzare gli iperparametri del kernel; una regressione ridge o lineare è una scelta più sicura.

In cosa differisce la SVR dai minimi quadrati ordinari?

I minimi quadrati penalizzano ogni residuo quadraticamente, mentre la SVR ignora i residui all'interno del tubo epsilon e penalizza solo quelli all'esterno. Combinato con un kernel, ciò consente alla SVR di catturare relazioni non lineari e rimanere robusta a piccole deviazioni.

Metodi correlati

Fonti

  1. Smola, A.J. & Schölkopf, B. (2004). A Tutorial on Support Vector Regression. Statistics and Computing, 14, 199–222.

    Apri il riferimento DOI
    Copiato.