Skip to content
Voltar aos resultados

Regressão por Vetores de Suporte

Proposto por
Smola, A.J. & Schölkopf, B.
Ano
2004
Tipo
Kernel-based supervised model (epsilon-insensitive regression)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A Regressão por Vetores de Suporte (SVR), descrita no tutorial de Smola e Schölkopf de 2004, prevê um resultado contínuo ajustando uma função que permanece dentro de um tubo de largura epsilon em torno dos dados, enquanto incorre no mínimo erro possível.

Ela estende a ideia da máquina de vetores de suporte da classificação para a regressão, usando um kernel para capturar relações não lineares.

A intuição por trás do método

Em vez de penalizar cada desvio da linha ajustada, a SVR ignora erros menores que uma tolerância epsilon — ela desenha um tubo de largura epsilon em torno da função prevista e apenas os pontos que caem fora do tubo contam contra ela. O modelo então busca a função mais plana possível que mantém a maioria dos pontos dentro do tubo. O punhado de pontos nas bordas do tubo ou fora delas se tornam os vetores de suporte que definem a previsão.

História

A Regressão por Vetores de Suporte estende a máquina de vetores de suporte, originalmente um método de classificação, para a tarefa de regressão. A formulação epsilon-insensível e sua solução com kernel são apresentadas no tutorial de Smola e Schölkopf de 2004 em Statistics and Computing, que se tornou a referência padrão para o método.

Quando usar

Use a SVR para prever um resultado contínuo (ou de contagem) a partir de características quando a relação pode ser não linear e você tem pelo menos cerca de 50 observações. As características devem ser normalizadas, e o kernel e o parâmetro C precisam ser ajustados. Com menos de 50 casos, a previsão se baseia em poucos vetores de suporte e se torna instável, portanto, uma regressão ridge ou linear é preferível.

Limitações e considerações

  • Necessita de pelo menos cerca de 50 observações; com menos, as previsões se baseiam em poucos vetores de suporte e são instáveis.
  • O desempenho depende do ajuste do kernel e do parâmetro C, o que requer dados suficientes para validação cruzada.
  • As características devem ser normalizadas previamente ou as distâncias do kernel são distorcidas.
  • Não oferece coeficientes interpretáveis.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • A perda epsilon-insensível torna o ajuste robusto a pequenos desvios e a outliers dentro do tubo.
  • Os kernels permitem que a SVR modele relações não lineares sem a necessidade de engenharia explícita de novas características.
  • Não requer dados com distribuição normal.
  • O modelo final depende apenas dos vetores de suporte, mantendo a previsão compacta.

Aplicações

  • Prever resultados contínuos onde a relação com as características é não linear.
  • Tarefas de previsão e prognóstico onde a robustez a pequenos desvios é importante.
  • Modelagem de alvos de contagem ou contínuos em dados de saúde, sociais, engenharia e negócios.
  • Servir como uma alternativa baseada em kernel à regressão linear ou ridge quando a não linearidade é suspeita.

Como funciona

Como funciona

1

A SVR define uma margem de tolerância, o tubo epsilon, em torno da função de regressão: desvios dentro de epsilon são tratados como nenhum erro. Isso torna o ajuste insensível a pequenas flutuações e foca o modelo nas observações que genuinamente caem fora da banda.

Fórmula
|y_i - f(x_i)| \le \varepsilon
2

O modelo equilibra a planura da função com o erro incorrido por pontos fora do tubo. Um parâmetro de regularização C controla o quão pesadamente os desvios fora do tubo são penalizados, enquanto um kernel (como o kernel RBF) permite que a função se curve para capturar estrutura não linear. Como tanto C quanto o kernel precisam ser ajustados, as características devem ser normalizadas antes do ajuste.

Fórmula
\min \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i (\xi_i + \xi_i^*)
3

As previsões para novas entradas são formadas como uma combinação ponderada por kernel dos vetores de suporte — os pontos de treinamento que se encontram nas bordas do tubo ou além delas — mais um deslocamento. Apenas esses vetores de suporte entram na previsão final, o que torna o modelo ajustado compacto.

Fórmula
f(x) = \sum_i (\alpha_i - \alpha_i^*) k(x_i, x) + b

Erros comuns

  • Ajustar a SVR em características não normalizadas, o que distorce as distâncias do kernel.
  • Aceitar valores de kernel e C padrão sem ajustá-los por validação cruzada.
  • Usar SVR em uma amostra pequena onde não há dados suficientes para otimização de hiperparâmetros.
  • Tratar o ajuste baseado em kernel como se ele fornecesse tamanhos de efeito interpretáveis.

Perguntas frequentes

O que o parâmetro epsilon controla?

Epsilon define a semi-largura do tubo de tolerância em torno da função ajustada. Desvios menores que epsilon são tratados como erro zero, de modo que um epsilon maior resulta em um modelo mais plano e simples com menos vetores de suporte, enquanto um epsilon menor ajusta os dados mais rigidamente.

Por que devo normalizar as características?

A SVR depende de distâncias calculadas através do kernel. Se as características estiverem em escalas muito diferentes, aquelas com maiores intervalos dominam as distâncias, portanto, as características devem ser padronizadas antes do ajuste.

Qual amostra pequena é considerada pequena demais?

Com menos de cerca de 50 observações, o ajuste depende de poucos vetores de suporte e se torna instável, e não há dados suficientes para ajustar os hiperparâmetros do kernel; uma regressão ridge ou linear é uma escolha mais segura.

Como a SVR difere dos mínimos quadrados ordinários?

Mínimos quadrados penaliza cada resíduo quadraticamente, enquanto a SVR ignora os resíduos dentro do tubo epsilon e penaliza apenas aqueles fora dele. Combinado com um kernel, isso permite que a SVR capture relações não lineares e permaneça robusta a pequenos desvios.

Métodos relacionados

Fontes

  1. Smola, A.J. & Schölkopf, B. (2004). A Tutorial on Support Vector Regression. Statistics and Computing, 14, 199–222.

    Abrir referência DOI
    Copiado.