Skip to content
Voltar aos resultados

Máquina de Vetores de Suporte (Classificação)

Proposto por
Cortes, C. & Vapnik, V.
Ano
1995
Tipo
Maximum-margin classifier (kernel method)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A Máquina de Vetores de Suporte (SVM), introduzida por Corinna Cortes e Vladimir Vapnik em 1995, é um classificador que encontra o hiperplano separador ótimo entre classes em um espaço de alta dimensionalidade.

Ela escolhe a fronteira que deixa a maior margem possível para os pontos de treinamento mais próximos, o que torna suas decisões robustas em novos dados.

A intuição por trás do método

Imagine separar dois grupos de pontos com uma fronteira reta. Muitas linhas poderiam fazer isso, mas a SVM procura aquela posicionada o mais longe possível dos pontos mais próximos de cada classe — a 'rua' mais larga entre elas. Apenas esses pontos mais próximos, os vetores de suporte, de fato moldam a fronteira; tudo o que estiver mais distante é irrelevante. Quando as classes não podem ser separadas por uma linha reta, um kernel remodela o espaço de modo que uma separação limpa se torne possível.

História

A Máquina de Vetores de Suporte foi introduzida por Corinna Cortes e Vladimir Vapnik em seu artigo de 1995 'Support-Vector Networks', que combinou a ideia de margem máxima com o truque do kernel para lidar com dados não linearmente separáveis. Tornou-se um dos métodos de classificação mais influentes de sua época e um benchmark padrão para aprendizado supervisionado de alta dimensionalidade.

Quando usar

Use SVM para classificação binária ou categórica em dados tabulares com aproximadamente 50 ou mais observações, especialmente quando o espaço de características é de alta dimensionalidade e a precisão preditiva importa mais do que coeficientes explícitos. Ela não requer dados normalmente distribuídos, mas as características devem ser padronizadas e o kernel e C devem ser ajustados por validação cruzada. Em amostras muito pequenas, prefira um classificador mais simples, como regressão logística ou naive Bayes.

Limitações e considerações

  • Sensível à escolha do kernel e do parâmetro C, que devem ser ajustados por validação cruzada.
  • Requer padronização cuidadosa das características; características não escalonadas distorcem a margem.
  • Torna-se instável em amostras pequenas, onde há poucos vetores de suporte para definir uma fronteira confiável.
  • Não fornece coeficientes diretamente interpretáveis nem estimativas nativas de probabilidade de classe.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Eficaz em espaços de características de alta dimensionalidade, mesmo quando há mais características do que a complexidade da fronteira sugeriria.
  • O princípio da margem máxima e o uso apenas de vetores de suporte fornecem fronteiras robustas e generalizáveis.
  • Kernels permitem capturar fronteiras de classe não lineares sem engenharia manual de novas características.
  • Suposições leves: não requer dados normalmente distribuídos.

Aplicações

  • Classificação binária e multiclasse em dados tabulares.
  • Problemas de classificação de alta dimensionalidade onde as características superam a capacidade de um modelo simples.
  • Tarefas de predição onde uma fronteira de decisão robusta e bem separada é mais importante do que coeficientes interpretáveis.
  • Problemas com fronteiras de classe não lineares, abordados através de funções kernel.

Como funciona

Como funciona

1

A SVM busca o hiperplano que separa as classes com a maior margem — a maior distância até os pontos de dados mais próximos de cada lado. Esses pontos mais próximos são os vetores de suporte, e eles sozinhos determinam onde a fronteira se situa. Uma margem larga tende a generalizar melhor para dados não vistos do que uma fronteira apertada junto aos pontos de treinamento.

2

Quando as classes não são linearmente separáveis, uma função kernel (por exemplo, a função de base radial) mapeia implicitamente as características para um espaço de maior dimensionalidade onde um hiperplano separador existe. É por isso que as características devem ser primeiro padronizadas (StandardScaler é necessário), e por que o kernel e o parâmetro de regularização C devem ser escolhidos por validação cruzada.

3

A fronteira é encontrada minimizando o objetivo acima: ela encolhe o vetor de peso (alargando a margem) enquanto paga uma penalidade C para cada ponto que cai no lado errado ou dentro da margem (a folga ξ). Um C grande exige um ajuste apertado aos dados de treinamento; um C pequeno tolera mais violações para uma margem mais larga e suave. Com classes desbalanceadas, class_weight='balanced' impede que a classe minoritária seja ignorada.

Fórmula
\min_{w,b}\; \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i \xi_i

Erros comuns

  • Ajustar SVM em características brutas e não escalonadas em vez de padronizá-las primeiro.
  • Aceitar valores de kernel e C padrão em vez de selecioná-los com validação cruzada (por exemplo, busca em grade).
  • Ignorar o desbalanceamento de classes em vez de definir class_weight='balanced'.
  • Aplicar SVM em uma amostra abaixo de ~50 observações, onde a fronteira é instável e propensa a overfitting.
  • Relatar apenas acurácia sem uma matriz de confusão, precisão/recall/F1 e ROC-AUC.

Perguntas frequentes

Por que preciso padronizar as características?

A SVM mede distâncias até o hiperplano separador, então características em escalas numéricas maiores dominam a margem. Padronizar cada característica (StandardScaler) as coloca em escalas comparáveis para que a fronteira reflita a verdadeira estrutura de classe em vez de unidades arbitrárias.

O que o parâmetro C controla?

C troca a largura da margem contra erros de classificação. Um C grande força um ajuste apertado aos dados de treinamento com uma margem estreita; um C pequeno permite mais violações de margem em troca de uma fronteira mais larga e suave. O valor correto é encontrado por validação cruzada.

Para que serve o kernel?

Quando as classes não podem ser separadas por uma fronteira reta, um kernel (como a função de base radial) mapeia implicitamente os dados para um espaço de maior dimensionalidade onde existe um hiperplano separador, permitindo que a SVM modele fronteiras não lineares. A escolha do kernel deve ser validada por validação cruzada.

Quando não devo usar SVM?

Em amostras muito pequenas — abaixo de cerca de 50 observações — há poucos vetores de suporte para definir uma fronteira estável e não há dados suficientes para ajustar o kernel e C, então o modelo corre o risco de overfitting. Nesses casos, um classificador mais simples como regressão logística ou naive Bayes é preferível.

Métodos relacionados

Fontes

  1. Cortes, C. & Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20, 273–297.

    Abrir referência DOI
    Copiado.