Máquina de Vetores de Suporte (Classificação)
- Proposto por
- Cortes, C. & Vapnik, V.
- Ano
- 1995
- Tipo
- Maximum-margin classifier (kernel method)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A Máquina de Vetores de Suporte (SVM), introduzida por Corinna Cortes e Vladimir Vapnik em 1995, é um classificador que encontra o hiperplano separador ótimo entre classes em um espaço de alta dimensionalidade.
Ela escolhe a fronteira que deixa a maior margem possível para os pontos de treinamento mais próximos, o que torna suas decisões robustas em novos dados.
A intuição por trás do método
Imagine separar dois grupos de pontos com uma fronteira reta. Muitas linhas poderiam fazer isso, mas a SVM procura aquela posicionada o mais longe possível dos pontos mais próximos de cada classe — a 'rua' mais larga entre elas. Apenas esses pontos mais próximos, os vetores de suporte, de fato moldam a fronteira; tudo o que estiver mais distante é irrelevante. Quando as classes não podem ser separadas por uma linha reta, um kernel remodela o espaço de modo que uma separação limpa se torne possível.
História
A Máquina de Vetores de Suporte foi introduzida por Corinna Cortes e Vladimir Vapnik em seu artigo de 1995 'Support-Vector Networks', que combinou a ideia de margem máxima com o truque do kernel para lidar com dados não linearmente separáveis. Tornou-se um dos métodos de classificação mais influentes de sua época e um benchmark padrão para aprendizado supervisionado de alta dimensionalidade.
Quando usar
Use SVM para classificação binária ou categórica em dados tabulares com aproximadamente 50 ou mais observações, especialmente quando o espaço de características é de alta dimensionalidade e a precisão preditiva importa mais do que coeficientes explícitos. Ela não requer dados normalmente distribuídos, mas as características devem ser padronizadas e o kernel e C devem ser ajustados por validação cruzada. Em amostras muito pequenas, prefira um classificador mais simples, como regressão logística ou naive Bayes.
Limitações e considerações
- Sensível à escolha do kernel e do parâmetro C, que devem ser ajustados por validação cruzada.
- Requer padronização cuidadosa das características; características não escalonadas distorcem a margem.
- Torna-se instável em amostras pequenas, onde há poucos vetores de suporte para definir uma fronteira confiável.
- Não fornece coeficientes diretamente interpretáveis nem estimativas nativas de probabilidade de classe.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Eficaz em espaços de características de alta dimensionalidade, mesmo quando há mais características do que a complexidade da fronteira sugeriria.
- O princípio da margem máxima e o uso apenas de vetores de suporte fornecem fronteiras robustas e generalizáveis.
- Kernels permitem capturar fronteiras de classe não lineares sem engenharia manual de novas características.
- Suposições leves: não requer dados normalmente distribuídos.
Aplicações
- Classificação binária e multiclasse em dados tabulares.
- Problemas de classificação de alta dimensionalidade onde as características superam a capacidade de um modelo simples.
- Tarefas de predição onde uma fronteira de decisão robusta e bem separada é mais importante do que coeficientes interpretáveis.
- Problemas com fronteiras de classe não lineares, abordados através de funções kernel.
Como funciona
Como funciona
A SVM busca o hiperplano que separa as classes com a maior margem — a maior distância até os pontos de dados mais próximos de cada lado. Esses pontos mais próximos são os vetores de suporte, e eles sozinhos determinam onde a fronteira se situa. Uma margem larga tende a generalizar melhor para dados não vistos do que uma fronteira apertada junto aos pontos de treinamento.
Quando as classes não são linearmente separáveis, uma função kernel (por exemplo, a função de base radial) mapeia implicitamente as características para um espaço de maior dimensionalidade onde um hiperplano separador existe. É por isso que as características devem ser primeiro padronizadas (StandardScaler é necessário), e por que o kernel e o parâmetro de regularização C devem ser escolhidos por validação cruzada.
A fronteira é encontrada minimizando o objetivo acima: ela encolhe o vetor de peso (alargando a margem) enquanto paga uma penalidade C para cada ponto que cai no lado errado ou dentro da margem (a folga ξ). Um C grande exige um ajuste apertado aos dados de treinamento; um C pequeno tolera mais violações para uma margem mais larga e suave. Com classes desbalanceadas, class_weight='balanced' impede que a classe minoritária seja ignorada.
Fórmula
\min_{w,b}\; \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i \xi_iErros comuns
- Ajustar SVM em características brutas e não escalonadas em vez de padronizá-las primeiro.
- Aceitar valores de kernel e C padrão em vez de selecioná-los com validação cruzada (por exemplo, busca em grade).
- Ignorar o desbalanceamento de classes em vez de definir class_weight='balanced'.
- Aplicar SVM em uma amostra abaixo de ~50 observações, onde a fronteira é instável e propensa a overfitting.
- Relatar apenas acurácia sem uma matriz de confusão, precisão/recall/F1 e ROC-AUC.
Perguntas frequentes
Por que preciso padronizar as características?
A SVM mede distâncias até o hiperplano separador, então características em escalas numéricas maiores dominam a margem. Padronizar cada característica (StandardScaler) as coloca em escalas comparáveis para que a fronteira reflita a verdadeira estrutura de classe em vez de unidades arbitrárias.
O que o parâmetro C controla?
C troca a largura da margem contra erros de classificação. Um C grande força um ajuste apertado aos dados de treinamento com uma margem estreita; um C pequeno permite mais violações de margem em troca de uma fronteira mais larga e suave. O valor correto é encontrado por validação cruzada.
Para que serve o kernel?
Quando as classes não podem ser separadas por uma fronteira reta, um kernel (como a função de base radial) mapeia implicitamente os dados para um espaço de maior dimensionalidade onde existe um hiperplano separador, permitindo que a SVM modele fronteiras não lineares. A escolha do kernel deve ser validada por validação cruzada.
Quando não devo usar SVM?
Em amostras muito pequenas — abaixo de cerca de 50 observações — há poucos vetores de suporte para definir uma fronteira estável e não há dados suficientes para ajustar o kernel e C, então o modelo corre o risco de overfitting. Nesses casos, um classificador mais simples como regressão logística ou naive Bayes é preferível.
Métodos relacionados
Fontes
Cortes, C. & Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20, 273–297.
Abrir referência DOICopiado.