One-Class SVM
- Proposto por
- Scholkopf, B., Platt, J. C., Smola, A. J., Williamson, R. C.
- Ano
- 1999–2001
- Tipo
- Anomaly / novelty detection (unsupervised)
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
One-class SVM é um algoritmo de detecção de anomalias e novidades não supervisionado que aprende um limite apertado em torno dos dados de treinamento normais em um espaço de características induzido por kernel, sinalizando novas observações que caem fora desse limite como outliers.
Introduzido por Scholkopf et al. em 1999-2001, ele estende o framework SVM para o cenário de classe única, onde anomalias rotuladas não estão disponíveis.
A intuição por trás do método
Imagine inflar um balão para englobar todos os seus pontos de treinamento em um espaço transformado definido por uma função de kernel. Uma vez que o balão esteja ajustado, qualquer novo ponto que caia fora dele é declarado uma anomalia. O parâmetro nu controla o quão apertado é o balão: um nu pequeno permite que muito poucos pontos de treinamento fiquem dentro da margem (limite estrito), enquanto um nu grande permite mais pontos fora (limite mais frouxo). O truque do kernel permite que o limite seja não linear no espaço de entrada original, de modo que o One-class SVM possa capturar formas complexas de normalidade que uma regra simples de limiar ou distância perderia.
História
O one-class SVM foi introduzido por Scholkopf, Platt, Smola e Williamson em um relatório técnico de 1999 e publicado na Neural Computation em 2001 como 'Estimating the support of a high-dimensional distribution.' Uma formulação intimamente relacionada, Support Vector Data Description (SVDD), foi desenvolvida simultaneamente por Tax e Duin (2004). Ambos os métodos estenderam o framework SVM supervisionado para o cenário de detecção de anomalias não supervisionado e se tornaram referências fundamentais na literatura de detecção de novidades. A implementação OneClassSVM do Scikit-learn tornou o método amplamente acessível em pesquisa aplicada.
Quando usar
Use One-class SVM quando exemplos de anomalias rotulados estiverem indisponíveis ou muito escassos e você quiser um limite não linear em torno do comportamento normal — típico em detecção de fraude, detecção de intrusão, monitoramento de falhas industriais e triagem de novidades médicas com características numéricas contínuas. Funciona melhor em conjuntos de dados de tamanho moderado (centenas a dezenas de milhares de amostras) e distribuições de normalidade de alta dimensão ou formato complexo onde detectores lineares ou baseados em distância falham. Evite-o quando: o conjunto de treinamento for muito grande (n > ~100.000), pois o problema quadrático escala mal; os dados forem altamente categóricos; ou quando regras rápidas e interpretáveis forem necessárias. Nesses casos, prefira Isolation Forest, Local Outlier Factor ou um modelo estatístico baseado em limiar.
Limitações e considerações
- O solver de programação quadrática escala de O(n^2) a O(n^3) em amostras de treinamento, tornando-o impraticável para conjuntos de dados muito grandes.
- Sensível à escolha do kernel e seus hiperparâmetros (por exemplo, RBF gamma); escolhas ruins produzem um limite muito apertado ou muito frouxo.
- Requer dados de treinamento normais limpos — conjuntos de treinamento contaminados deslocam o limite e inflacionam as taxas de falso negativo.
- Não produz naturalmente estimativas de probabilidade calibradas; a pontuação de decisão não é uma probabilidade.
- A interpretabilidade é limitada; explicar por que um ponto específico é sinalizado é difícil sem ferramentas post-hoc adicionais.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Funciona sem exemplos de anomalias rotulados — apenas dados de treinamento normais são necessários.
- Kernel não linear (tipicamente RBF) captura limites complexos e curvos de normalidade que métodos baseados em distância perdem.
- O parâmetro nu oferece controle direto e interpretável sobre a fração esperada de outliers.
- Escala graciosamente para espaços de características de alta dimensão via truque de kernel.
- A pontuação de decisão contínua permite calibração flexível do limiar downstream.
- Comprovado em domínios de alto risco, como detecção de intrusão, monitoramento de falhas e imagens médicas.
Aplicações
- Detecção de intrusão em rede: sinalizando padrões de tráfego não vistos durante a operação normal.
- Monitoramento de falhas industriais: detectando leituras de sensores de máquinas que desviam dos perfis de estado saudável.
- Detecção de fraude: identificando padrões de transação incomuns quando exemplos fraudulentos são muito raros para treinar um classificador supervisionado.
- Detecção de novidades médicas: sinalizando leituras de imagem ou biomarcadores fora da distribuição de sujeitos saudáveis.
- Processamento de linguagem natural: detecção de documentos ou consultas fora de domínio usando embeddings de texto como características de entrada.
Como funciona
Como funciona
Todas as observações de treinamento são mapeadas para um espaço de características de alta dimensão (potencialmente de dimensão infinita) através de uma função de kernel, como a função de base radial (RBF). Os produtos internos nesse espaço podem ser avaliados sem calcular explicitamente o mapeamento, o que torna a abordagem tratável mesmo para limites complexos.
Fórmula
\phi: \mathcal{X} \to \mathcal{F}Um programa quadrático encontra um hiperplano no espaço de características que separa os dados de treinamento mapeados da origem com margem máxima. O parâmetro nu (entre 0 e 1) limita simultaneamente a fração de pontos de treinamento tratados como outliers e a fração de vetores de suporte, dando ao praticante controle direto sobre o trade-off entre a rigidez do modelo e a tolerância à contaminação do treinamento.
Fórmula
\min_{w,\rho,\xi}\; \tfrac{1}{2}\|w\|^2 - \rho + \tfrac{1}{\nu n}\sum_i \xi_iO hiperplano aprendido define uma função de decisão com sinal. Pontos no lado positivo são classificados como normais; pontos no lado negativo (abaixo do limiar rho) são sinalizados como anomalias ou novidades. A pontuação bruta também pode servir como uma pontuação de anomalia contínua para classificação.
Fórmula
f(x) = \text{sgn}\bigl(\langle w, \phi(x)\rangle - \rho\bigr)A escolha de nu é a decisão chave de modelagem: defini-lo próximo à fração esperada de contaminação no conjunto de treinamento é uma regra prática. A validação cruzada em um conjunto de validação normal retido ou conhecimento de domínio sobre a taxa esperada de outliers deve guiar a escolha, em vez de busca em grade apenas em dados não rotulados.
Na implantação, um limiar de pontuação de anomalia é aplicado à saída da função de decisão. O limiar pode ser ajustado post-hoc para trocar precisão contra recall para anomalias, tornando o método adequado para aplicações onde o custo de falsos positivos difere substancialmente do custo de falsos negativos.
Erros comuns
- Treinamento em dados que contêm uma fração significativa de anomalias não detectadas, o que corrompe o limite aprendido.
- Definir nu sem referência à taxa de contaminação esperada, levando a falsos positivos excessivos ou anomalias perdidas.
- Usar o RBF gamma padrão sem ajuste, o que pode tornar o limite muito apertado (todos os novos pontos são anomalias) ou muito frouxo (nenhuma anomalia detectada).
- Aplicar One-class SVM a conjuntos de dados muito grandes sem considerar alternativas de escalabilidade, como aproximações baseadas em SGD (SGDOneClassSVM do sklearn).
- Relatar apenas um sinal binário de anomalia sem examinar a distribuição da pontuação contínua para calibrar o limiar.
Perguntas frequentes
Qual é a diferença entre One-class SVM e Isolation Forest para detecção de anomalias?
One-class SVM aprende um limite baseado em kernel em torno de dados normais e tem bom desempenho em distribuições de alta dimensão e formato complexo, mas escala mal com o tamanho do conjunto de dados. Isolation Forest usa particionamento aleatório e é muito mais rápido em grandes conjuntos de dados, mas geralmente é menos sensível a padrões de anomalias sutis e não lineares.
Como devo escolher o parâmetro nu?
Defina nu como a fração de observações de treinamento que você espera que estejam contaminadas ou atípicas. Se você acredita que menos de 5% de suas amostras de treinamento são outliers, comece com nu=0.05. Use um conjunto retido de exemplos normais conhecidos para avaliar a rigidez do limite, em vez de confiar apenas na busca em grade.
Qual kernel devo usar?
O kernel RBF (Gaussiano) é o ponto de partida padrão e lida bem com a maioria dos conjuntos de dados numéricos contínuos. O hiperparâmetro gamma do kernel RBF controla o raio de influência; valide cruzadamente em uma grade log-espaçada. Kernels lineares são mais rápidos, mas restringem o limite a um hiperplano.
O One-class SVM pode lidar com características categóricas?
Não diretamente. Variáveis categóricas devem ser codificadas numericamente (por exemplo, codificação binária ou ordinal) antes do uso, o que pode introduzir distorções na métrica de distância. Para conjuntos de dados dominados por características categóricas, considere detectores baseados em árvore, como Isolation Forest, em vez disso.
Meu conjunto de treinamento pode conter algumas anomalias. Isso quebra o modelo?
Dados de treinamento contaminados deslocam o limite para fora e podem fazer com que o modelo aprenda padrões anômalos como normais. One-class SVM é mais sensível a isso do que Isolation Forest. Se a contaminação for suspeita, considere usar SVDD com um nu maior ou limpar o conjunto de treinamento com uma passagem preliminar de um detector rápido.
Métodos relacionados
Fontes
Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.
Abrir referência DOICopiado.Tax, D. M. J., & Duin, R. P. W. (2004). Support vector data description. Machine Learning, 54(1), 45–66.
Abrir referência DOICopiado.