Skip to content
Voltar aos resultados

SVM de Uma Classe Semissupervisionado

Proposto por
Extension of Scholkopf et al. (2001); semi-supervised variants studied ca. 2004–2010
Ano
2001–2004
Tipo
Semi-supervised anomaly / novelty detection
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

O SVM de Uma Classe Semissupervisionado estende o detector de anomalias clássico SVM de Uma Classe ao incorporar observações não rotuladas juntamente com um pequeno conjunto de exemplos normais conhecidos.

Os dados não rotulados ajudam o modelo a aprender um limite de decisão mais preciso e informativo no espaço de características, reduzindo falsos positivos e melhorando o recall de anomalias em comparação com a linha de base puramente não supervisionada.

A intuição por trás do método

Um SVM de Uma Classe padrão traça um limite em torno de dados normais rotulados em um espaço de características transformado por kernel e sinaliza tudo o que está fora como anômalo. O problema é que, com poucos exemplos rotulados, o limite é frouxo e ruidoso. O SVM de Uma Classe Semissupervisionado explora um conjunto de exemplos não rotulados — a maioria dos quais provavelmente são normais — para puxar esse limite para dentro, em direção a regiões mais densas. Pense nisso como ensinar ao modelo onde o 'normal' realmente reside, mostrando-lhe mais exemplos, mesmo quando esses exemplos não possuem rótulos de classe confirmados. O resultado é um limite de anomalia mais preciso e confiável com baixo custo de rotulagem.

História

O SVM de Uma Classe foi introduzido por Scholkopf et al. em 2001 como um método para estimar o suporte de uma distribuição de alta dimensão, tornando-se rapidamente um padrão para detecção de novidades e anomalias. Pesquisadores em meados dos anos 2000 reconheceram que mesmo uma pequena semente normal rotulada poderia apertar substancialmente o limite de decisão, e várias extensões semissupervisionadas foram propostas, baseando-se em trabalhos contemporâneos em SVMs transdutivos e propagação de rótulos. A abordagem permanece ativamente estudada em domínios onde a rotulagem de anomalias é proibitivamente cara.

Quando usar

Escolha o SVM de Uma Classe Semissupervisionado quando as anomalias são raras, rotular todos os dados é muito caro, mas uma pequena semente confirmada-normal está disponível — por exemplo, detecção de intrusão de rede, controle de qualidade de imagens médicas ou triagem de defeitos de fabricação. Ele supera o OC-SVM não supervisionado quando a semente rotulada é limpa e o conjunto não rotulado é grande e representativo do comportamento normal. Não o utilize quando a semente rotulada é ruidosa ou enviesada, quando a taxa de anomalias no conjunto não rotulado é alta (acima de aproximadamente 10–20%), quando você tem muitos exemplos de anomalias confirmadas (SVM supervisionado ou métodos de ensemble são melhores), ou quando a interpretabilidade e coeficientes explícitos são exigidos pelos revisores.

Limitações e considerações

  • O desempenho degrada-se acentuadamente se a semente rotulada for pequena, ruidosa ou não representativa do verdadeiro comportamento normal.
  • Altas taxas de contaminação no conjunto não rotulado causam deriva de pseudo-rótulos e corrupção do limite.
  • A programação quadrática escala mal: os solucionadores SVM padrão têm dificuldade acima de dezenas de milhares de observações.
  • Requer ajuste cuidadoso do kernel e do hiperparâmetro nu; os valores padrão raramente produzem limites ótimos.
  • A pseudo-rotulagem iterativa adiciona complexidade de implementação e requer critérios de parada bem definidos.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Aproveita dados não rotulados abundantes para melhorar a qualidade do limite sem anotação completa e cara.
  • Herda a flexibilidade de kernel do SVM de Uma Classe padrão, capturando variedades não lineares de dados normais.
  • Pontuações de anomalia melhor calibradas do que o OC-SVM puramente não supervisionado quando existe uma semente rotulada limpa.
  • Funciona bem em espaços de características de alta dimensão onde os dados normais formam clusters compactos.
  • A magnitude da pontuação de anomalia fornece um ranking de confiança natural para triagem e priorização.

Aplicações

  • Detecção de intrusão de rede e ciberataques usando tráfego normal rotulado mais logs operacionais não rotulados.
  • Controle de qualidade de imagem médica onde exames bons confirmados estão disponíveis, mas anomalias são raras.
  • Detecção de falhas industriais com leituras de sensores de condição operacional normal como semente rotulada.
  • Detecção de fraude em transações financeiras quando apenas exemplos não fraudulentos são confirmados.
  • Filtragem de anomalias de texto ou documento usando conjuntos de documentos conhecidos como limpos para ancorar o limite.

Como funciona

Como funciona

1

Particione os dados de treinamento em um pequeno conjunto rotulado de instâncias confirmadas-normais e um conjunto não rotulado muito maior. O conjunto não rotulado geralmente consiste em dados operacionais reais do domínio-alvo que não foram verificados manualmente. A qualidade da semente rotulada influencia fortemente o desempenho final.

2

Mapeie todas as observações para um espaço de Hilbert de kernel reprodutor de alta dimensão usando uma função kernel — mais comumente o kernel RBF. Nesse espaço, os clusters de dados normais tornam-se compactos e separáveis da origem, o que é o truque geométrico que sustenta o SVM de Uma Classe.

Fórmula
\phi: \mathcal{X} \rightarrow \mathcal{F}
3

Ajuste um SVM de Uma Classe inicial usando apenas os exemplos normais rotulados. Isso fornece um hiperplano preliminar definido pelo vetor de pesos w, limiar rho e variáveis de folga xi, controlados pelo parâmetro nu que limita a fração de erros de treinamento.

Fórmula
\min_{w,\xi,\rho} \frac{1}{2}\|w\|^2 + \frac{1}{\nu n}\sum_i \xi_i - \rho
4

Aplique o modelo inicial ao conjunto não rotulado e atribua pseudo-rótulos suaves ou rígidos: instâncias classificadas como normais são provisoriamente adicionadas ao conjunto normal; aquelas pontuadas como anomalias podem ser descartadas ou ter seu peso reduzido. A confiabilidade dos pseudo-rótulos pode ser melhorada com limiares de confiança ou propagação de rótulos em um grafo de similaridade.

5

Retreine o SVM de Uma Classe no conjunto rotulado expandido (rótulos originais mais pseudo-rótulos aceitos). Repita o loop de pseudo-rotulagem e retreinamento por um número fixo de iterações ou até que o limite se estabilize. A parada antecipada evita a deriva causada por erros de pseudo-rótulos em cascata.

6

Na inferência, mapeie cada nova observação através do mesmo kernel e avalie a função de decisão f(x). Instâncias com f(x) < 0 são sinalizadas como anomalias; a magnitude da pontuação reflete a distância do limite normal e pode servir como um ranking de confiança de anomalia.

Fórmula
f(x) = \text{sign}(w^\top \phi(x) - \rho)

Erros comuns

  • Usar uma semente rotulada extraída de uma distribuição diferente do conjunto não rotulado, causando erros sistemáticos de pseudo-rótulos.
  • Definir o parâmetro de contaminação nu sem estimar a verdadeira taxa de anomalias, levando a super ou subdetecção.
  • Confiar incondicionalmente em pseudo-rótulos em vez de aplicar limiares de confiança ou ponderação suave.
  • Pular a avaliação em um conjunto de anomalias anotado e reservado e confiar apenas em métricas de cluster não supervisionadas.
  • Confundir este método com SVM transdutivo (S3VM), que resolve um problema diferente de classificação semissupervisionada em vez de detecção de uma classe.

Perguntas frequentes

Qual o tamanho necessário da semente rotulada?

Na prática, mesmo algumas dezenas de exemplos confirmados-normais podem inicializar um limite útil, mas o conjunto rotulado deve cobrir os principais modos de comportamento normal. Se a semente for menor que cerca de 20–30 observações, o limite inicial será não confiável e os erros de pseudo-rótulos se acumularão.

E se o conjunto não rotulado estiver fortemente contaminado com anomalias?

Alta contaminação (acima de aproximadamente 10–20% de anomalias) faz com que o refinamento iterativo absorva gradualmente as anomalias na classe normal, corrompendo o limite. Nesses casos, use um limiar de aceitação de pseudo-rótulos mais baixo, aplique votação de ensemble em múltiplas execuções ou retorne ao SVM de Uma Classe puramente supervisionado apenas na semente rotulada.

Como escolho o kernel e o parâmetro nu?

O kernel RBF é o padrão; ajuste sua largura de banda (gamma) juntamente com nu usando validação cruzada no conjunto rotulado. Nu controla o limite superior da fração de erros de treinamento e a fração de vetores de suporte — defina-o para aproximadamente a taxa de anomalias esperada, se conhecida.

Isso é diferente de um SVM transdutivo (S3VM)?

Sim. O SVM transdutivo (S3VM) realiza classificação binária semissupervisionada onde ambas as classes são parcialmente rotuladas. O SVM de Uma Classe Semissupervisionado aborda a detecção de anomalias: ele usa apenas rótulos da classe normal e trata observações não rotuladas como potenciais normais, não como uma segunda classe a ser classificada.

Posso usar este método em larga escala?

Os solucionadores SVM padrão têm complexidade de O(n^2) a O(n^3). Para conjuntos de dados acima de aproximadamente 50.000 observações, use solucionadores aproximados (por exemplo, atualizações online baseadas em SGD, aproximações de kernel via Nystrom ou características de Fourier aleatórias) ou mude para alternativas escaláveis, como Isolation Forest ou detectores de anomalias baseados em autoencoders profundos.

Métodos relacionados

Fontes

  1. Munoz, A. & Muruzabal, J. (2004). Self-Organising Maps for Outlier Detection. Neurocomputing, 58–60, 953–956.

    Abrir referência da publicação
    Copiado.
  2. Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.

    Abrir referência DOI
    Copiado.