Skip to content
Voltar aos resultados

Aprendizado Ativo com One-class SVM

Proposto por
Schölkopf et al. (OCSVM); active variant developed in the anomaly-detection literature (2000s–2010s)
Ano
2000s
Tipo
Semi-supervised anomaly/novelty detection with iterative labeling
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

O Aprendizado Ativo com One-class SVM combina a máquina de vetores de suporte de classe única — um detector de novidades baseado em kernel que aprende o limite de dados normais — com um loop de aprendizado ativo que seleciona as instâncias não rotuladas mais informativas para anotação por um especialista.

O resultado é um detector de anomalias eficiente em termos de dados que melhora seu limite de decisão com esforço mínimo de rotulagem.

A intuição por trás do método

Uma One-class SVM padrão traça um limite justo em torno da região normal conhecida de um espaço de características. A dificuldade é que a qualidade do limite depende fortemente de quais exemplos são rotulados. O aprendizado ativo corrige isso pedindo a um oráculo que rotule apenas os exemplos que caem perto, ou logo fora, do limite de decisão atual — os pontos sobre os quais o modelo tem mais incerteza. Ao consultar estrategicamente em vez de aleatoriamente, o modelo obtém um conjunto de treinamento mais informativo com muito menos exemplos rotulados, economizando custos de anotação enquanto afia a fronteira entre o normal e o anômalo.

História

A One-class SVM foi introduzida por Schölkopf e colegas em 1999-2001 como um método de kernel principiado para estimar o suporte de uma distribuição, e rapidamente se tornou um algoritmo de referência para detecção de novidades e anomalias. O paradigma de aprendizado ativo — consultar sistematicamente um oráculo para rótulos informativos — foi formalizado na pesquisa de Settles (2009). Pesquisadores nas décadas de 2000 e 2010 fundiram as duas ideias, aplicando estratégias de consulta baseadas em incerteza e margem à OCSVM em domínios como detecção de intrusão, diagnóstico de falhas e triagem médica, onde anomalias rotuladas são inerentemente escassas.

Quando usar

Use quando anomalias ou novidades precisam ser detectadas, mas exemplos rotulados são caros, raros ou inicialmente indisponíveis — típico em detecção de fraude, monitoramento de falhas de equipamentos, detecção de intrusão em cibersegurança e triagem de doenças raras médicas. O método é bem adequado quando um suprimento razoável de dados normais não rotulados existe ao lado de um pequeno conjunto inicial de instâncias normais confirmadas, e quando um oráculo (especialista humano ou testador automático) pode rotular pontos consultados. Evite quando a taxa de anomalia for tão baixa que mesmo consultas ativas raramente atingem anomalias, quando o espaço de características for extremamente de alta dimensão sem um mapeamento de kernel significativo, ou quando um pipeline totalmente automatizado sem intervenção humana for necessário.

Limitações e considerações

  • O desempenho é sensível à escolha do kernel e ao hiperparâmetro nu; padrões ruins podem gerar um limite muito apertado ou muito frouxo.
  • A escalabilidade é limitada: o custo de treinamento da OCSVM cresce aproximadamente quadraticamente com o número de vetores de suporte, tornando-a lenta em grandes conjuntos de dados.
  • Se o conjunto inicial rotulado não for representativo da verdadeira região normal, as primeiras consultas podem induzir o modelo a erro.
  • O aprendizado ativo assume disponibilidade e confiabilidade do oráculo; rotulagem ruidosa ou inconsistente degrada o limite.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Reduz drasticamente o número de rótulos de especialista necessários para construir um detector de anomalias eficaz.
  • Lida bem com dados de alta dimensão por meio de mapeamentos de kernel, particularmente o kernel RBF.
  • Não requer exemplos de anomalia na inicialização — ele se inicia apenas com dados normais.
  • A estratégia de consulta ativa foca o esforço de anotação na região mais relevante para a decisão do espaço.
  • O limite da OCSVM é robusto a outliers no conjunto de treinamento por meio do hiperparâmetro nu.

Aplicações

  • Detecção de anomalias em redes de intrusão e cibersegurança com rótulos limitados de ataque.
  • Monitoramento de falhas de equipamentos industriais usando fluxos de sensores com eventos de falha esparsos.
  • Detecção de fraude em transações financeiras onde casos de fraude confirmados são raros e caros de rotular.
  • Triagem médica de doenças raras ou eventos raros onde o tempo de anotação de especialista é uma restrição limitante.
  • Detecção de novidades em imagens ou textos quando apenas um corpus de exemplos normais está inicialmente disponível.

Como funciona

Como funciona

1

Uma One-class SVM inicial é treinada no pequeno conjunto de exemplos normais rotulados disponíveis no início. O kernel (tipicamente RBF) e o hiperparâmetro nu — que controla a fração de pontos de treinamento fora do limite — são definidos antes do início da iteração.

2

A estratégia de aprendizado ativo pontua cada instância não rotulada por sua distância ao limite de decisão da OCSVM. Pontos mais próximos do limite são os mais ambíguos; eles são classificados e os principais candidatos são selecionados como consultas para o oráculo. Estratégias comuns incluem amostragem de margem e variantes ponderadas por densidade.

3

Um especialista de domínio (ou um substituto de baixo custo, como uma plataforma de crowdsourcing) atribui um rótulo — normal ou anômalo — a cada instância consultada. Esta etapa é o gargalo, portanto, a eficiência da seleção de consultas determina o custo geral.

4

As instâncias recém-rotuladas são adicionadas ao conjunto de treinamento e a One-class SVM é retreinada. Se rótulos de anomalia estiverem disponíveis, eles podem ser incorporados por meio de um refinamento de limite de duas classes; se apenas rótulos normais forem adicionados, o limite se aperta em torno de dados normais confirmados.

5

O loop se repete até que um orçamento (número máximo de consultas) seja esgotado, o desempenho em um conjunto de validação se estabilize ou a mudança de limite entre as iterações caia abaixo de um limite. A OCSVM final é implantada para pontuação em produção.

Erros comuns

  • Ajustar nu no conjunto de treinamento sem um conjunto de validação separado, o que leva a um limite excessivamente otimista.
  • Selecionar consultas puramente por margem sem levar em conta a densidade, fazendo com que o modelo consulte pontos em regiões esparsas e não representativas.
  • Tratar todos os dados não rotulados como normais durante a inicialização sem verificar contaminação.
  • Interromper o loop após poucas consultas e relatar o desempenho em um conjunto de validação minúsculo como se fosse estável.
  • Usar um kernel linear em dados onde a região normal não é convexa — o kernel deve corresponder à geometria da classe normal.

Perguntas frequentes

Qual é a diferença entre este método e uma One-class SVM padrão?

Uma One-class SVM padrão treina uma vez em todos os dados rotulados disponíveis. A variante de aprendizado ativo itera: treina em um pequeno conjunto inicial, consulta os pontos não rotulados mais informativos, coleta rótulos e retreina. Isso torna o limite mais preciso com muito menos exemplos rotulados.

Quantos exemplos rotulados preciso para começar?

Mesmo um punhado de exemplos normais confirmados (apenas 10-50) pode iniciar a primeira OCSVM. O loop ativo então expande o conjunto rotulado estrategicamente. Começar com poucos exemplos arrisca um limite inicial instável que direciona mal as primeiras consultas.

Qual estratégia de consulta devo usar?

A amostragem de margem — consultar instâncias mais próximas do limite de decisão atual da OCSVM — é a escolha mais comum. Variantes ponderadas por densidade que também preferem pontos em regiões densas do espaço de entrada tendem a superar a amostragem de margem pura quando os dados têm estrutura de cluster.

Como avalio o desempenho quando os rótulos de anomalia são escassos?

Use a área sob a curva ROC (AUC-ROC) ou a área sob a curva precisão-recall (AUC-PR) em um conjunto de validação separado que inclua anomalias confirmadas. A acurácia é enganosa quando as anomalias são raras. Se não houver rótulos de anomalia, use inspeção visual do limite em uma projeção de baixa dimensão.

Quando devo mudar para um detector de anomalias diferente?

Se o conjunto de dados tiver mais de alguns milhares de instâncias, os detectores baseados em Isolation Forest ou Autoencoder escalam melhor. Se você tiver anomalias rotuladas suficientes para treinamento supervisionado, um classificador SVM binário padrão ou gradient boosted geralmente superará a OCSVM.

Métodos relacionados

Fontes

  1. Schölkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (1999). Estimating the Support of a High-Dimensional Distribution. Neural Computation, 13(7), 1443–1471.

    Abrir referência DOI
    Copiado.
  2. Settles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.

    Abrir referência da publicação
    Copiado.