Skip to content
Voltar aos resultados

Detecção de Anomalias com Autoencoder Semi-supervisionado

Proposto por
Ruff, L. et al.; Zong, B. et al.
Ano
2018–2020
Tipo
Semi-supervised deep anomaly detection
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A Detecção de Anomalias com Autoencoder Semi-supervisionado treina um autoencoder neural primariamente em dados normais (não rotulados), e então usa um pequeno conjunto de anomalias rotuladas para refinar as fronteiras de decisão, detectando anomalias como amostras com alto erro de reconstrução.

Ele preenche a lacuna entre autoencoders puramente não supervisionados e classificadores totalmente supervisionados quando os rótulos são escassos, mas algumas anomalias conhecidas existem.

A intuição por trás do método

Um autoencoder padrão aprende a comprimir e reconstruir bem dados normais; anomalias que ele nunca viu reconstroem mal, então o erro de reconstrução as sinaliza. Autoencoders puramente não supervisionados não têm uma âncora para o que conta como anômalo — eles apenas sabem o que é normal. A variante semi-supervisionada usa o pequeno conjunto de anomalias rotuladas como exemplos negativos durante o ajuste fino, aproximando a fronteira de decisão do modelo das anomalias do mundo real sem necessitar de supervisão completa. O resultado é um detector que é eficiente em dados e melhor calibrado do que qualquer um dos extremos isoladamente.

História

A detecção de anomalias com autoencoder não supervisionado ganhou tração após o surgimento do deep learning por volta de 2014. Zong et al. (ICLR 2018) integraram autoencoders com modelos de mistura Gaussiana para pontuação de anomalias não supervisionada. Ruff et al. (ICLR 2020) formalizaram a variante semi-supervisionada, demonstrando que mesmo um punhado de anomalias rotuladas melhora substancialmente a detecção em relação a baselines puramente não supervisionados, estabelecendo o framework amplamente utilizado hoje.

Quando usar

Recomendado quando você tem dados não rotulados abundantes que são predominantemente normais, mais um conjunto pequeno, mas confiável, de anomalias confirmadas, e detectores de anomalias não supervisionados prontos para uso produzem muitos falsos positivos. Especialmente eficaz para dados de alta dimensão ou não lineares, como sinais de sensores, tráfego de rede ou imagens, onde métodos tradicionais (por exemplo, SVM de uma classe) escalam mal. Não use quando anomalias rotuladas não estiverem disponíveis (prefira autoencoders não supervisionados) ou quando você tiver rótulos suficientes para um classificador supervisionado completo. Evite com conjuntos de dados muito pequenos (menos de algumas centenas de amostras), onde a rede profunda não consegue generalizar.

Limitações e considerações

  • Requer particionamento cuidadoso: se o conjunto não rotulado contiver muitas anomalias, o pré-treinamento é corrompido e o desempenho degrada significativamente.
  • Autoencoders profundos são computacionalmente intensivos para treinar e ajustar em comparação com métodos rasos.
  • A interpretabilidade é limitada; o sinal de erro de reconstrução não explica quais características causaram a anomalia.
  • Sensível à escolha da profundidade da arquitetura, dimensão latente e ponderação da perda entre os objetivos não supervisionado e supervisionado.
  • A seleção do limiar não é trivial e deve ser validada em dados rotulados de validação para evitar cortes arbitrários.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Aproveita efetivamente grandes volumes de dados normais não rotulados ao lado de anomalias rotuladas escassas, maximizando a eficiência dos dados.
  • Lida com espaços de características de alta dimensão e não lineares muito melhor do que métodos baseados em kernel, como SVM de uma classe.
  • O escore de anomalia (erro de reconstrução) é contínuo, permitindo o ajuste fino do limiar para corresponder aos requisitos operacionais.
  • O pré-treinamento em dados normais fornece um forte prior, reduzindo o número de anomalias rotuladas necessárias em comparação com uma abordagem totalmente supervisionada.
  • A arquitetura é flexível e pode incorporar camadas convolucionais, recorrentes ou transformer para imagens, séries temporais ou texto.

Aplicações

  • Detecção de falhas e defeitos industriais em fluxos de sensores ou telemetria onde eventos defeituosos são raros, mas documentados.
  • Detecção de anomalias em intrusões de rede e cibersegurança com assinaturas de ataque conhecidas como sementes rotuladas.
  • Triagem de imagens médicas ou dados clínicos onde casos patológicos confirmados são escassos.
  • Detecção de fraude financeira combinando transações normais abundantes com um pequeno conjunto de transações fraudulentas confirmadas.
  • Pipelines de manutenção preditiva onde registros históricos de falhas servem como exemplos de anomalias rotuladas.

Como funciona

Como funciona

1

O conjunto de treinamento é dividido em um grande conjunto de dados não rotulados (assumidamente majoritariamente normal) e um pequeno conjunto curado de anomalias rotuladas. Essa partição reflete a escassez do mundo real de rótulos de anomalias confirmados, enquanto ainda explora qualquer sinal de verdade fundamental disponível.

2

Uma rede codificador-decodificador é pré-treinada no conjunto não rotulado para minimizar a perda de reconstrução, aprendendo uma representação latente compacta de padrões normais. Esta fase constrói a noção fundamental de como é o normal sem exigir quaisquer rótulos.

3

Na segunda fase, as anomalias rotuladas são incorporadas — seja adicionando uma cabeça de classificação, usando uma perda contrastiva ou de hiperesfera (como em extensões de Deep SVDD), ou penalizando baixo erro de reconstrução para anomalias conhecidas. Isso afasta a fronteira de decisão dos pontos anormais confirmados.

4

No tempo de inferência, cada amostra é passada pelo autoencoder treinado. O escore de anomalia é tipicamente o erro de reconstrução (erro quadrático médio entre entrada e saída). Opcionalmente, a distância no espaço latente de um centróide da classe normal também é usada.

Fórmula
s(x) = \|x - \hat{x}\|^2
5

Um limiar no escore de anomalia é escolhido — usando as anomalias rotuladas, uma curva precisão-recall, ou uma taxa alvo de falsos positivos — para produzir rótulos binários normal/anomalia. A escolha do limiar governa diretamente o trade-off precisão-recall.

Erros comuns

  • Contaminação do conjunto de pré-treinamento não rotulado com anomalias não detectadas, o que prejudica a representação dos dados normais.
  • Tratar o erro de reconstrução como uma probabilidade calibrada sem a devida calibração do limiar contra exemplos rotulados.
  • Usar uma única divisão treino/teste sem validação cruzada, produzindo estimativas de desempenho excessivamente otimistas em classes de anomalias raras.
  • Selecionar a dimensão latente sem experimentação, seja muito pequena (perda de informação) ou muito grande (o autoencoder reconstrói anomalias tão bem quanto dados normais).
  • Ignorar o desbalanceamento de classes ao calcular métricas de avaliação — a acurácia é sem sentido com desbalanceamento extremo; use AUROC e precisão média em vez disso.

Perguntas frequentes

Quantas anomalias rotuladas são necessárias?

O método pode funcionar com apenas uma dúzia de anomalias confirmadas, mas o desempenho melhora substancialmente com até algumas centenas. A chave é que as anomalias rotuladas devem cobrir os principais tipos de comportamento anormal presentes no domínio.

E se meu conjunto não rotulado contiver anomalias ocultas?

A contaminação não rotulada é o maior modo de falha. Aplique um filtro não supervisionado preliminar (por exemplo, isolation forest) para remover outliers óbvios do conjunto de pré-treinamento antes do ajuste fino.

Como escolho o limiar de erro de reconstrução?

Use seu conjunto de anomalias rotuladas e uma curva precisão-recall para escolher um limiar que corresponda à sua tolerância operacional para falsos positivos e falsos negativos. Nunca escolha o limiar nos mesmos dados usados para treinar o modelo.

Isso é melhor que um SVM de uma classe ou isolation forest?

Em dados de alta dimensão ou não lineares com pelo menos algumas anomalias rotuladas, autoencoders semi-supervisionados tipicamente superam SVM de uma classe e isolation forest. Em dados tabulares de baixa dimensão com amostras muito pequenas, métodos mais simples podem igualar ou exceder seu desempenho a um custo menor.

Quais métricas de avaliação devo relatar?

Relate AUROC e precisão média (área sob a curva precisão-recall) em um conjunto de teste de validação que preserve a prevalência real de anomalias. Acurácia e F1 em um limiar fixo devem ser métricas secundárias, com justificativa do limiar fornecida.

Métodos relacionados

Fontes

  1. Ruff, L., Vandermeulen, R. A., Franks, B. J., Müller, K.-R., & Kloft, M. (2020). Deep Semi-Supervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2020).

    Abrir referência da publicação
    Copiado.
  2. Zong, B., Song, Q., Min, M. R., Cheng, W., Lumezanu, C., Cho, D., & Chen, H. (2018). Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2018).

    Abrir referência da publicação
    Copiado.