Skip to content
Voltar aos resultados

Detecção de Anomalias por Autoencoder em Ensemble

Proposto por
Chen, J., Sathe, S., Aggarwal, C., & Turaga, D.
Ano
2017
Tipo
Ensemble unsupervised anomaly detection
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A Detecção de Anomalias por Autoencoder em Ensemble treina múltiplas redes neurais autoencoder em dados da classe normal e agrega seus erros de reconstrução para produzir uma pontuação de anomalia robusta.

Ao combinar autoencoders diversos em vez de depender de um único, o método estabiliza os rankings de outliers e reduz a sensibilidade à inicialização aleatória ou a escolhas de arquitetura subótimas.

A intuição por trás do método

Um único autoencoder aprende a comprimir e depois reconstruir observações normais; anomalias comprimem mal e geram alto erro de reconstrução. O problema é que a pontuação de anomalia de um autoencoder é frágil — depende de uma inicialização aleatória e arquitetura específicas. Um ensemble treina muitos autoencoders em subconjuntos aleatórios diferentes de características ou dados, e então calcula a média de seus erros de reconstrução. As peculiaridades individuais de cada rede se cancelam, produzindo um sinal de anomalia mais estável e confiante, mais difícil de enganar e mais fácil de limiar.

História

A detecção de anomalias baseada em autoencoder foi popularizada após o trabalho de Hinton e Salakhutdinov em 2006 sobre autoencoders profundos, onde o alto erro de reconstrução emergiu como um sinal natural de outlier. A extensão de ensemble foi formalizada por Chen, Sathe, Aggarwal e Turaga na conferência SIAM Data Mining de 2017, que mostraram que diversificar autoencoders através de feature bagging supera de forma confiável qualquer modelo único. A abordagem agora aparece rotineiramente em pipelines industriais de detecção de anomalias para intrusão de rede, manutenção preditiva e monitoramento médico.

Quando usar

Use quando você tem predominantemente dados não rotulados e deseja detectar anomalias raras em características contínuas de alta dimensionalidade — por exemplo, fluxos de sensores, logs de transações ou sinais médicos — e um único autoencoder mostrou instabilidade entre execuções. Também é eficaz quando nenhum rótulo de anomalia está disponível e você precisa de uma linha de base não supervisionada com melhor estabilidade do que uma única rede. Evite quando o conjunto de dados é muito pequeno (menos de algumas centenas de observações normais por característica), pois os autoencoders não aprenderão uma variedade significativa. Não use para dados categóricos ou de texto esparso sem pré-processamento de incorporação (embedding) apropriado, e não use quando um único Isolation Forest ou One-Class SVM bem ajustado for suficiente, pois ensembles adicionam tempo de treinamento e complexidade.

Limitações e considerações

  • O treinamento de K autoencoders multiplica os requisitos de computação e memória; grandes ensembles em redes profundas são caros.
  • Assume que anomalias são caracterizadas por alto erro de reconstrução — anomalias adversariais ou estruturadas que residem na variedade aprendida podem ser perdidas.
  • Sensível à proporção de anomalias nos dados de treinamento; contaminação pesada degrada a variedade normal aprendida.
  • Escolhas de hiperparâmetros (número de modelos, arquitetura, função de agregação) requerem dados de validação ou conhecimento de domínio.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Reduz a variância nas pontuações de anomalia em comparação com um único autoencoder, fornecendo rankings mais estáveis entre sementes aleatórias.
  • A agregação de detectores diversos captura diferentes aspectos da normalidade, melhorando o recall em tipos de anomalias heterogêneas.
  • Totalmente não supervisionado — nenhum rótulo de anomalia é necessário, apenas dados normais ou mistos não rotulados.
  • Escala para dados contínuos de alta dimensionalidade onde métodos baseados em distância, como detecção de anomalias k-NN, degradam.
  • Compatível com uma ampla gama de arquiteturas de autoencoder (vanilla, variacional, convolucional) para corresponder à estrutura dos dados.
  • A pontuação do ensemble é mais fácil de limiar de forma confiável do que a pontuação de uma única rede, reduzindo o esforço de calibração.

Aplicações

  • Detecção de intrusão de rede a partir de características de pacotes ou fluxos de alta dimensionalidade.
  • Pontuação de anomalia para manutenção preditiva em séries temporais multivariadas de sensores.
  • Detecção de fraude em transações financeiras em fluxos não rotulados ou fracamente rotulados.
  • Monitoramento de biossinais médicos (ECG, EEG) para padrões patológicos raros.
  • Controle de qualidade na fabricação onde exemplos de defeitos são escassos.
  • Pontuação de outlier não supervisionada de linha de base antes de campanhas de rotulagem por aprendizado ativo.

Como funciona

Como funciona

1

K autoencoders são treinados independentemente nos dados de treinamento (supostamente) normais, cada um com uma inicialização aleatória diferente e, opcionalmente, subconjuntos de características de entrada ou arquiteturas de rede diferentes. O treinamento incentiva cada rede a minimizar a perda de reconstrução em amostras normais, de modo que ela aprenda a variedade (manifold) do comportamento normal.

2

Para cada observação de teste, cada autoencoder a codifica para uma representação latente e a decodifica de volta. A distância L2 ao quadrado entre a entrada original e a reconstrução é a pontuação de anomalia por rede: erro alto sinaliza que a observação se afasta da variedade normal aprendida.

Fórmula
e_i^{(k)} = \|x_i - \hat{x}_i^{(k)}\|_2
3

As K pontuações individuais são agregadas em uma única pontuação de anomalia por observação — comumente por média, máximo ou uma combinação normalizada por ranking. A média reduz a variância; o máximo é mais sensível a pelo menos um detector capturar uma anomalia.

Fórmula
s_i = f(e_i^{(1)}, e_i^{(2)}, \ldots, e_i^{(K)})
4

Um limiar é aplicado à pontuação agregada para rotular observações como anômalas. O limiar é geralmente escolhido por uma taxa de falso-positivo alvo em dados normais retidos (held-out), ou tratando os p% superiores dos valores de pontuação como anomalias quando rótulos de verdade fundamental (ground-truth) estão ausentes.

Erros comuns

  • Incluir anomalias no conjunto de treinamento sem conhecimento — isso corrompe a variedade normal aprendida e suprime as pontuações de anomalia para a contaminação.
  • Avaliar apenas no conjunto de treinamento sem uma amostra normal retida para calibrar o limiar, levando a rótulos de anomalia excessivamente confiantes.
  • Usar apenas o erro de reconstrução sem verificar as contribuições por dimensão, mascarando quais características impulsionam a pontuação de anomalia.
  • Tratar o ensemble como não necessitando de ajuste — o número de autoencoders, sua profundidade e a função de agregação afetam o desempenho e devem ser validados.
  • Aplicar o método a conjuntos de dados com pouquíssimas observações em relação à contagem de características, onde os autoencoders não conseguem generalizar e cada ponto parece anômalo.

Perguntas frequentes

Quantos autoencoders o ensemble deve conter?

Pesquisas sugerem retornos decrescentes além de cerca de 10–20 redes diversas. Comece com 10 e monitore se a pontuação agregada se estabiliza entre as execuções; se ainda variar, adicione mais ou aumente a diversidade via subamostragem de características.

Como introduzir diversidade entre os autoencoders?

Estratégias comuns incluem inicialização aleatória, subconjuntos aleatórios de características de entrada (feature bagging), diferentes tamanhos de dimensão latente, taxas de dropout ou arquiteturas diferentes (rasas vs. profundas). Feature bagging é o mais simples e eficaz para dados tabulares.

Os dados de treinamento precisam estar livres de anomalias?

Idealmente sim, mas contaminação moderada (abaixo de cerca de 5%) é tolerável. Se a proporção de anomalias for maior, o autoencoder aprende a reconstruí-las bem e as pontuações de anomalia diminuem. A pré-filtragem com um detector mais simples (isolation forest) antes de treinar os autoencoders pode ajudar.

Como devo definir o limiar de anomalia?

Se você tem uma taxa de falso-positivo alvo (por exemplo, 1%), defina o limiar no percentil correspondente da distribuição de pontuação em dados normais retidos. Sem nenhum rótulo, trate os p% superiores das pontuações como anomalias e valide com especialistas do domínio ou métricas de avaliação downstream.

Quando um único autoencoder é melhor que um ensemble?

Quando a computação é severamente restrita, o conjunto de dados é pequeno, ou um único autoencoder bem ajustado já mostra desempenho estável entre sementes. Ensembles agregam valor principalmente quando a variância do modelo individual é alta ou se espera diversidade de anomalias.

Métodos relacionados

Fontes

  1. Chen, J., Sathe, S., Aggarwal, C., & Turaga, D. (2017). Outlier Detection with Autoencoder Ensembles. In Proceedings of the 2017 SIAM International Conference on Data Mining (SDM), pp. 90–98. SIAM.

    Abrir referência da publicação
    Copiado.
  2. Aggarwal, C. C. (2017). Outlier Analysis (2nd ed., Ch. 3 & 9). Springer.

    ISBN: 978-3-319-47578-3
    Copiado.