Detecção de Anomalias por Autoencoder Bayesiano
- Proposto por
- Kingma, D. P. & Welling, M.; applied to anomaly detection by An & Cho
- Ano
- 2014–2015
- Tipo
- Probabilistic generative model for unsupervised anomaly detection
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A Detecção de Anomalias por Autoencoder Bayesiano utiliza um Autoencoder Variacional — um modelo generativo probabilístico treinado em dados normais — para sinalizar anomalias por seu alto erro de reconstrução ou baixa probabilidade sob a distribuição aprendida.
Ao tratar o espaço latente como uma distribuição de probabilidade em vez de um ponto fixo, ele fornece estimativas de incerteza fundamentadas junto a cada pontuação de anomalia, tornando-o especialmente valioso em tarefas de detecção de alto risco.
A intuição por trás do método
Um autoencoder padrão aprende a comprimir e reconstruir seus dados de treinamento; objetos diferentes do conjunto de treinamento são reconstruídos de forma precária e, portanto, pontuados como anômalos. A versão bayesiana, tipicamente implementada como um Autoencoder Variacional, vai além: em vez de codificar cada entrada para um único ponto no espaço latente, ela a codifica para uma distribuição de probabilidade. Isso significa que o modelo sabe não apenas o que é provavelmente normal, mas também quão confiante está nessa avaliação. As pontuações de anomalia são calculadas como probabilidades de reconstrução, com média sobre a posterior latente, de modo que carregam incerteza inerente em vez de serem estimativas pontuais frágeis.
História
O Autoencoder Variacional foi introduzido por Kingma e Welling em 2014 como um framework fundamentado para modelagem generativa profunda, combinando a flexibilidade de redes neurais com inferência bayesiana de variáveis latentes via truque de reparametrização. Sua aplicação à detecção de anomalias foi formalizada por An e Cho em 2015, que mostraram que a probabilidade de reconstrução — em vez do erro de reconstrução — fornece uma pontuação de anomalia mais confiável. Desde então, autoencoders bayesianos se tornaram uma ferramenta padrão na pesquisa de detecção de anomalias não supervisionada, com extensões para séries temporais, dados de grafos e configurações federadas.
Quando usar
Use Detecção de Anomalias por Autoencoder Bayesiano quando você tiver dados normais não rotulados em abundância, mas poucos ou nenhum rótulo de anomalia confirmado, o espaço de entrada for de alta dimensionalidade (por exemplo, imagens, arrays de sensores, séries temporais multicanais ou dados tabulares amplos) e você precisar de estimativas de incerteza junto com as pontuações de anomalia para tomada de decisão a jusante (por exemplo, imagens médicas, detecção de fraude, controle de qualidade industrial). Ele supera métodos mais simples, como Isolation Forest ou One-Class SVM, quando a variedade de dados normais é complexa e não linear. Não o use quando seu conjunto de dados for pequeno (menos de algumas centenas de amostras), sua entrada for de baixa dimensionalidade com estrutura linear (métodos estatísticos clássicos são mais simples e interpretáveis), você precisar de vazão em tempo real estrita sem aceleração de GPU, ou quando uma classe de anomalia explícita estiver disponível e a classificação supervisionada for viável.
Limitações e considerações
- Requer dados de treinamento substanciais de exemplos normais; dados escassos ou heterogêneos da classe normal degradam o desempenho.
- O treinamento é computacionalmente caro — aceleração de GPU é tipicamente necessária para tamanhos de entrada não triviais.
- Escolhas de hiperparâmetros (dimensão latente, profundidade da arquitetura, ponderação beta do termo KL) afetam fortemente os resultados e requerem ajuste cuidadoso.
- Colapso posterior — uma patologia comum de VAE onde o codificador ignora a entrada — pode degradar silenciosamente as pontuações de anomalia.
- Interpretar por que uma amostra específica é sinalizada como anômala ainda é difícil sem análise post-hoc adicional.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Fornece estimativas de incerteza calibradas para cada pontuação de anomalia, apoiando a tomada de decisão consciente de risco.
- Lida com distribuições de dados de alta dimensionalidade e não lineares que derrotam métodos lineares ou de kernel.
- Totalmente não supervisionado: nenhum rótulo de anomalia é necessário para o treinamento.
- O espaço latente aprendido pode ser visualizado e interpretado para entender quais padrões o modelo considera normais.
- Arquitetura flexível permite a incorporação de priors específicos do domínio e espaços latentes estruturados.
- A probabilidade de reconstrução é mais fundamentada do que o erro quadrático médio bruto, reduzindo a sensibilidade à escala arbitrária.
Aplicações
- Detecção de defeitos industriais na fabricação usando dados de inspeção visual.
- Detecção de anomalias em imagens médicas (por exemplo, detecção de lesões em exames de ressonância magnética treinados apenas em sujeitos saudáveis).
- Detecção de intrusão em rede onde padrões de tráfego normais são abundantes, mas ataques são raros e diversos.
- Detecção de fraude financeira quando casos de fraude rotulados estão indisponíveis ou rapidamente desatualizados.
- Manutenção preditiva via detecção de anomalias em arrays de sensores em máquinas industriais.
- Controle de qualidade de dados científicos, sinalizando observações incomuns em conjuntos de dados experimentais.
Como funciona
Como funciona
Uma rede neural codificadora mapeia cada entrada x para os parâmetros (média e variância) de uma posterior Gaussiana sobre a variável latente z, capturando a incerteza do modelo sobre a representação comprimida em vez de se comprometer com um único código.
Fórmula
q_{\phi}(z|x) = \mathcal{N}(\mu_{\phi}(x),\,\sigma^{2}_{\phi}(x))Códigos latentes são extraídos pelo truque de reparametrização — adicionando ruído escalonado à média posterior — tornando a etapa de amostragem diferenciável para que toda a rede possa ser treinada por retropropagação.
Fórmula
z = \mu_{\phi}(x) + \epsilon\,\sigma_{\phi}(x),\quad \epsilon \sim \mathcal{N}(0,I)Uma rede decodificadora mapeia códigos latentes amostrados de volta para distribuições de reconstrução sobre o espaço de entrada, aprendendo o processo generativo de dados normais.
Fórmula
p_{\theta}(x|z)O treinamento maximiza o Evidence Lower BOund (ELBO): a log-verossimilhança de reconstrução esperada menos a divergência KL que mantém a posterior próxima a uma Gaussiana padrão anterior. Apenas dados normais (dentro da distribuição) são usados durante o treinamento.
Fórmula
\mathcal{L} = \mathbb{E}_{q}[\log p_{\theta}(x|z)] - D_{\mathrm{KL}}(q_{\phi}(z|x)\|p(z))Na inferência, uma pontuação de anomalia é calculada como a log-verossimilhança esperada negativa da entrada sob o decodificador, com média sobre múltiplas amostras posteriores. Pontuações altas indicam entradas que o modelo não consegue reconstruir bem sob sua distribuição aprendida de dados normais.
Fórmula
s(x) = -\mathbb{E}_{z \sim q_{\phi}(z|x)}[\log p_{\theta}(x|z)]Erros comuns
- Treinamento em um conjunto de dados contaminado que inclui anomalias na classe 'normal', fazendo com que o modelo aprenda padrões anômalos como normais.
- Escolher o limiar da pontuação de anomalia arbitrariamente em vez de usar um conjunto de validação separado de exemplos normais conhecidos.
- Ignorar o colapso posterior durante o treinamento, o que pode tornar o erro de reconstrução uniformemente não informativo.
- Comparar erros de reconstrução brutos entre conjuntos de dados com diferentes escalas de entrada sem normalização.
- Avaliar apenas com acurácia em conjuntos de teste altamente desbalanceados em vez de usar AUROC ou precisão média.
Perguntas frequentes
Como isso difere de um autoencoder padrão (determinístico) para detecção de anomalias?
Um autoencoder padrão mapeia entradas para códigos latentes fixos e pontua anomalias por erro de reconstrução. Um autoencoder bayesiano (variacional) mapeia entradas para distribuições latentes e pontua anomalias por probabilidade de reconstrução com média sobre amostras posteriores. A formulação probabilística fornece pontuações mais confiáveis e incerteza explícita, ao custo de maior complexidade de treinamento.
Qual dimensão latente devo escolher?
A dimensão latente deve ser grande o suficiente para capturar a estrutura dos dados normais, mas pequena o suficiente para impedir que o modelo memorize amostras individuais. Comece com uma dimensão de aproximadamente 5-20% da dimensão de entrada e ajuste pela qualidade de reconstrução em um conjunto normal separado.
Preciso de hardware de GPU para executar este método?
Para dados tabulares com largura moderada (menos de algumas centenas de recursos) uma CPU é viável, mas o treinamento será lento. Para dados de imagem ou de alta dimensionalidade de sensores, uma GPU é fortemente recomendada. A inferência (pontuação) é tipicamente muito mais rápida que o treinamento.
Como defino o limiar de anomalia?
O limiar não é aprendido durante o treinamento. Use um conjunto separado de amostras normais confirmadas e selecione o percentil da pontuação (por exemplo, 95º ou 99º) que fornece uma taxa aceitável de falsos positivos em seu domínio. Evite escolher o limiar nos mesmos dados usados para avaliar o desempenho final.
Este método pode funcionar quando algumas anomalias aparecem no conjunto de treinamento?
Contaminação menor (alguns por cento) é frequentemente tolerada porque o modelo é otimizado na classe majoritária. No entanto, contaminação pesada muda o que o modelo aprende como 'normal' e deve ser minimizada limpando os dados de treinamento o mais completamente possível.
Métodos relacionados
Fontes
Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. Proceedings of the 2nd International Conference on Learning Representations (ICLR 2014).
Abrir referência da publicaçãoCopiado.An, J. & Cho, S. (2015). Variational Autoencoder based Anomaly Detection using Reconstruction Probability. ICDM Workshop on Data Mining in Networks.
Abrir referência da publicaçãoCopiado.