Skip to content
Voltar aos resultados

Isolation Forest de Aprendizado Ativo

Proposto por
Das, S. et al. (active anomaly discovery framework); Liu, F. T. et al. (Isolation Forest base)
Ano
2008–2019
Tipo
Active learning wrapper over isolation forest anomaly detector
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

O Isolation Forest de Aprendizado Ativo combina o poder de pontuação de anomalias não supervisionado do Isolation Forest com uma estratégia iterativa de consulta que solicita a um especialista humano que rotule as instâncias mais informativas.

O resultado é um detector que refina seus limites de anomalia usando um orçamento mínimo de rotulagem, melhorando dramaticamente a precisão em anomalias raras e sutis em comparação com uma linha de base puramente não supervisionada.

A intuição por trás do método

O Isolation Forest pontua anomalias pela rapidez com que são isoladas em árvores aleatórias, mas não consegue distinguir anomalias verdadeiramente perigosas de outliers inofensivos sem conhecimento de domínio. O aprendizado ativo adiciona um humano no ciclo: após a floresta pontuar todas as instâncias, ela seleciona as mais ambíguas ou com as maiores pontuações e pede a um especialista para confirmar ou rejeitar cada rótulo de anomalia. Com cada rótulo confirmado, o modelo pode reponderar ou reclassificar pontuações futuras. Ao longo de várias rodadas de feedback, mesmo um pequeno número de exemplos rotulados direciona o detector para longe de falsos alarmes e em direção a anomalias reais de interesse.

História

O Isolation Forest foi introduzido por Liu, Ting e Zhou no ICDM 2008 como um detector de anomalias rápido, escalável e com poucas suposições que isola anomalias em vez de modelar o comportamento normal. O aprendizado ativo foi aplicado à detecção de anomalias sistematicamente a partir de meados da década de 2010. Das e colegas (ICDM 2019) formalizaram uma estrutura de descoberta ativa de anomalias combinando explicitamente pontuadores baseados em ensemble — incluindo Isolation Forest — com feedback iterativo de especialista, mostrando que um punhado de rótulos poderia rivalizar com detectores totalmente supervisionados treinados em centenas de exemplos. A abordagem tem sido desde então aplicada em detecção de fraudes, intrusão e análise de sensores.

Quando usar

Use o Isolation Forest de Aprendizado Ativo quando você enfrentar uma tarefa de detecção de anomalias em dados tabulares não rotulados ou majoritariamente não rotulados e puder arcar com um pequeno número de rótulos de especialista — tipicamente 10–100 consultas em várias rodadas. É especialmente adequado para cibersegurança, detecção de fraudes, manutenção preditiva e identificação de outliers clínicos, onde falsos positivos são caros e um especialista de domínio pode julgar de forma confiável uma instância apresentada. Não o use quando nenhum oráculo confiável estiver disponível, quando o conceito de anomalia for instável ao longo do tempo, ou quando o custo de rotulagem por instância for tão alto que mesmo 10 consultas sejam inviáveis. Um classificador puramente supervisionado deve ser preferido assim que um conjunto de dados rotulado de várias centenas de anomalias existir.

Limitações e considerações

  • Requer um oráculo confiável e disponível; se os rótulos de especialista forem ruidosos ou inconsistentes, o feedback pode degradar o modelo.
  • As estratégias de consulta assumem que pontuar todo o pool em cada rodada é viável, o que pode ser caro para conjuntos de dados muito grandes.
  • A abordagem é mais difícil de reproduzir e auditar do que um simples Isolation Forest, porque o modelo final depende das consultas específicas escolhidas e dos rótulos fornecidos.
  • A deriva de conceito — quando a natureza das anomalias muda ao longo do tempo — não é tratada automaticamente e pode exigir a reinicialização do ciclo ativo.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Aproveita a escalabilidade e a interpretabilidade do Isolation Forest enquanto injeta conhecimento especializado com esforço mínimo de rotulagem.
  • Melhora substancialmente a precisão em relação a uma linha de base totalmente não supervisionada, reduzindo falsos positivos caros em domínios de alto risco.
  • Estratégias de consulta agnósticas ao modelo (incerteza, top-k, diversidade) podem ser adaptadas a qualquer pontuador de anomalias, não apenas ao Isolation Forest.
  • Funciona bem em cenários de classes desbalanceadas onde as anomalias são extremamente raras e o aprendizado supervisionado exigiria grandes conjuntos de dados rotulados.
  • Cada rodada de consulta fornece melhoria imediata e mensurável na classificação de anomalias, tornando o progresso transparente para as partes interessadas.

Aplicações

  • Triagem de alertas de intrusão de rede e cibersegurança, onde analistas rotulam um pequeno conjunto de conexões suspeitas por turno.
  • Detecção de fraude em cartão de crédito com revisão periódica de transações sinalizadas por analistas.
  • Manutenção preditiva em manufatura, identificando falhas raras de máquinas a partir de fluxos de sensores com registros limitados de falhas.
  • Detecção de outliers clínicos em registros eletrônicos de saúde, onde clínicos confirmam perfis de pacientes incomuns.
  • Controle de qualidade de dados científicos, sinalizando erros de instrumentos em conjuntos de dados experimentais revisados por cientistas de domínio.

Como funciona

Como funciona

1

Um Isolation Forest é primeiro treinado em todos os dados não rotulados disponíveis. Cada instância recebe uma pontuação de anomalia com base na rapidez com que a partição recursiva aleatória a isola: instâncias em regiões esparsas e facilmente isoláveis recebem pontuações altas. Esta passagem não supervisionada semeia o ciclo de aprendizado ativo com uma classificação inicial significativa.

2

Todas as instâncias do pool não rotulado são classificadas por suas pontuações de anomalia. Uma estratégia de consulta — como selecionar as top-k instâncias com as maiores pontuações, ou aquelas cujas pontuações caem em uma região de limite incerta — identifica as instâncias das quais um rótulo de oráculo seria mais informativo.

3

As instâncias selecionadas são apresentadas a um especialista de domínio (ou a um oráculo simulado em experimentos) que rotula cada uma como anomalia ou normal. Apenas um pequeno número de consultas por rodada é necessário, tornando a abordagem prática quando a rotulagem é cara ou requer julgamento de especialista.

4

As novas instâncias rotuladas são incorporadas ao modelo. Isso pode significar reponderar os membros do ensemble cujos caminhos concordam com as anomalias confirmadas, ajustar os limites de comprimento do caminho ou retreinar com o conjunto rotulado adicionado como restrições de supervisão. As classificações de pontuação são recalculadas para o pool restante.

5

O ciclo de consulta-rótulo-atualização se repete por um número fixo de rodadas ou até que o orçamento de rotulagem seja esgotado. O detector final reflete tanto a estrutura ampla capturada pela floresta não supervisionada original quanto o conhecimento especializado codificado através do feedback rotulado, produzindo um classificador de anomalias de alta precisão adaptado ao domínio.

Erros comuns

  • Consultar instâncias com as maiores pontuações de anomalia exclusivamente pode criar um viés de confirmação, fazendo com que o modelo perca tipos de anomalias novas que inicialmente parecem normais.
  • Relatar o desempenho apenas nas instâncias consultadas em vez de em um conjunto de teste retido, o que infla as estimativas de precisão.
  • Tratar rótulos de oráculo como verdade fundamental sem levar em conta a discordância entre avaliadores, especialmente em contextos médicos ou de segurança.
  • Esquecer de reavaliar a floresta não supervisionada completa após o feedback; pontuações desatualizadas podem tornar as rodadas de consulta subsequentes ineficientes.

Perguntas frequentes

Quantas instâncias rotuladas são tipicamente necessárias para uma melhoria significativa?

Pesquisas sugerem que 10 a 50 rótulos de especialista, distribuídos em 3 a 5 rodadas de feedback, são frequentemente suficientes para superar substancialmente um Isolation Forest puramente não supervisionado em precisão, desde que os rótulos do oráculo sejam confiáveis.

O Isolation Forest base precisa ser retreinado do zero após cada rodada?

Não necessariamente. Muitas implementações reponderam ou reclassificam caminhos de árvore existentes sem retreinamento completo, o que é computacionalmente eficiente. O retreinamento completo com restrições de rótulo é uma opção quando o conjunto rotulado cresce o suficiente para justificá-lo.

Qual estratégia de consulta funciona melhor para detecção de anomalias?

A pontuação top-k (selecionando as instâncias não rotuladas com as maiores pontuações) é simples e eficaz quando as anomalias são raras. Estratégias baseadas em incerteza ou margem ajudam quando o limite da anomalia é ambíguo. Estratégias conscientes de diversidade reduzem a redundância entre as consultas.

Essa abordagem pode lidar com dados de streaming ou online?

O Isolation Forest padrão é um método em lote, portanto, extensões de aprendizado ativo também tendem a ser orientadas para lotes. Para cenários de streaming, variantes online ou de janela deslizante do Isolation Forest são necessárias antes que o feedback ativo possa ser aplicado.

Como avalio o modelo de forma justa, dado que apenas algumas instâncias são rotuladas?

Retenha um conjunto de teste rotulado separado que nunca é usado para consulta. Avalie a precisão, recall e AUCROC neste conjunto em cada rodada para rastrear melhorias genuínas em vez de overfitting aos rótulos consultados.

Métodos relacionados

Fontes

  1. Das, S., Wong, W. K., Fern, A., Dietterich, T. G., & Amran Siddiqui, M. (2019). Incorporating Expert Feedback into Active Anomaly Discovery. In Proceedings of the 2019 IEEE International Conference on Data Mining (ICDM), pp. 1009–1014.

    Abrir referência da publicação
    Copiado.
  2. Liu, F. T., Ting, K. M., & Zhou, Z. H. (2008). Isolation Forest. In Proceedings of the 8th IEEE International Conference on Data Mining (ICDM), pp. 413–422.

    Abrir referência DOI
    Copiado.