Skip to content
Voltar aos resultados

Floresta de Isolamento Semissupervisionada (Semi-supervised Isolation Forest)

Proposto por
Extended from Liu, F.T., Ting, K.M., and Zhou, Z-H. (iForest, 2008); semi-supervised variants developed by multiple authors ca. 2013–2020
Ano
2013–2020
Tipo
Ensemble anomaly detection (semi-supervised extension)
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A floresta de isolamento semissupervisionada (Semi-supervised Isolation Forest) estende o detector de anomalias clássico Isolation Forest incorporando um pequeno conjunto de exemplos rotulados de anomalias (e possivelmente normais) juntamente com um grande conjunto de dados não rotulados.

Essa orientação por rótulos ajusta os escores de anomalia do modelo para que anomalias conhecidas sejam separadas de forma mais confiável, preenchendo a lacuna entre a detecção totalmente não supervisionada e a totalmente supervisionada.

A intuição por trás do método

O Isolation Forest padrão pontua anomalias pela rapidez com que uma árvore aleatória isola um ponto — anomalias são isoladas em menos divisões. Mas sem quaisquer rótulos, o modelo não tem feedback sobre o que realmente conta como anômalo em seu domínio. O Semi-supervised Isolation Forest introduz um pequeno número de exemplos confirmados (anomalias conhecidas, ou normais conhecidos, ou ambos) e os usa para calibrar ou reponderar o processo de pontuação. O resultado é que o poder de separação inerente da floresta é direcionado para os padrões de anomalia que realmente importam, reduzindo substancialmente falsos alarmes e detecções perdidas sem exigir um conjunto de treinamento totalmente rotulado.

História

O Isolation Forest foi introduzido por Liu, Ting e Zhou em 2008 como um detector de anomalias puramente não supervisionado baseado em particionamento recursivo aleatório. Reconhecendo que mesmo alguns rótulos podem melhorar drasticamente a detecção, pesquisadores a partir de aproximadamente 2013 desenvolveram extensões semissupervisionadas que incorporam a orientação de rótulos no processo de pontuação ou ponderação de árvores. A base teórica relacionada sobre detecção de anomalias supervisionada foi estabelecida por Görnitz et al. (2013), e variantes práticas do SSIF apareceram em locais aplicados abordando detecção de fraude e intrusão de rede no final dos anos 2010.

Quando usar

Use o Semi-supervised Isolation Forest quando você tiver um grande pool de dados não rotulados, o custo da rotulagem completa for proibitivo, mas você puder obter rótulos para pelo menos um pequeno conjunto de anomalias confirmadas (e opcionalmente alguns normais confirmados). É especialmente valioso para detecção de eventos raros em cibersegurança, fraude, manutenção preditiva e monitoramento médico, onde especialistas do domínio podem rotular um punhado de incidentes conhecidos. Não o utilize quando nenhuma anomalia rotulada estiver disponível (prefira o Isolation Forest padrão ou One-Class SVM), quando os dados forem de alta dimensionalidade e esparsos sem pré-processamento, ou quando um grande conjunto totalmente rotulado já estiver disponível (um classificador totalmente supervisionado terá desempenho superior).

Limitações e considerações

  • O desempenho degrada se as anomalias rotuladas não forem representativas da distribuição de anomalias nos dados não rotulados.
  • O mecanismo ideal de integração de rótulos varia entre as implementações; nenhuma variante universalmente dominante existe ainda.
  • Assim como o iForest padrão, ele pode ter dificuldades com anomalias agrupadas perto do centro dos dados ou com certas distribuições multimodais.
  • Requer cuidado para evitar vazamento de rótulos ao avaliar: o conjunto rotulado não deve se sobrepor ao conjunto de teste.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Alcança maior precisão e recall do que o iForest totalmente não supervisionado, ancorando os escores em anomalias rotuladas reais.
  • Requer apenas um pequeno número de rótulos, tornando-o prático quando a anotação é cara.
  • Herda o tempo de treinamento sublinear e o baixo consumo de memória do iForest, escalando para grandes conjuntos de dados.
  • Lida com dados tabulares de alta dimensionalidade sem suposições de distância ou densidade.
  • Reduz a seleção arbitrária de limiar: o subconjunto rotulado fornece uma base de calibração fundamentada.

Aplicações

  • Detecção de intrusão de rede usando um punhado de amostras de ataque confirmadas juntamente com tráfego normal.
  • Detecção de fraude financeira onde apenas um pequeno conjunto de transações fraudulentas confirmadas está disponível para rotulagem.
  • Manutenção preditiva: usando eventos de falha confirmados para calibrar escores de anomalia em fluxos de sensores.
  • Monitoramento médico: guiando a pontuação de anomalias com casos patológicos confirmados de registros eletrônicos de saúde.
  • Controle de qualidade na fabricação onde apenas um subconjunto de unidades defeituosas foi verificado independentemente.

Como funciona

Como funciona

1

Os dados disponíveis são divididos em um pequeno subconjunto rotulado — contendo anomalias confirmadas, normais confirmados, ou ambos — e um grande pool não rotulado. O subconjunto rotulado é pequeno por design; a obtenção de rótulos completos é geralmente custosa ou impraticável, que é precisamente o cenário que este método visa.

2

Um ensemble de árvores de isolamento é construído em subamostras aleatórias do conjunto de dados completo (rotulado mais não rotulado), seguindo o procedimento padrão do iForest: em cada nó interno, uma característica aleatória e um valor de divisão aleatório dentro do intervalo dessa característica são escolhidos para particionar recursivamente os dados até que cada ponto seja isolado.

3

Cada observação recebe um escore de anomalia derivado de seu comprimento médio de caminho em todas as árvores. Caminhos médios mais curtos — significando isolamento mais fácil — produzem escores de anomalia mais altos. O escore normalizado s(x, n) mapeia para (0, 1], com valores próximos de 1 indicando fortes candidatos a anomalia.

Fórmula
s(x, n) = 2^{-E[h(x)] / c(n)}
4

Os exemplos rotulados são usados para ajustar o modelo: dependendo da variante, isso pode envolver a reponderação de árvores ou divisões que separam corretamente anomalias conhecidas de normais, adicionando um termo de perda supervisionada à agregação do escore, ou usando o conjunto rotulado para aprender um limite de decisão sobre os escores não supervisionados. Esta etapa é a diferença definidora do iForest padrão.

5

Um limiar é aplicado aos escores de anomalia ajustados para produzir decisões binárias de anomalia / normal. O subconjunto rotulado permite a seleção de limiar baseada em dados — por exemplo, escolhendo o ponto de corte que maximiza o F1 nos exemplos rotulados — em vez de depender de um percentil arbitrário.

Erros comuns

  • Usar apenas rótulos de anomalia e ignorar rótulos normais quando ambos estão disponíveis — incorporar normais confirmados pode aprimorar ainda mais o limite de decisão.
  • Avaliar em um conjunto de teste que inclui os exemplos de treinamento rotulados, inflando as métricas de desempenho.
  • Escolher o limiar do escore de anomalia por um percentil fixo em vez de usar o conjunto rotulado para calibração.
  • Assumir que o método é robusto quando as anomalias rotuladas cobrem apenas um subtipo, enquanto o pool não rotulado contém diversos padrões de anomalia.
  • Negligenciar o pré-processamento de características de alta dimensionalidade ou de tipo misto antes do ajuste, o que pode distorcer a seleção aleatória de divisões.

Perguntas frequentes

Quantas anomalias rotuladas eu preciso?

Mesmo um punhado — às vezes tão poucos quanto 10–50 anomalias confirmadas — pode fornecer calibração significativa. O requisito chave é que elas sejam representativas dos tipos de anomalia presentes no pool não rotulado. Uma cobertura de rótulos mais diversa entre os subtipos de anomalia geralmente produz maiores ganhos.

Como isso difere do Isolation Forest padrão?

O Isolation Forest padrão é totalmente não supervisionado e pontua anomalias unicamente pelo comprimento do caminho sem qualquer feedback do domínio. O Semi-supervised Isolation Forest incorpora um pequeno conjunto rotulado para ajustar escores ou pesos de árvores, direcionando o modelo para padrões de anomalia que são realmente relevantes em seu domínio e permitindo uma calibração de limiar fundamentada.

Posso incluir exemplos normais rotulados, bem como anomalias?

Sim, e geralmente é benéfico. Normais rotulados ajudam o modelo a distinguir casos de fronteira de forma mais nítida. Algumas variantes tratam o conjunto rotulado como uma referência balanceada para calibrar a função de pontuação, então incluir ambas as classes quando disponíveis melhora o limite de decisão.

Devo usar validação cruzada para avaliar o modelo?

Sim, mas com cuidado. O subconjunto rotulado deve ser excluído ou estratificado adequadamente no conjunto de teste para evitar vazamento de dados. Uma divisão estratificada de treino/teste na porção rotulada, combinada com o pool não rotulado completo para treinamento, é a configuração de avaliação padrão.

E se minhas anomalias rotuladas não forem representativas?

O ajuste guiado por rótulos pode sair pela culatra se as anomalias rotuladas cobrirem apenas uma fatia estreita da verdadeira distribuição de anomalias. Nesse caso, o modelo pode perder novos tipos de anomalias que nunca lhe foram mostrados. É aconselhável complementar a detecção semissupervisionada com pontuação de anomalias não supervisionada e monitorar a deriva distribucional em produção.

Métodos relacionados

Fontes

  1. Görnitz, N., Kloft, M., Rieck, K., & Brefeld, U. (2013). Toward supervised anomaly detection. Journal of Artificial Intelligence Research, 46, 235–262.

    Abrir referência da publicação
    Copiado.
  2. Isolation Forest. Wikipedia.

    Abrir referência da publicação
    Copiado.