Skip to content
Voltar aos resultados

Isolation Forest

Proposto por
Liu, F.T., Ting, K.M. & Zhou, Z.-H.
Ano
2008
Tipo
Unsupervised ensemble (random partitioning trees)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Isolation Forest é um método de aprendizado de máquina não supervisionado para detecção de anomalias e outliers, introduzido por Liu, Ting e Zhou em 2008, que isola anomalias através de particionamento aleatório dos dados.

Funciona sem dados de anomalia rotulados e escala para conjuntos de dados de alta dimensionalidade.

A intuição por trás do método

A ideia central é simples: anomalias são poucas e diferentes, portanto, são fáceis de separar do restante dos dados. Se você continuar particionando os dados aleatoriamente, um ponto normal se encontra em uma região densa e requer muitos cortes para ser isolado, enquanto um outlier se encontra separado e é isolado após apenas alguns cortes. Contar quantos cortes são necessários para isolar cada ponto transforma essa intuição em um escore de anomalia.

História

Isolation Forest foi proposto por Fei Tony Liu, Kai Ming Ting e Zhi-Hua Zhou em 2008 na IEEE International Conference on Data Mining. Introduziu uma filosofia diferente para detecção de outliers: em vez de perfilar dados normais e medir desvios, ele isola anomalias diretamente através de particionamento aleatório, explorando que anomalias são poucas e diferentes. A abordagem tornou-se uma ferramenta escalável e amplamente utilizada para detecção de anomalias não supervisionada em dados de alta dimensionalidade.

Quando usar

Use Isolation Forest para detectar anomalias ou outliers em dados contínuos, possivelmente de alta dimensionalidade, transversais ou de séries temporais com pelo menos cerca de 50 observações, especialmente quando você não tem anomalias rotuladas para aprender. Ele não necessita de dados de anomalia rotulados e escala bem à medida que o número de características cresce; você fornece um parâmetro de contaminação expressando a taxa de anomalia esperada. Com menos de cerca de 50 observações, a fronteira entre pontos normais e anômalos torna-se não confiável e métodos estatísticos de outlier ou PCA são mais seguros.

Limitações e considerações

  • Em amostras pequenas (n abaixo de cerca de 50) a fronteira entre pontos normais e anômalos é incerta e a taxa de falsos positivos é alta.
  • Sem anomalias genuínas suficientes, o parâmetro de contaminação torna-se sem sentido, e métodos estatísticos de outlier são preferíveis.
  • Retorna escores de anomalia em vez de coeficientes interpretáveis ou regras explícitas.
  • Os resultados dependem do valor de contaminação escolhido, que deve ser definido a partir do conhecimento do domínio.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Não supervisionado: não requer dados de anomalia rotulados para sinalizar outliers.
  • Escala bem para dados de alta dimensionalidade.
  • Isola anomalias diretamente em vez de modelar toda a distribuição normal, o que o mantém eficiente.
  • Um único parâmetro de contaminação expressa a taxa de anomalia esperada e define o limiar de sinalização.

Aplicações

  • Detecção não supervisionada de outliers e anomalias em dados contínuos.
  • Triagem de conjuntos de dados de alta dimensionalidade onde não existem anomalias rotuladas.
  • Sinalização de observações incomuns em dados transversais ou de séries temporais antes da modelagem.
  • Verificações de qualidade de dados e detecção exploratória de registros irregulares.

Como funciona

Como funciona

1

Isolation Forest inverte a lógica usual de detecção de outliers. Em vez de construir um perfil de pontos normais e sinalizar o que desvia dele, ele explora diretamente o fato de que anomalias são poucas e diferentes e, portanto, mais rápidas de isolar. Como não necessita de anomalias rotuladas, é totalmente não supervisionado e escala bem para dados de alta dimensionalidade.

2

O método constrói muitas árvores de particionamento aleatório. Em cada árvore, os dados são recursivamente divididos escolhendo-se uma característica aleatoriamente e um valor de divisão aleatório, dividindo o espaço em regiões cada vez menores até que cada ponto esteja sozinho. Isolar um ponto normal — enterrado em uma região lotada — requer muitas dessas partições, enquanto uma anomalia isolada é separada após apenas algumas.

3

O comprimento do caminho de cada ponto — o número de divisões necessárias para isolá-lo — é calculado a média em toda a floresta e convertido em um escore de anomalia: caminhos médios curtos significam prováveis anomalias, caminhos longos significam prováveis pontos normais. Um parâmetro de contaminação, a proporção esperada de anomalias, define o limiar que decide quais pontos são finalmente sinalizados como outliers.

Fórmula
s(x) = 2^{-\frac{E(h(x))}{c(n)}}

Erros comuns

  • Executar em menos de cerca de 50 observações e confiar nas anomalias sinalizadas.
  • Definir o parâmetro de contaminação sem anomalias reais suficientes nos dados para apoiá-lo.
  • Tratar os escores de anomalia como probabilidades exatas em vez de um ranking relativo.
  • Ignorar a escala das características e a influência de características irrelevantes nas divisões aleatórias.

Perguntas frequentes

Preciso de anomalias rotuladas para usar Isolation Forest?

Não. É um método não supervisionado que isola anomalias através de particionamento aleatório, portanto, não necessita de dados de anomalia rotulados para operar.

O que faz o parâmetro de contaminação?

Ele expressa a proporção esperada de anomalias nos dados e define o limiar que decide quais pontos são finalmente sinalizados como outliers. Sem anomalias genuínas suficientes nos dados, este parâmetro torna-se sem sentido.

Por que ele tem dificuldades em amostras pequenas?

Com menos de cerca de 50 observações, a fronteira entre pontos normais e anômalos é incerta e a taxa de falsos positivos é alta. Nesses casos, métodos estatísticos de outlier ou PCA são alternativas mais seguras.

Como as anomalias são pontuadas?

O comprimento médio do caminho de cada ponto nas árvores aleatórias — quantos cortes foram necessários para isolá-lo — é transformado em um escore de anomalia. Caminhos médios curtos indicam prováveis anomalias; caminhos longos indicam prováveis pontos normais.

Métodos relacionados

Fontes

  1. Liu, F.T., Ting, K.M. & Zhou, Z.-H. (2008). Isolation Forest. IEEE ICDM, 413–422.

    Abrir referência DOI
    Copiado.