Isolation Forest
- Introdotto da
- Liu, F.T., Ting, K.M. & Zhou, Z.-H.
- Anno
- 2008
- Tipo
- Unsupervised ensemble (random partitioning trees)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Isolation Forest è un metodo di apprendimento automatico non supervisionato per il rilevamento di anomalie e outlier, introdotto da Liu, Ting e Zhou nel 2008, che isola le anomalie attraverso la partizione casuale dei dati.
Funziona senza dati di anomalia etichettati e si adatta a set di dati ad alta dimensionalità.
L’intuizione alla base del metodo
L'idea centrale è semplice: le anomalie sono poche e diverse, quindi sono facili da separare dal resto dei dati. Se si continua a dividere i dati in modo casuale, un punto normale si trova in una regione densa e richiede molti tagli per essere isolato, mentre un outlier si trova a parte e viene isolato dopo solo poche divisioni. Contare quante divisioni sono necessarie per isolare ogni punto trasforma questa intuizione in un punteggio di anomalia.
Storia
Isolation Forest è stato proposto da Fei Tony Liu, Kai Ming Ting e Zhi-Hua Zhou nel 2008 alla IEEE International Conference on Data Mining. Ha introdotto una filosofia diversa per il rilevamento degli outlier: piuttosto che profilare i dati normali e misurare la deviazione, isola direttamente le anomalie attraverso la partizione casuale, sfruttando il fatto che le anomalie sono poche e diverse. L'approccio è diventato uno strumento ampiamente utilizzato e scalabile per il rilevamento non supervisionato di anomalie su dati ad alta dimensionalità.
Quando usarlo
Utilizzare Isolation Forest per rilevare anomalie o outlier in dati continui, eventualmente ad alta dimensionalità, trasversali o serie temporali con almeno circa 50 osservazioni, specialmente quando non si hanno anomalie etichettate da cui imparare. Non necessita di dati di anomalia etichettati e si adatta bene all'aumentare del numero di caratteristiche; si fornisce un parametro di contaminazione che esprime il tasso di anomalia atteso. Con meno di circa 50 osservazioni il confine tra punti normali e anomali diventa inaffidabile e i metodi statistici per outlier o la PCA sono più sicuri.
Limiti e considerazioni
- Su campioni piccoli (n inferiore a circa 50) il confine tra punti normali e anomali non è chiaro e il tasso di falsi positivi è elevato.
- Senza un numero sufficiente di anomalie genuine, il parametro di contaminazione diventa privo di significato e i metodi statistici per outlier sono preferibili.
- Restituisce punteggi di anomalia piuttosto che coefficienti interpretabili o regole esplicite.
- I risultati dipendono dal valore di contaminazione scelto, che deve essere impostato in base alla conoscenza del dominio.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Non supervisionato: non richiede dati di anomalia etichettati per segnalare gli outlier.
- Si adatta bene a dati ad alta dimensionalità.
- Isola le anomalie direttamente piuttosto che modellare l'intera distribuzione normale, il che lo mantiene efficiente.
- Un singolo parametro di contaminazione esprime il tasso di anomalia atteso e imposta la soglia di segnalazione.
Applicazioni
- Rilevamento non supervisionato di outlier e anomalie in dati continui.
- Screening di set di dati ad alta dimensionalità dove non esistono anomalie etichettate.
- Segnalazione di osservazioni insolite in dati trasversali o serie temporali prima della modellazione.
- Controlli di qualità dei dati e rilevamento esplorativo di record irregolari.
Come funziona
Come funziona
Isolation Forest inverte la logica usuale del rilevamento degli outlier. Invece di costruire un profilo di punti normali e segnalare ciò che se ne discosta, sfrutta direttamente il fatto che le anomalie sono poche e diverse e quindi più rapide da isolare. Poiché non necessita di anomalie etichettate, è completamente non supervisionato e si adatta bene a dati ad alta dimensionalità.
Il metodo costruisce molti alberi di partizione casuale. In ogni albero i dati vengono divisi ricorsivamente scegliendo una caratteristica a caso e un valore di divisione casuale, suddividendo lo spazio in regioni sempre più piccole finché ogni punto non si trova da solo. Isolare un punto normale — sepolto in una regione affollata — richiede molte di queste partizioni, mentre un'anomalia isolata viene separata dopo solo poche.
La lunghezza del percorso di ogni punto — il numero di divisioni necessarie per isolarlo — viene mediata attraverso la foresta e convertita in un punteggio di anomalia: percorsi medi brevi indicano probabili anomalie, percorsi lunghi indicano probabili punti normali. Un parametro di contaminazione, la proporzione attesa di anomalie, imposta la soglia che decide quali punti vengono infine segnalati come outlier.
Formula
s(x) = 2^{-\frac{E(h(x))}{c(n)}}Errori comuni
- Eseguirlo su meno di circa 50 osservazioni e fidarsi delle anomalie segnalate.
- Impostare il parametro di contaminazione senza un numero sufficiente di anomalie effettive nei dati per supportarlo.
- Trattare i punteggi di anomalia come probabilità esatte piuttosto che come una classificazione relativa.
- Ignorare la scalatura delle caratteristiche e l'influenza di caratteristiche irrilevanti sulle divisioni casuali.
Domande frequenti
Ho bisogno di anomalie etichettate per usare Isolation Forest?
No. È un metodo non supervisionato che isola le anomalie attraverso la partizione casuale, quindi non necessita di dati di anomalia etichettati per funzionare.
Cosa fa il parametro di contaminazione?
Esprime la proporzione attesa di anomalie nei dati e imposta la soglia che decide quali punti vengono infine segnalati come outlier. Senza un numero sufficiente di anomalie genuine nei dati, questo parametro diventa privo di significato.
Perché ha difficoltà con campioni piccoli?
Con meno di circa 50 osservazioni il confine tra punti normali e anomali non è chiaro e il tasso di falsi positivi è elevato. In tal caso i metodi statistici per outlier o la PCA sono alternative più sicure.
Come vengono punteggiate le anomalie?
La lunghezza media del percorso di ogni punto attraverso gli alberi casuali — quante divisioni sono state necessarie per isolarlo — viene trasformata in un punteggio di anomalia. Percorsi medi brevi indicano probabili anomalie; percorsi lunghi indicano probabili punti normali.
Metodi correlati
Fonti
Liu, F.T., Ting, K.M. & Zhou, Z.-H. (2008). Isolation Forest. IEEE ICDM, 413–422.
Apri il riferimento DOICopiato.