Isolation Forest semi-supervisionato
- Introdotto da
- Extended from Liu, F.T., Ting, K.M., and Zhou, Z-H. (iForest, 2008); semi-supervised variants developed by multiple authors ca. 2013–2020
- Anno
- 2013–2020
- Tipo
- Ensemble anomaly detection (semi-supervised extension)
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
L'Isolation Forest semi-supervisionato estende il classico rilevatore di anomalie Isolation Forest incorporando un piccolo insieme di esempi di anomalie (e possibilmente normali) etichettati accanto a un ampio set di dati non etichettati.
Questa guida tramite etichette regola i punteggi di anomalia del modello in modo che le anomalie note vengano separate in modo più affidabile, colmando il divario tra il rilevamento completamente non supervisionato e quello completamente supervisionato.
L’intuizione alla base del metodo
L'Isolation Forest standard assegna punteggi alle anomalie in base alla rapidità con cui un albero casuale isola un punto — le anomalie vengono isolate in meno suddivisioni. Ma senza alcuna etichetta, il modello non ha feedback su ciò che conta effettivamente come anomalo nel tuo dominio. L'Isolation Forest semi-supervisionato introduce un piccolo numero di esempi confermati (anomalie note, o normali note, o entrambi) e li utilizza per calibrare o ri-pesare il processo di punteggio. Il risultato è che il potere di separazione intrinseco della foresta viene indirizzato verso i pattern di anomalia che contano effettivamente, riducendo sostanzialmente i falsi allarmi e le mancate rilevazioni senza richiedere un set di addestramento completamente etichettato.
Storia
L'Isolation Forest è stato introdotto da Liu, Ting e Zhou nel 2008 come un rilevatore di anomalie puramente non supervisionato basato sul partizionamento ricorsivo casuale. Riconoscendo che anche poche etichette possono migliorare drasticamente il rilevamento, i ricercatori da circa il 2013 in poi hanno sviluppato estensioni semi-supervisionate che incorporano la guida delle etichette nel processo di punteggio o di ponderazione degli alberi. Le basi teoriche correlate sul rilevamento di anomalie supervisionato sono state poste da Görnitz et al. (2013), e varianti pratiche SSIF sono apparse in sedi applicate che affrontano frodi e intrusioni di rete verso la fine degli anni 2010.
Quando usarlo
Utilizza l'Isolation Forest semi-supervisionato quando hai un ampio pool di dati non etichettati, il costo dell'etichettatura completa è proibitivo, ma puoi ottenere etichette per almeno un piccolo insieme di anomalie confermate (e opzionalmente alcune normali confermate). È particolarmente prezioso per il rilevamento di eventi rari nella cybersecurity, frodi, manutenzione predittiva e monitoraggio medico, dove gli esperti di dominio possono etichettare una manciata di incidenti noti. Non utilizzarlo quando non sono disponibili affatto anomalie etichettate (preferisci Isolation Forest standard o One-Class SVM), quando i dati sono ad alta dimensionalità e sparsi senza pre-elaborazione, o quando è già disponibile un ampio set completamente etichettato (un classificatore completamente supervisionato lo supererà).
Limiti e considerazioni
- Le prestazioni degradano se le anomalie etichettate non sono rappresentative della distribuzione delle anomalie nei dati non etichettati.
- Il meccanismo ottimale di integrazione delle etichette varia tra le implementazioni; non esiste ancora una singola variante universalmente dominante.
- Come l'iForest standard, può avere difficoltà con anomalie raggruppate vicino al centro dei dati o con certe distribuzioni multimodali.
- Richiede attenzione per evitare la fuga di dati (data leakage) durante la valutazione: il set etichettato non deve sovrapporsi al set di test.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Ottiene maggiore precisione e richiamo rispetto all'iForest completamente non supervisionato ancorando i punteggi ad anomalie etichettate reali.
- Richiede solo un piccolo numero di etichette, rendendolo pratico quando l'annotazione è costosa.
- Eredita il tempo di addestramento sub-lineare e il basso impatto di memoria dell'iForest, scalando a grandi set di dati.
- Gestisce dati tabulari ad alta dimensionalità senza assunzioni di distanza o densità.
- Riduce la selezione arbitraria della soglia: il sottoinsieme etichettato fornisce una base di calibrazione principiale.
Applicazioni
- Rilevamento di intrusioni di rete utilizzando una manciata di campioni di attacco confermati insieme a traffico normale.
- Rilevamento di frodi finanziarie dove è disponibile solo un piccolo insieme di transazioni fraudolente confermate per l'etichettatura.
- Manutenzione predittiva: utilizzo di eventi di guasto confermati per calibrare i punteggi di anomalia sui flussi di sensori.
- Monitoraggio medico: guida del punteggio di anomalia con casi patologici confermati da cartelle cliniche elettroniche.
- Controllo qualità nella produzione dove solo una parte delle unità difettose è stata verificata in modo indipendente.
Come funziona
Come funziona
I dati disponibili vengono suddivisi in un piccolo sottoinsieme etichettato — contenente anomalie confermate, normali confermate, o entrambi — e un ampio pool non etichettato. Il sottoinsieme etichettato è piccolo per progettazione; ottenere etichette complete è solitamente costoso o impraticabile, che è precisamente lo scenario a cui questo metodo si rivolge.
Un ensemble di alberi di isolamento viene costruito su sotto-campioni casuali dell'intero set di dati (etichettato più non etichettato), seguendo la procedura standard iForest: a ogni nodo interno, viene scelta una feature casuale e un valore di split casuale nell'intervallo di quella feature per partizionare ricorsivamente i dati fino a quando ogni punto non viene isolato.
Ogni osservazione riceve un punteggio di anomalia derivato dalla sua lunghezza media del percorso attraverso tutti gli alberi. Percorsi medi più brevi — che significano un isolamento più facile — producono punteggi di anomalia più alti. Il punteggio normalizzato s(x, n) viene mappato a (0, 1], con valori vicini a 1 che indicano forti candidati all'anomalia.
Formula
s(x, n) = 2^{-E[h(x)] / c(n)}Gli esempi etichettati vengono utilizzati per aggiustare il modello: a seconda della variante, ciò può comportare la ri-ponderazione di alberi o split che separano correttamente le anomalie note dalle normali, l'aggiunta di un termine di perdita supervisionato all'aggregazione dei punteggi, o l'uso del set etichettato per apprendere un confine decisionale sopra i punteggi non supervisionati. Questo passaggio è la differenza distintiva rispetto all'iForest standard.
Viene applicata una soglia ai punteggi di anomalia aggiustati per produrre decisioni binarie anomalia / normale. Il sottoinsieme etichettato consente la selezione della soglia basata sui dati — per esempio, scegliendo il cut-off che massimizza F1 sugli esempi etichettati — piuttosto che fare affidamento su un percentile arbitrario.
Errori comuni
- Utilizzare solo etichette di anomalie e ignorare le etichette normali quando entrambe sono disponibili — includere normali confermate può affinare ulteriormente il confine decisionale.
- Valutare su un set di test che include gli esempi di addestramento etichettati, gonfiando le metriche di prestazione.
- Scegliere la soglia del punteggio di anomalia tramite un percentile fisso invece di utilizzare il set etichettato per la calibrazione.
- Supporre che il metodo sia robusto quando le anomalie etichettate coprono solo un sottotipo mentre il pool non etichettato contiene diversi pattern di anomalia.
- Trascurare la pre-elaborazione di feature ad alta dimensionalità o di tipo misto prima dell'addestramento, il che può distorcere la selezione dello split casuale.
Domande frequenti
Quante anomalie etichettate mi servono?
Anche una manciata — a volte solo 10-50 anomalie confermate — può fornire una calibrazione significativa. Il requisito chiave è che siano rappresentative dei tipi di anomalia presenti nel pool non etichettato. Una copertura più diversificata delle etichette tra i sottotipi di anomalia generalmente produce guadagni maggiori.
In cosa differisce dall'Isolation Forest standard?
L'Isolation Forest standard è completamente non supervisionato e assegna punteggi alle anomalie esclusivamente in base alla lunghezza del percorso, senza alcun feedback dal dominio. L'Isolation Forest semi-supervisionato incorpora un piccolo set etichettato per aggiustare i punteggi o i pesi degli alberi, indirizzando il modello verso pattern di anomalia che sono effettivamente rilevanti nel tuo dominio e consentendo una calibrazione principiale della soglia.
Posso includere anche esempi normali etichettati oltre alle anomalie?
Sì, ed è generalmente vantaggioso. Le normali etichettate aiutano il modello a distinguere i casi limite in modo più netto. Alcune varianti trattano il set etichettato come un riferimento bilanciato per calibrare la funzione di punteggio, quindi includere entrambe le classi quando disponibili migliora il confine decisionale.
Dovrei usare la cross-validation per valutare il modello?
Sì, ma con attenzione. Il sottoinsieme etichettato deve essere escluso o stratificato correttamente nel set di test per evitare la fuga di dati. Uno split stratificato train/test sulla porzione etichettata, combinato con l'intero pool non etichettato per l'addestramento, è l'impostazione di valutazione standard.
Cosa succede se le mie anomalie etichettate non sono rappresentative?
L'aggiustamento guidato dalle etichette può ritorcersi contro se le anomalie etichettate coprono solo una stretta fetta della vera distribuzione delle anomalie. In tal caso, il modello potrebbe mancare tipi di anomalia nuovi che non gli sono mai stati mostrati. È consigliabile integrare il rilevamento semi-supervisionato con il punteggio di anomalia non supervisionato e monitorare la deriva distributiva in produzione.
Metodi correlati
Fonti
Görnitz, N., Kloft, M., Rieck, K., & Brefeld, U. (2013). Toward supervised anomaly detection. Journal of Artificial Intelligence Research, 46, 235–262.
Apri il riferimento della pubblicazioneCopiato.Isolation Forest. Wikipedia.
Apri il riferimento della pubblicazioneCopiato.