Полуавтоматический Isolation Forest
- Автор метода
- Extended from Liu, F.T., Ting, K.M., and Zhou, Z-H. (iForest, 2008); semi-supervised variants developed by multiple authors ca. 2013–2020
- Год
- 2013–2020
- Тип
- Ensemble anomaly detection (semi-supervised extension)
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Полуавтоматический Isolation Forest расширяет классический детектор аномалий Isolation Forest, включая небольшой набор размеченных примеров аномалий (и, возможно, нормальных данных) наряду с большим неразмеченным набором данных.
Это руководство по меткам корректирует оценки аномальности модели, чтобы известные аномалии отделялись более надежно, преодолевая разрыв между полностью неконтролируемым и полностью контролируемым обнаружением.
Интуиция метода
Стандартный Isolation Forest оценивает аномалии по тому, насколько быстро случайное дерево изолирует точку — аномалии изолируются за меньшее количество разбиений. Но без каких-либо меток модель не получает обратной связи о том, что на самом деле считается аномальным в вашей области. Полуавтоматический Isolation Forest вводит небольшое количество подтвержденных примеров (известные аномалии или известные нормальные данные или оба) и использует их для калибровки или перевзвешивания процесса оценки. В результате присущая лесу способность к разделению направляется на те паттерны аномалий, которые действительно имеют значение, существенно сокращая ложные срабатывания и пропущенные обнаружения без необходимости полностью размеченного обучающего набора.
История
Isolation Forest был представлен Лю, Тингом и Чжоу в 2008 году как чисто неконтролируемый детектор аномалий, основанный на рекурсивном случайном разделении. Осознав, что даже несколько меток могут значительно улучшить обнаружение, исследователи примерно с 2013 года разработали полуавтоматические расширения, которые включают руководство по меткам в процесс оценки или взвешивания деревьев. Связанные теоретические основы для контролируемого обнаружения аномалий были заложены Гёрницем и др. (2013), а практические варианты SSIF появились в прикладных областях, посвященных обнаружению мошенничества и сетевых вторжений в конце 2010-х годов.
Когда применять
Используйте Полуавтоматический Isolation Forest, когда у вас есть большой пул неразмеченных данных, стоимость полного размечания непомерно высока, но вы можете получить метки хотя бы для небольшого набора подтвержденных аномалий (и, возможно, некоторых подтвержденных нормальных данных). Он особенно ценен для обнаружения редких событий в кибербезопасности, мошенничестве, предиктивном обслуживании и медицинском мониторинге, где эксперты в предметной области могут маркировать несколько известных инцидентов. Не используйте его, когда вообще нет размеченных аномалий (предпочтите стандартный Isolation Forest или One-Class SVM), когда данные являются высокоразмерными и разреженными без предварительной обработки, или когда уже имеется большой полностью размеченный набор (полностью контролируемый классификатор превзойдет его).
Ограничения и замечания
- Производительность снижается, если размеченные аномалии не являются репрезентативными для распределения аномалий в неразмеченных данных.
- Оптимальный механизм интеграции меток варьируется в зависимости от реализации; универсально доминирующего варианта пока не существует.
- Как и стандартный iForest, он может испытывать трудности с аномалиями, сгруппированными в центре данных, или с определенными мультимодальными распределениями.
- Требует осторожности, чтобы избежать утечки данных при оценке: размеченный набор не должен пересекаться с тестовым набором.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Достигает более высокой точности и полноты, чем полностью неконтролируемый iForest, путем привязки оценок к реальным размеченным аномалиям.
- Требует лишь небольшого количества меток, что делает его практичным, когда аннотирование дорого.
- Наследует от iForest суб-линейное время обучения и низкий объем памяти, масштабируясь до больших наборов данных.
- Обрабатывает высокоразмерные табличные данные без предположений о расстоянии или плотности.
- Уменьшает произвольный выбор порога: размеченная подвыборка обеспечивает принципиальную основу для калибровки.
Применение
- Обнаружение сетевых вторжений с использованием горстки подтвержденных образцов атак наряду с нормальным трафиком.
- Обнаружение финансовых мошенничеств, когда для разметки доступен только небольшой набор подтвержденных мошеннических транзакций.
- Предиктивное обслуживание: использование подтвержденных событий отказа для калибровки оценок аномалий на потоках датчиков.
- Медицинский мониторинг: руководство по оценке аномалий с использованием подтвержденных патологических случаев из электронных медицинских карт.
- Контроль качества в производстве, где только часть дефектных единиц была независимо проверена.
Как это работает
Как это работает
Доступные данные разделяются на небольшую размеченную подвыборку — содержащую подтвержденные аномалии, подтвержденные нормальные данные или оба класса — и большой неразмеченный пул. Размеченная подвыборка мала по замыслу; получение полных меток обычно дорого или непрактично, что именно является сценарием, на который нацелен этот метод.
Ансамбль деревьев изоляции строится на случайных подвыборках полного набора данных (размеченных плюс неразмеченных) в соответствии со стандартной процедурой iForest: на каждом внутреннем узле выбирается случайный признак и случайное значение разбиения в пределах диапазона этого признака для рекурсивного разделения данных до тех пор, пока каждая точка не будет изолирована.
Каждое наблюдение получает оценку аномальности, выведенную из его средней длины пути по всем деревьям. Более короткие средние пути — означающие более легкую изоляцию — дают более высокие оценки аномальности. Нормализованная оценка s(x, n) отображается в диапазон (0, 1], где значения, близкие к 1, указывают на сильных кандидатов на аномальность.
Формула
s(x, n) = 2^{-E[h(x)] / c(n)}Размеченные примеры используются для корректировки модели: в зависимости от варианта это может включать перевзвешивание деревьев или разбиений, которые корректно отделяют известные аномалии от нормальных данных, добавление термина потерь контролируемого обучения к агрегации оценок или использование размеченного набора для изучения границы принятия решений поверх неконтролируемых оценок. Этот шаг является определяющим отличием от стандартного iForest.
К оценкам аномальности применяется порог для получения бинарных решений аномалия / норма. Размеченная подвыборка позволяет выбирать порог на основе данных — например, выбирая отсечку, которая максимизирует F1 на размеченных примерах — вместо того, чтобы полагаться на произвольный процент.
Частые ошибки
- Использование только меток аномалий и игнорирование меток нормальных данных, когда оба доступны — включение подтвержденных нормальных данных может дополнительно обострить границу принятия решений.
- Оценка на тестовом наборе, который включает размеченные обучающие примеры, завышая метрики производительности.
- Выбор порога оценки аномальности по фиксированному процентилю вместо использования размеченного набора для калибровки.
- Предположение о робастности метода, когда размеченные аномалии охватывают только один подтип, в то время как неразмеченный пул содержит разнообразные паттерны аномалий.
- Пренебрежение предварительной обработкой высокоразмерных или смешанных признаков перед подгонкой, что может исказить выбор случайных разбиений.
Часто задаваемые вопросы
Сколько размеченных аномалий мне нужно?
Даже горстки — иногда всего 10–50 подтвержденных аномалий — может быть достаточно для осмысленной калибровки. Ключевое требование заключается в том, чтобы они были репрезентативными для типов аномалий, присутствующих в неразмеченном пуле. Более разнообразное покрытие меток по подтипам аномалий обычно дает больший выигрыш.
Чем это отличается от стандартного Isolation Forest?
Стандартный Isolation Forest является полностью неконтролируемым и оценивает аномалии исключительно по длине пути без какой-либо обратной связи из предметной области. Полуавтоматический Isolation Forest включает небольшой размеченный набор для корректировки оценок или весов деревьев, направляя модель к паттернам аномалий, которые действительно актуальны в вашей области, и обеспечивая принципиальную калибровку порога.
Могу ли я включить размеченные нормальные примеры, а также аномалии?
Да, и это, как правило, полезно. Размеченные нормальные данные помогают модели более четко различать граничные случаи. Некоторые варианты рассматривают размеченный набор как сбалансированный эталон для калибровки функции оценки, поэтому включение обоих классов, когда они доступны, улучшает границу принятия решений.
Следует ли мне использовать перекрестную проверку для оценки модели?
Да, но осторожно. Размеченная подвыборка должна быть исключена из тестового набора или правильно стратифицирована в нем, чтобы избежать утечки данных. Стратифицированное разделение на обучающую/тестовую выборку для размеченной части в сочетании с полным неразмеченным пулом для обучения является стандартной настройкой оценки.
Что, если мои размеченные аномалии не репрезентативны?
Руководство по меткам может привести к обратному эффекту, если размеченные аномалии охватывают лишь узкий срез истинного распределения аномалий. В этом случае модель может пропустить новые типы аномалий, которые ей не были показаны. Рекомендуется дополнить полуавтоматическое обнаружение неконтролируемой оценкой аномалий и отслеживать дрейф распределения в производственной среде.
Похожие методы
Источники
Görnitz, N., Kloft, M., Rieck, K., & Brefeld, U. (2013). Toward supervised anomaly detection. Journal of Artificial Intelligence Research, 46, 235–262.
Открыть ссылку на публикациюСкопировано.Isolation Forest. Wikipedia.
Открыть ссылку на публикациюСкопировано.