Skip to content
Назад к результатам поиска

Активное обучение с использованием Isolation Forest

Автор метода
Das, S. et al. (active anomaly discovery framework); Liu, F. T. et al. (Isolation Forest base)
Год
2008–2019
Тип
Active learning wrapper over isolation forest anomaly detector
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Активное обучение с использованием Isolation Forest сочетает в себе мощность неконтролируемого обнаружения аномалий Isolation Forest с итеративной стратегией запросов, которая просит эксперта-человека пометить наиболее информативные экземпляры.

Результатом является детектор, который уточняет свои границы аномалий, используя минимальный бюджет на маркировку, что значительно повышает точность обнаружения редких и тонких аномалий по сравнению с чисто неконтролируемым базовым методом.

Интуиция метода

Isolation Forest оценивает аномалии по скорости их изоляции в случайных деревьях, но без знания предметной области он не может отличить действительно опасные аномалии от безвредных выбросов. Активное обучение добавляет человека в цикл: после того как лес оценит все экземпляры, он выбирает наиболее неоднозначные или имеющие наивысшие оценки и просит эксперта подтвердить или отклонить каждую метку аномалии. С каждой подтвержденной меткой модель может перевзвешивать или переранжировать будущие оценки. За несколько раундов обратной связи даже крошечное количество размеченных примеров направляет детектор от ложных срабатываний к реальным аномалиям, представляющим интерес.

История

Isolation Forest был представлен Лю, Тингом и Чжоу на ICDM 2008 как быстрый, масштабируемый и нетребовательный к предположениям детектор аномалий, который изолирует аномалии, а не моделирует нормальное поведение. Активное обучение систематически применялось к обнаружению аномалий с середины 2010-х годов. Дас и коллеги (ICDM 2019) формализовали фреймворк активного обнаружения аномалий, явно сочетающий оценщики на основе ансамблей — включая Isolation Forest — с итеративной экспертной обратной связью, показав, что горстка меток может конкурировать с полностью контролируемыми детекторами, обученными на сотнях примеров. С тех пор подход применялся в области мошенничества, обнаружения вторжений и анализа датчиков.

Когда применять

Используйте Активное обучение с использованием Isolation Forest, когда вы сталкиваетесь с задачей обнаружения аномалий на неразмеченных или в основном неразмеченных табличных данных и можете позволить себе небольшое количество экспертных меток — обычно 10–100 запросов за несколько раундов. Он особенно подходит для кибербезопасности, обнаружения мошенничества, предиктивного обслуживания и идентификации клинических выбросов, где ложные срабатывания дорогостоящи, а эксперт предметной области может надежно судить о представленном экземпляре. Не используйте его, когда нет надежного оракула, когда понятие аномалии нестабильно во времени или когда стоимость маркировки за экземпляр настолько высока, что даже 10 запросов невозможны. Чисто контролируемый классификатор следует предпочесть, как только появится размеченный набор данных из нескольких сотен аномалий.

Ограничения и замечания

  • Требует надежного и доступного оракула; если экспертные метки зашумлены или непоследовательны, обратная связь может ухудшить модель.
  • Стратегии запросов предполагают, что оценка всего пула на каждом раунде выполнима, что может быть дорогостоящим для очень больших наборов данных.
  • Подход труднее воспроизвести и аудировать, чем простой Isolation Forest, поскольку окончательная модель зависит от конкретных выбранных запросов и предоставленных меток.
  • Дрейф концепции — когда природа аномалий меняется со временем — не обрабатывается автоматически и может потребовать повторной инициализации активного цикла.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Использует масштабируемость и интерпретируемость Isolation Forest, одновременно внедряя экспертные знания с минимальными усилиями по маркировке.
  • Существенно повышает точность по сравнению с полностью неконтролируемым базовым методом, сокращая дорогостоящие ложные срабатывания в критически важных областях.
  • Стратегии запросов, не зависящие от модели (неопределенность, top-k, разнообразие), могут быть адаптированы к любому оценщику аномалий, а не только к Isolation Forest.
  • Хорошо работает в условиях несбалансированных классов, где аномалии чрезвычайно редки, а контролируемое обучение потребовало бы больших размеченных наборов данных.
  • Каждый раунд запросов обеспечивает немедленное, измеримое улучшение ранжирования аномалий, делая прогресс прозрачным для заинтересованных сторон.

Применение

  • Триггерная сортировка сетевых вторжений и кибербезопасности, где аналитики помечают небольшой набор подозрительных соединений за смену.
  • Обнаружение мошенничества с кредитными картами с периодическим анализом помеченных транзакций.
  • Предиктивное обслуживание в производстве, выявление редких отказов машин по потокам данных с датчиков при ограниченном количестве записей об отказах.
  • Обнаружение клинических выбросов в электронных медицинских картах, где клиницисты подтверждают необычные профили пациентов.
  • Контроль качества научных данных, выявление ошибок приборов в экспериментальных наборах данных, проверяемых учеными-предметниками.

Как это работает

Как это работает

1

Сначала Isolation Forest обучается на всех доступных неразмеченных данных. Каждый экземпляр получает оценку аномальности в зависимости от того, насколько быстро случайное рекурсивное разбиение изолирует его: экземпляры в разреженных, легко изолируемых областях получают высокие оценки. Этот неконтролируемый проход служит отправной точкой для цикла активного обучения с осмысленным начальным ранжированием.

2

Все экземпляры из пула неразмеченных данных ранжируются по их оценкам аномальности. Стратегия запросов — такая как выбор k экземпляров с наивысшими оценками или тех, чьи оценки попадают в область неопределенной границы — определяет экземпляры, для которых метка от оракула была бы наиболее информативной.

3

Выбранные экземпляры представляются эксперту предметной области (или симулированному оракулу в экспериментах), который помечает каждый как аномалию или норму. Требуется лишь небольшое количество запросов за раунд, что делает подход практичным, когда маркировка дорога или требует экспертного суждения.

4

Новые размеченные экземпляры включаются в модель. Это может означать перевзвешивание членов ансамбля, чьи пути согласуются с подтвержденными аномалиями, точную настройку порогов длины пути или переобучение с добавлением размеченного набора в качестве ограничений для обучения. Ранжирование оценок пересчитывается для оставшегося пула.

5

Цикл запросов-маркировки-обновления повторяется фиксированное количество раундов или до исчерпания бюджета на маркировку. Окончательный детектор отражает как общую структуру, уловленную исходным неконтролируемым лесом, так и экспертные знания, закодированные через обратную связь по меткам, что приводит к созданию высокоточного ранжировщика аномалий, адаптированного к предметной области.

Частые ошибки

  • Запрос экземпляров исключительно с наивысшими оценками аномальности может создать предвзятость подтверждения, из-за чего модель упустит новые типы аномалий, которые изначально кажутся нормальными.
  • Отчетность о производительности только по запрошенным экземплярам, а не по отложенному тестовому набору, что завышает оценки точности.
  • Рассмотрение меток оракула как истинных, без учета разногласий между оценщиками, особенно в медицинских или охранных контекстах.
  • Забывание переоценки всего неконтролируемого леса после обратной связи; устаревшие оценки могут сделать последующие раунды запросов неэффективными.

Часто задаваемые вопросы

Сколько размеченных экземпляров обычно требуется для значительного улучшения?

Исследования показывают, что 10–50 экспертных меток, распределенных по 3–5 раундам обратной связи, часто достаточно для существенного превосходства над чисто неконтролируемым Isolation Forest по точности, при условии, что метки оракула надежны.

Нужно ли переобучать базовый Isolation Forest с нуля после каждого раунда?

Не обязательно. Многие реализации перевзвешивают или переранжируют существующие пути деревьев без полного переобучения, что вычислительно эффективно. Полное переобучение с ограничениями по меткам является вариантом, когда размеченный набор становится достаточно большим, чтобы это оправдать.

Какая стратегия запросов лучше всего подходит для обнаружения аномалий?

Выбор top-k (выбор неразмеченных экземпляров с наивысшими оценками) прост и эффективен, когда аномалии редки. Стратегии, основанные на неопределенности или границе, помогают, когда граница аномалии неоднозначна. Стратегии, учитывающие разнообразие, уменьшают избыточность среди запросов.

Может ли этот подход обрабатывать потоковые или онлайн-данные?

Стандартный Isolation Forest является пакетным методом, поэтому расширения активного обучения также, как правило, ориентированы на пакетную обработку. Для потоковых настроек требуются онлайн-варианты или варианты с скользящим окном Isolation Forest, прежде чем можно будет применить активную обратную связь.

Как справедливо оценить модель, учитывая, что размечено лишь несколько экземпляров?

Выделите отдельный размеченный тестовый набор, который никогда не используется для запросов. Оценивайте точность, полноту и AUCROC на этом наборе в каждом раунде, чтобы отслеживать реальное улучшение, а не переобучение на запрошенных метках.

Похожие методы

Источники

  1. Das, S., Wong, W. K., Fern, A., Dietterich, T. G., & Amran Siddiqui, M. (2019). Incorporating Expert Feedback into Active Anomaly Discovery. In Proceedings of the 2019 IEEE International Conference on Data Mining (ICDM), pp. 1009–1014.

    Открыть ссылку на публикацию
    Скопировано.
  2. Liu, F. T., Ting, K. M., & Zhou, Z. H. (2008). Isolation Forest. In Proceedings of the 8th IEEE International Conference on Data Mining (ICDM), pp. 413–422.

    Открыть ссылку DOI
    Скопировано.