Полуавтоматическое обнаружение аномалий с помощью автоэнкодера
- Автор метода
- Ruff, L. et al.; Zong, B. et al.
- Год
- 2018–2020
- Тип
- Semi-supervised deep anomaly detection
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Полуавтоматическое обнаружение аномалий с помощью автоэнкодера обучает нейронный автоэнкодер преимущественно на нормальных (неразмеченных) данных, затем использует небольшое количество размеченных аномалий для уточнения границ принятия решений, обнаруживая аномалии как выборки с высокой ошибкой реконструкции.
Этот метод устраняет разрыв между чисто неконтролируемыми автоэнкодерами и полностью контролируемыми классификаторами, когда метки редки, но существуют некоторые известные аномалии.
Интуиция метода
Стандартный автоэнкодер хорошо обучается сжимать и реконструировать нормальные данные; аномалии, которые он никогда не видел, реконструируются плохо, поэтому ошибка реконструкции помечает их. Чисто неконтролируемые автоэнкодеры не имеют ориентира для определения того, что считать аномальным — они знают только, что является нормальным. Полуавтоматический вариант использует небольшой набор размеченных аномалий в качестве отрицательных примеров во время дообучения, приближая границу принятия решений модели к реальным аномалиям без необходимости полного контроля. Результатом является детектор, который является как эффективным по данным, так и лучше откалиброванным, чем любой из крайних случаев по отдельности.
История
Неконтролируемое обнаружение аномалий с помощью автоэнкодера получило распространение после подъема глубокого обучения примерно в 2014 году. Zong et al. (ICLR 2018) интегрировали автоэнкодеры с гауссовыми смешанными моделями для неконтролируемого подсчета аномалий. Ruff et al. (ICLR 2020) формализовали полуавтоматический вариант, продемонстрировав, что даже горстка размеченных аномалий значительно улучшает обнаружение по сравнению с чисто неконтролируемыми базовыми методами, установив широко используемую сегодня структуру.
Когда применять
Рекомендуется, когда у вас есть обильные неразмеченные данные, преимущественно нормальные, плюс небольшой, но надежный набор подтвержденных аномалий, а стандартные неконтролируемые детекторы аномалий дают слишком много ложных срабатываний. Особенно эффективно для высокоразмерных или нелинейных данных, таких как сигналы датчиков, сетевой трафик или изображения, где традиционные методы (например, one-class SVM) масштабируются плохо. Не используйте, когда размеченные аномалии вообще отсутствуют (предпочтите неконтролируемые автоэнкодеры) или когда у вас достаточно меток для полного контролируемого классификатора. Избегайте при очень малых наборах данных (менее нескольких сотен выборок), где глубокая сеть не может обобщить.
Ограничения и замечания
- Требует тщательного разделения: если неразмеченный пул содержит много аномалий, предварительное обучение будет испорчено, и производительность значительно снизится.
- Глубокие автоэнкодеры требуют значительных вычислительных ресурсов для обучения и настройки по сравнению с мелкими методами.
- Интерпретируемость ограничена; сигнал ошибки реконструкции не объясняет, какие признаки вызвали аномалию.
- Чувствителен к выбору глубины архитектуры, латентного измерения и веса потерь между неконтролируемой и контролируемой целями.
- Выбор порога нетривиален и должен быть проверен на отложенном размеченном наборе данных, чтобы избежать произвольных отсечений.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Эффективно использует большие объемы неразмеченных нормальных данных наряду с редкими размеченными аномалиями, максимизируя эффективность использования данных.
- Обрабатывает высокоразмерные и нелинейные пространства признаков гораздо лучше, чем методы на основе ядер, такие как one-class SVM.
- Оценка аномальности (ошибка реконструкции) является непрерывной, что позволяет точно настраивать порог для соответствия операционным требованиям.
- Предварительное обучение на нормальных данных обеспечивает сильный априорный сигнал, уменьшая количество необходимых размеченных аномалий по сравнению с полностью контролируемым подходом.
- Архитектура гибка и может включать сверточные, рекуррентные или трансформерные слои для изображений, временных рядов или текста.
Применение
- Промышленное обнаружение неисправностей и дефектов в потоках датчиков или телеметрии, где сбойные события редки, но задокументированы.
- Обнаружение сетевых вторжений и аномалий в кибербезопасности с известными сигнатурами атак в качестве размеченных начальных точек.
- Скрининг медицинских изображений или клинических данных, где подтвержденные патологические случаи редки.
- Обнаружение финансовых мошенничеств, сочетающее обильные нормальные транзакции с небольшим количеством подтвержденных мошеннических.
- Конвейеры предиктивного обслуживания, где исторические записи о сбоях служат примерами размеченных аномалий.
Как это работает
Как это работает
Обучающий набор данных разделяется на большой пул неразмеченных данных (предположительно в основном нормальных) и небольшой, тщательно отобранный набор размеченных аномалий. Это разделение отражает реальную редкость подтвержденных меток аномалий, при этом используя любой доступный сигнал истинности.
Сеть энкодер-декодер предварительно обучается на неразмеченном пуле для минимизации потерь на реконструкцию, изучая компактное латентное представление нормальных паттернов. Этот этап формирует фундаментальное представление о том, как выглядит нормальное, без необходимости каких-либо меток.
На втором этапе включаются размеченные аномалии — либо путем добавления классификационной головки, либо путем использования контрастивной или гиперсферной функции потерь (как в расширениях Deep SVDD), либо путем штрафования низкой ошибки реконструкции для известных аномалий. Это отодвигает границу принятия решений от подтвержденных аномальных точек.
Во время инференса каждая выборка пропускается через обученный автоэнкодер. Оценка аномальности обычно представляет собой ошибку реконструкции (среднеквадратичную ошибку между входом и выходом). Опционально также используется расстояние в латентном пространстве от центроида нормального класса.
Формула
s(x) = \|x - \hat{x}\|^2Порог оценки аномальности выбирается — с использованием размеченных аномалий, кривой точности-полноты или целевого уровня ложноположительных срабатываний — для получения бинарных меток нормальный/аномальный. Выбор порога напрямую определяет компромисс между точностью и полнотой.
Частые ошибки
- Загрязнение неразмеченного пула предварительного обучения необнаруженными аномалиями, что подрывает представление нормальных данных.
- Рассмотрение ошибки реконструкции как калиброванной вероятности без надлежащей калибровки порога по отношению к размеченным примерам.
- Использование одного разделения на обучение/тестирование без перекрестной проверки, что приводит к излишне оптимистичным оценкам производительности для редких классов аномалий.
- Выбор латентного измерения без экспериментов, либо слишком малого (потеря информации), либо слишком большого (автоэнкодер реконструирует аномалии так же хорошо, как и нормальные данные).
- Игнорирование дисбаланса классов при вычислении метрик оценки — точность бессмысленна при сильном дисбалансе; вместо этого используйте AUROC и среднюю точность.
Часто задаваемые вопросы
Сколько размеченных аномалий необходимо?
Метод может работать с всего лишь дюжиной подтвержденных аномалий, но производительность значительно улучшается при увеличении до нескольких сотен. Ключевым моментом является то, что размеченные аномалии должны охватывать основные типы аномального поведения, присутствующие в домене.
Что делать, если мой неразмеченный пул содержит скрытые аномалии?
Загрязнение неразмеченными данными является основным режимом отказа. Примените предварительный неконтролируемый фильтр (например, isolation forest) для удаления очевидных выбросов из пула предварительного обучения перед дообучением.
Как выбрать порог ошибки реконструкции?
Используйте ваш набор размеченных аномалий и кривую точности-полноты, чтобы выбрать порог, соответствующий вашей операционной терпимости к ложным срабатываниям и ложным пропускам. Никогда не выбирайте порог на тех же данных, которые использовались для обучения модели.
Лучше ли это, чем one-class SVM или isolation forest?
На высокоразмерных или нелинейных данных с хотя бы несколькими размеченными аномалиями полуавтоматические автоэнкодеры обычно превосходят one-class SVM и isolation forest. На низкоразмерных табличных данных с очень малыми выборками более простые методы могут соответствовать или превосходить его производительность при более низкой стоимости.
Какие метрики оценки следует сообщать?
Сообщайте AUROC и среднюю точность (площадь под кривой точности-полноты) на отложенном тестовом наборе, который сохраняет истинную распространенность аномалий. Точность и F1 при фиксированном пороге должны быть второстепенными метриками, с предоставленным обоснованием порога.
Похожие методы
Источники
Ruff, L., Vandermeulen, R. A., Franks, B. J., Müller, K.-R., & Kloft, M. (2020). Deep Semi-Supervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2020).
Открыть ссылку на публикациюСкопировано.Zong, B., Song, Q., Min, M. R., Cheng, W., Lumezanu, C., Cho, D., & Chen, H. (2018). Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2018).
Открыть ссылку на публикациюСкопировано.