Skip to content
Назад к результатам поиска

Ансамблевое обнаружение аномалий на основе автокодировщиков

Автор метода
Chen, J., Sathe, S., Aggarwal, C., & Turaga, D.
Год
2017
Тип
Ensemble unsupervised anomaly detection
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Ансамблевое обнаружение аномалий на основе автокодировщиков обучает множество нейронных сетей автокодировщиков на данных нормального класса и агрегирует их ошибки реконструкции для получения надежной оценки аномальности.

Комбинируя разнообразные автокодировщики вместо того, чтобы полагаться на один, метод стабилизирует ранжирование выбросов и снижает чувствительность к случайной инициализации или субоптимальным архитектурным решениям.

Интуиция метода

Один автокодировщик учится сжимать, а затем реконструировать нормальные наблюдения; аномалии сжимаются плохо и дают высокую ошибку реконструкции. Проблема в том, что оценка аномальности одного автокодировщика хрупка — она зависит от конкретной случайной инициализации и архитектуры. Ансамбль обучает множество автокодировщиков на различных случайных подмножествах признаков или данных, а затем усредняет их ошибки реконструкции. Индивидуальные особенности каждой сети компенсируются, создавая более стабильный, уверенный сигнал аномальности, который труднее обмануть и легче нормализовать.

История

Обнаружение аномалий на основе автокодировщиков получило популярность после работы Хинтона и Салахутдинова 2006 года по глубоким автокодировщикам, где высокая ошибка реконструкции стала естественным сигналом выбросов. Ансамблевое расширение было формализовано Чен, Сатхе, Аггарвалом и Турагой на конференции SIAM Data Mining 2017 года, которые показали, что диверсификация автокодировщиков с помощью мешков признаков надежно превосходит любую отдельную модель. Этот подход теперь регулярно появляется в промышленных конвейерах обнаружения аномалий для сетевых вторжений, предиктивного обслуживания и медицинского мониторинга.

Когда применять

Используйте, когда у вас есть преимущественно неразмеченные данные, и вы хотите обнаружить редкие аномалии в многомерных непрерывных признаках — например, потоки датчиков, журналы транзакций или медицинские сигналы — и один автокодировщик показал нестабильность при различных запусках. Также эффективно, когда нет меток аномалий, и вам нужна неконтролируемая базовая линия с лучшей стабильностью, чем у одной сети. Избегайте, когда набор данных очень мал (менее нескольких сотен нормальных наблюдений на признак), так как автокодировщики не смогут изучить осмысленное многообразие. Не используйте для категориальных или разреженных текстовых данных без соответствующей предварительной обработки встраиваниями, и не используйте, когда достаточно одного хорошо настроенного isolation forest или one-class SVM, так как ансамбли увеличивают время обучения и сложность.

Ограничения и замечания

  • Обучение K автокодировщиков умножает вычислительные и ресурсные требования; большие ансамбли на глубоких сетях являются дорогостоящими.
  • Предполагает, что аномалии характеризуются высокой ошибкой реконструкции — могут быть пропущены состязательные или структурированные аномалии, которые лежат на изученном многообразии.
  • Чувствителен к доле аномалий в обучающих данных; сильное загрязнение ухудшает изученное нормальное многообразие и подавляет оценки аномалий.
  • Выбор гиперпараметров (количество моделей, архитектура, функция агрегации) требует валидационных данных или знаний предметной области.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Снижает дисперсию оценок аномальности по сравнению с одним автокодировщиком, обеспечивая более стабильное ранжирование между различными случайными начальными условиями.
  • Агрегация разнообразных детекторов улавливает различные аспекты нормальности, улучшая полноту обнаружения гетерогенных типов аномалий.
  • Полностью неконтролируемый — метки аномалий не требуются, только нормальные или смешанные неразмеченные данные.
  • Масштабируется до многомерных непрерывных данных, где методы, основанные на расстоянии, такие как обнаружение аномалий k-NN, деградируют.
  • Совместим с широким спектром архитектур автокодировщиков (обычные, вариационные, сверточные) для соответствия структуре данных.
  • Оценка ансамбля легче поддается надежной калибровке порога, чем оценка одной сети, что снижает усилия по настройке.

Применение

  • Обнаружение сетевых вторжений на основе многомерных признаков пакетов или потоков.
  • Оценка аномальности для предиктивного обслуживания на многомерных временных рядах датчиков.
  • Обнаружение мошенничества с финансовыми транзакциями в неразмеченных или слабо размеченных потоках.
  • Мониторинг медицинских биосигналов (ЭКГ, ЭЭГ) для выявления редких патологических паттернов.
  • Контроль качества на производстве, где примеры дефектов редки.
  • Базовая неконтролируемая оценка выбросов перед кампаниями по маркировке с активным обучением.

Как это работает

Как это работает

1

K автокодировщиков обучаются независимо на (предполагаемых) нормальных обучающих данных, каждый с различной случайной инициализацией и, опционально, различными подмножествами входных признаков или сетевыми архитектурами. Обучение побуждает каждую сеть минимизировать потерю реконструкции на нормальных образцах, тем самым изучая многообразие нормального поведения.

2

Для каждого тестового наблюдения каждый автокодировщик кодирует его в латентное представление и декодирует обратно. Квадрат расстояния L2 между исходным входом и реконструкцией является оценкой аномальности для каждой сети: высокая ошибка сигнализирует об отклонении наблюдения от изученного нормального многообразия.

Формула
e_i^{(k)} = \|x_i - \hat{x}_i^{(k)}\|_2
3

K индивидуальных оценок агрегируются в единую оценку аномальности для каждого наблюдения — обычно путем усреднения, взятия максимума или применения рангово-нормализованной комбинации. Усреднение снижает дисперсию; максимум более чувствителен к тому, что хотя бы один детектор обнаруживает аномалию.

Формула
s_i = f(e_i^{(1)}, e_i^{(2)}, \ldots, e_i^{(K)})
4

К агрегированной оценке применяется порог для маркировки наблюдений как аномальных. Порог обычно выбирается по целевому уровню ложноположительных срабатываний на отложенных нормальных данных или путем рассмотрения p процентов самых высоких значений оценки как аномалий при отсутствии истинных меток.

Частые ошибки

  • Включение аномалий в обучающий набор без ведома — это искажает изученное нормальное многообразие и подавляет оценки аномалий для этого загрязнения.
  • Оценка только на обучающем наборе без отложенного нормального образца для калибровки порога, что приводит к чрезмерно уверенным меткам аномалий.
  • Использование только ошибки реконструкции без проверки вклада по каждому измерению, что маскирует, какие признаки определяют оценку аномальности.
  • Рассмотрение ансамбля как не требующего настройки — количество автокодировщиков, их глубина и функция агрегации влияют на производительность и должны быть валидированы.
  • Применение метода к наборам данных с очень малым количеством наблюдений по отношению к количеству признаков, где автокодировщики не могут обобщить, и каждая точка кажется аномальной.

Часто задаваемые вопросы

Сколько автокодировщиков должен содержать ансамбль?

Исследования предполагают убывающую отдачу за пределами примерно 10–20 разнообразных сетей. Начните с 10 и следите за тем, стабилизируется ли агрегированная оценка при различных запусках; если она все еще варьируется, добавьте больше или увеличьте разнообразие с помощью подвыборки признаков.

Как мне ввести разнообразие среди автокодировщиков?

Распространенные стратегии включают случайную инициализацию, случайные подмножества входных признаков (мешки признаков), различные размеры латентного пространства, коэффициенты отсева или различные архитектуры (мелкие против глубоких). Мешки признаков являются простейшими и наиболее эффективными для табличных данных.

Нужны ли обучающие данные без аномалий?

В идеале да, но умеренное загрязнение (менее примерно 5%) допустимо. Если доля аномалий выше, автокодировщик научится хорошо их реконструировать, и оценки аномалий снизятся. Предварительная фильтрация с помощью более простого детектора (isolation forest) перед обучением автокодировщиков может помочь.

Как мне установить порог аномальности?

Если у вас есть целевой уровень ложноположительных срабатываний (например, 1%), установите порог на соответствующем перцентиле распределения оценок на отложенных нормальных данных. Без каких-либо меток рассматривайте p процентов самых высоких оценок как аномалии и валидируйте с экспертами предметной области или с помощью метрик последующей оценки.

Когда один автокодировщик лучше ансамбля?

Когда вычислительные ресурсы сильно ограничены, набор данных мал, или один хорошо настроенный автокодировщик уже демонстрирует стабильную производительность при различных начальных условиях. Ансамбли приносят пользу в основном тогда, когда дисперсия отдельных моделей высока или ожидается разнообразие аномалий.

Похожие методы

Источники

  1. Chen, J., Sathe, S., Aggarwal, C., & Turaga, D. (2017). Outlier Detection with Autoencoder Ensembles. In Proceedings of the 2017 SIAM International Conference on Data Mining (SDM), pp. 90–98. SIAM.

    Открыть ссылку на публикацию
    Скопировано.
  2. Aggarwal, C. C. (2017). Outlier Analysis (2nd ed., Ch. 3 & 9). Springer.

    ISBN: 978-3-319-47578-3
    Скопировано.