Skip to content
Назад к результатам поиска

Байесовское автокодирующее обнаружение аномалий

Автор метода
Kingma, D. P. & Welling, M.; applied to anomaly detection by An & Cho
Год
2014–2015
Тип
Probabilistic generative model for unsupervised anomaly detection
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Байесовское автокодирующее обнаружение аномалий использует вариационный автокодировщик — вероятностную генеративную модель, обученную на нормальных данных, — для выявления аномалий по их высокой ошибке реконструкции или низкой вероятности в рамках изученного распределения.

Обработка скрытого пространства как вероятностного распределения, а не фиксированной точки, позволяет получать обоснованные оценки неопределенности наряду с каждой оценкой аномалии, что делает этот метод особенно ценным в задачах обнаружения с высокими ставками.

Интуиция метода

Стандартный автокодировщик учится сжимать и реконструировать свои обучающие данные; объекты, отличные от обучающего набора, реконструируются плохо и, таким образом, оцениваются как аномальные. Байесовская версия, обычно реализуемая как вариационный автокодировщик, идет дальше: вместо кодирования каждого входа в одну точку в скрытом пространстве, она кодирует его в вероятностное распределение. Это означает, что модель знает не только то, что, вероятно, является нормой, но и насколько она уверена в этой оценке. Оценки аномалий вычисляются как вероятности реконструкции, усредненные по апостериорному распределению скрытых переменных, поэтому они несут в себе присущую неопределенность, а не являются хрупкими точечными оценками.

История

Вариационный автокодировщик был представлен Кингмой и Веллингом в 2014 году как обоснованная основа для глубокого генеративного моделирования, сочетающая гибкость нейронных сетей с байесовским выводом скрытых переменных с помощью трюка репараметризации. Его применение к обнаружению аномалий было формализовано Аном и Чо в 2015 году, которые показали, что вероятность реконструкции — а не ошибка реконструкции — обеспечивает более надежную оценку аномалии. С тех пор байесовские автокодировщики стали стандартным инструментом в исследованиях по обнаружению аномалий без учителя, с расширениями для временных рядов, графовых данных и федеративных настроек.

Когда применять

Используйте байесовское автокодирующее обнаружение аномалий, когда у вас есть обширные неразмеченные нормальные данные, но мало или совсем нет подтвержденных меток аномалий, входное пространство имеет высокую размерность (например, изображения, сенсорные массивы, многоканальные временные ряды или широкие табличные данные), и вам нужны оценки неопределенности наряду с оценками аномалий для принятия последующих решений (например, медицинская визуализация, обнаружение мошенничества, промышленный контроль качества). Он превосходит более простые методы, такие как Isolation Forest или One-Class SVM, когда многообразие нормальных данных является сложным и нелинейным. Не используйте его, когда ваш набор данных мал (менее нескольких сотен образцов), ваш вход имеет низкую размерность с линейной структурой (классические статистические методы проще и более интерпретируемы), вам требуется строгая пропускная способность в реальном времени без ускорения GPU, или когда доступен явный класс аномалий и возможно контролируемое классифицирование.

Ограничения и замечания

  • Требует значительного объема обучающих данных нормальных примеров; скудные или гетерогенные данные нормального класса ухудшают производительность.
  • Обучение является вычислительно затратным — для нетривиальных размеров входных данных обычно требуется ускорение GPU.
  • Выбор гиперпараметров (размерность скрытого пространства, глубина архитектуры, бета-взвешивание члена KL) сильно влияет на результаты и требует тщательной настройки.
  • Коллапс апостериорного распределения — распространенная патология VAE, при которой кодировщик игнорирует вход, — может незаметно ухудшать оценки аномалий.
  • Интерпретация того, почему конкретный образец помечен как аномальный, остается сложной без дополнительного апостериорного анализа.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Предоставляет калиброванные оценки неопределенности для каждой оценки аномалии, поддерживая принятие решений с учетом рисков.
  • Обрабатывает высокоразмерные и нелинейные распределения данных, которые не поддаются линейным или ядерным методам.
  • Полностью без учителя: для обучения не требуются метки аномалий.
  • Изученное скрытое пространство может быть визуализировано и интерпретировано для понимания того, какие паттерны модель считает нормальными.
  • Гибкая архитектура позволяет включать предметно-специфические априорные знания и структурированные скрытые пространства.
  • Вероятность реконструкции более обоснована, чем необработанная среднеквадратичная ошибка, что снижает чувствительность к произвольному масштабированию.

Применение

  • Обнаружение промышленных дефектов в производстве с использованием данных визуального контроля.
  • Обнаружение аномалий в медицинских изображениях (например, обнаружение поражений на МРТ-снимках, обученное только на здоровых субъектах).
  • Обнаружение сетевых вторжений, где нормальные шаблоны трафика многочисленны, но атаки редки и разнообразны.
  • Обнаружение финансового мошенничества, когда размеченные случаи мошенничества недоступны или быстро устаревают.
  • Прогнозируемое обслуживание с помощью обнаружения аномалий сенсорных массивов на промышленном оборудовании.
  • Контроль качества научных данных, выявление необычных наблюдений в экспериментальных наборах данных.

Как это работает

Как это работает

1

Нейронная сеть-кодировщик отображает каждый вход x в параметры (среднее и дисперсию) гауссовского апостериорного распределения для скрытой переменной z, фиксируя неопределенность модели относительно сжатого представления, а не привязываясь к одному коду.

Формула
q_{\phi}(z|x) = \mathcal{N}(\mu_{\phi}(x),\,\sigma^{2}_{\phi}(x))
2

Скрытые коды извлекаются с помощью трюка репараметризации — добавления масштабированного шума к апостериорному среднему, — что делает шаг выборки дифференцируемым, так что вся сеть может быть обучена методом обратного распространения ошибки.

Формула
z = \mu_{\phi}(x) + \epsilon\,\sigma_{\phi}(x),\quad \epsilon \sim \mathcal{N}(0,I)
3

Сеть-декодер отображает выбранные скрытые коды обратно в распределения реконструкции в пространстве входов, изучая генеративный процесс нормальных данных.

Формула
p_{\theta}(x|z)
4

Обучение максимизирует нижнюю границу свидетельства (ELBO): ожидаемое логарифмическое правдоподобие реконструкции минус дивергенция Кульбака-Лейблера, которая удерживает апостериорное распределение близко к стандартному гауссовскому априорному распределению. Во время обучения используются только нормальные (внутрираспределенные) данные.

Формула
\mathcal{L} = \mathbb{E}_{q}[\log p_{\theta}(x|z)] - D_{\mathrm{KL}}(q_{\phi}(z|x)\|p(z))
5

На этапе инференса оценка аномалии вычисляется как отрицательное ожидаемое логарифмическое правдоподобие входа при декодере, усредненное по нескольким апостериорным выборкам. Высокие оценки указывают на входы, которые модель не может хорошо реконструировать в рамках своего изученного распределения нормальных данных.

Формула
s(x) = -\mathbb{E}_{z \sim q_{\phi}(z|x)}[\log p_{\theta}(x|z)]

Частые ошибки

  • Обучение на загрязненном наборе данных, который включает аномалии в «нормальном» классе, что приводит к тому, что модель изучает аномальные паттерны как нормальные.
  • Произвольный выбор порога оценки аномалии вместо использования отложенного валидационного набора известных нормальных примеров.
  • Игнорирование коллапса апостериорного распределения во время обучения, что может сделать ошибку реконструкции равномерно неинформативной.
  • Сравнение необработанных ошибок реконструкции между наборами данных с различными масштабами входных данных без нормализации.
  • Оценка только по точности на сильно несбалансированных тестовых наборах вместо использования AUROC или средней точности.

Часто задаваемые вопросы

Чем это отличается от стандартного (детерминированного) автокодировщика для обнаружения аномалий?

Стандартный автокодировщик отображает входы в фиксированные скрытые коды и оценивает аномалии по ошибке реконструкции. Байесовский (вариационный) автокодировщик отображает входы в скрытые распределения и оценивает аномалии по вероятности реконструкции, усредненной по апостериорным выборкам. Вероятностная формулировка дает более надежные оценки и явную неопределенность ценой большей сложности обучения.

Какую размерность скрытого пространства мне следует выбрать?

Размерность скрытого пространства должна быть достаточно большой, чтобы улавливать структуру нормальных данных, но достаточно малой, чтобы предотвратить запоминание моделью отдельных образцов. Начните с размерности примерно 5–20% от размерности входа и настройте ее с помощью качества реконструкции на отложенном нормальном наборе.

Нужно ли мне оборудование с GPU для использования этого метода?

Для табличных данных умеренной ширины (менее нескольких сотен признаков) CPU вполне подходит, но обучение будет медленным. Для изображений или высокоразмерных сенсорных данных настоятельно рекомендуется использовать GPU. Инференс (оценка) обычно намного быстрее обучения.

Как установить порог аномалии?

Порог не обучается во время тренировки. Используйте отложенный набор подтвержденных нормальных образцов и выберите перцентиль оценки (например, 95-й или 99-й), который обеспечивает приемлемый уровень ложноположительных срабатываний в вашей области. Избегайте выбора порога на тех же данных, которые используются для оценки окончательной производительности.

Может ли этот метод работать, если некоторые аномалии появляются в обучающем наборе?

Незначительное загрязнение (несколько процентов) часто допускается, потому что модель оптимизируется по мажоритарному классу. Однако сильное загрязнение изменяет то, что модель изучает как «нормальное», и его следует минимизировать путем максимально тщательной очистки обучающих данных.

Похожие методы

Источники

  1. Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. Proceedings of the 2nd International Conference on Learning Representations (ICLR 2014).

    Открыть ссылку на публикацию
    Скопировано.
  2. An, J. & Cho, S. (2015). Variational Autoencoder based Anomaly Detection using Reconstruction Probability. ICDM Workshop on Data Mining in Networks.

    Открыть ссылку на публикацию
    Скопировано.