Skip to content
Назад к результатам поиска

Автоэнкодер для обнаружения аномалий

Автор метода
Hinton, G. E. & Salakhutdinov, R. R. (autoencoders); applied to anomaly detection through multiple authors in the 2010s
Год
2006–2014
Тип
Unsupervised deep learning (reconstruction-based)
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Автоэнкодер для обнаружения аномалий обучает нейронную сеть сжимать, а затем реконструировать нормальные данные.

Поскольку модель научилась только тому, как выглядят нормальные данные, аномальные входные данные приводят к заметно более высоким ошибкам реконструкции — и эти ошибки становятся оценкой аномальности. Метод не требует размеченных аномалий и естественно масштабируется до данных высокой размерности, таких как потоки датчиков, изображения и журналы.

Интуиция метода

Автоэнкодер вынужден описывать данные меньшим количеством чисел, чем изначально, а затем восстанавливать оригинал. При обучении исключительно на нормальных примерах он становится очень хорош в реконструкции нормальных паттернов и плох в реконструкции чего-либо необычного. Ошибка реконструкции, следовательно, действует как естественная сигнализация: низкая ошибка означает, что входные данные выглядят знакомыми; высокая ошибка сигнализирует о чем-то, чего модель никогда раньше не видела и поэтому не может точно воспроизвести. Устанавливая порог этой ошибки, вы преобразуете непрерывную оценку в бинарный флаг аномалии.

История

Автоэнкодеры как инструменты снижения размерности были популяризированы в статье Хинтона и Салахутдинова 2006 года в журнале Science о глубоких сетях доверия. Их применение для обнаружения аномалий росло в 2010-х годах по мере развития глубокого обучения; Винсент и др. (2010) представили шумоподавляющие автоэнкодеры, и к середине 2010-х годов автоэнкодеры стали стандартным базовым методом для необучаемого обнаружения аномалий в промышленных и кибербезопасных доменах. Обзор Чалапати и Чавлы 2019 года обобщил лучшие практики в этой области.

Когда применять

Используйте автоэнкодер для обнаружения аномалий, когда размеченные примеры аномалий редки или отсутствуют, когда нормальный класс хорошо представлен, и когда размерность данных слишком высока для классических методов, таких как one-class SVM. Он отлично подходит для временных рядов датчиков, журналов сетевого трафика, медицинской визуализации и контроля качества производства. Избегайте его, когда нормальное распределение данных чрезвычайно разнообразно или мультимодально (автоэнкодер может не найти компактное представление), когда у вас очень маленький набор данных (глубокие сети нуждаются в достаточном количестве данных для обобщения), или когда достаточно простого, интерпретируемого правила на основе порогов. Не применяйте его, когда размеченные данные аномалий действительно доступны — в этом случае классификаторы с учителем или полуавтоматические классификаторы почти всегда будут превосходить его.

Ограничения и замечания

  • Требует достаточно большой и репрезентативной выборки нормальных данных; редкие нормальные подпаттерны могут быть реконструированы плохо, даже не будучи аномальными.
  • Выбор порога является эвристическим и чувствительным: плохо выбранный tau приводит к чрезмерным ложным срабатываниям или пропущенным аномалиям.
  • Интерпретируемость низкая — ошибка реконструкции показывает, что аномалия существует, но не указывает, какие признаки ее вызвали, без дополнительного анализа (например, разложения ошибки по признакам).
  • Обучение глубоких сетей требует настройки архитектуры, скорости обучения и регуляризации; метод не так прост в использовании, как isolation forest или one-class SVM.
  • Если аномалии загрязняют обучающий набор, модель частично учится их реконструировать, снижая чувствительность обнаружения.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Не требует размеченных примеров аномалий — для обучения нужны только нормальные данные.
  • Естественно масштабируется до входных данных высокой размерности, таких как изображения, временные ряды и многоканальные потоки датчиков.
  • Производит непрерывную оценку аномальности, позволяя ранжировать оповещения по приоритету, а не использовать бинарный флаг.
  • Может улавливать сложные, нелинейные нормальные паттерны, которые линейные методы, такие как PCA, не могут представить.
  • Архитектура гибка: сверточные слои для изображений, LSTM-слои для последовательностей, полносвязные слои для табличных данных.

Применение

  • Промышленное предиктивное обслуживание: обнаружение неисправностей машин по потокам вибрации и температуры датчиков.
  • Кибербезопасность: выявление аномального сетевого трафика или попыток вторжения по журналам на уровне пакетов.
  • Медицинская визуализация: выявление патологических областей на МРТ или КТ-снимках при нехватке данных с аннотированными поражениями.
  • Обнаружение финансовых мошенничеств: выявление необычных паттернов транзакций в данных кредитных карт или банковских операций.
  • Контроль качества производства: обнаружение дефектных продуктов по изображениям с камер на сборочной линии.
  • ИТ-операции: обнаружение аномальных метрик серверов или приложений в конвейерах AIOps.

Как это работает

Как это работает

1

Сеть автоэнкодера обучается исключительно на данных, представляющих нормальные условия эксплуатации. Цель состоит в минимизации потерь при реконструкции (обычно среднеквадратичной ошибки) на этом обучающем наборе, состоящем только из нормальных данных, чтобы сеть выучила компактные внутренние представления того, как выглядят нормальные данные. Метки аномалий не требуются.

2

При инференсе каждый вход x пропускается через энкодер, который сжимает его в низкоразмерный латентный вектор, а затем через декодер, который реконструирует вход обратно в исходное пространство. Пара энкодер-декодер параметризуется обученными весами и улавливает геометрию многообразия нормальных данных.

Формула
\hat{x} = f_{\theta}(g_{\phi}(x))
3

Ошибка реконструкции e(x) — квадратное (или абсолютное) различие между входом и его реконструкцией — вычисляется для каждого наблюдения. Поскольку автоэнкодер выучил только нормальное многообразие, аномальные входные данные оказываются далеко от этого многообразия, приводя к высоким ошибкам.

Формула
e(x) = \|x - \hat{x}\|^2
4

Выбирается порог принятия решения tau, обычно из распределения ошибок реконструкции на отложенном нормальном валидационном наборе (например, 95-й или 99-й перцентиль). Этот порог преобразует непрерывную оценку ошибки в бинарную границу принятия решения. Выбор tau компромиссно определяет ложные срабатывания по сравнению с пропущенными аномалиями.

5

Любое наблюдение, чья ошибка реконструкции превышает tau, помечается как аномалия. Величина превышения также может служить оценкой уверенности, позволяя ранжировать оповещения по приоритету, а не принимать жесткое бинарное решение.

Формула
\text{anomaly if } e(x) > \tau

Частые ошибки

  • Обучение на наборе данных, который включает аномалии без их предварительной очистки, в результате чего модель учится реконструировать те самые паттерны, которые она должна была бы выявлять.
  • Установка порога на самом обучающем наборе, а не на отложенном валидационном наборе, что приводит к оптимистичному порогу, который не работает в развертывании.
  • Сравнение ошибок реконструкции для признаков с разными масштабами без нормализации входных данных, что приводит к тому, что ошибка определяется признаками с высокой дисперсией.
  • Использование узкого места (bottleneck) слишком большого размера, что позволяет автоэнкодеру выучить почти тождественное отображение, которое точно реконструирует все, включая аномалии.
  • Отчетность только по метрикам бинарной классификации (точность) вместо precision-recall и AUROC, которые гораздо более информативны для задач обнаружения аномалий с несбалансированными классами.

Часто задаваемые вопросы

Как выбрать размер узкого места (bottleneck)?

Узкое место должно быть достаточно малым, чтобы заставить сжимать нормальные паттерны, но достаточно большим, чтобы не потерять существенную структуру. Общепринятая практика — начать примерно с 10–30% размерности входных данных и настраивать, наблюдая качество реконструкции на отложенных нормальных данных.

Что делать, если мои нормальные данные имеют несколько мод (например, разные рабочие состояния машины)?

Один автоэнкодер может не одинаково хорошо выучить все моды, производя ложные срабатывания в недостаточно представленных, но нормальных состояниях. Варианты включают обучение отдельного автоэнкодера для каждой моды, использование подхода смеси автоэнкодеров или условирование на известной метке моды, если она доступна.

Как установить порог аномальности?

Вычислите ошибки реконструкции на чистом отложенном валидационном наборе нормальных данных и установите tau на высоком перцентиле (95-й или 99-й, в зависимости от допустимого уровня ложных срабатываний). Если существуют размеченные аномалии, настройте tau для максимизации F1 или желаемого компромисса между точностью и полнотой (precision-recall).

Как это сравнивается с isolation forest или one-class SVM?

Isolation forest и one-class SVM, как правило, проще в настройке и более интерпретируемы на табличных данных низкой и средней размерности. Автоэнкодеры становятся выгодны, когда размерность очень высока, когда важна временная или пространственная структура, или когда входными данными являются необработанные пиксели или волновые формы.

Можно ли использовать вариационный автоэнкодер (VAE) вместо этого?

Да. VAE обучают вероятностное латентное пространство и позволяют оценивать аномальность через вероятность реконструкции, а не через сырую MSE, что часто улучшает калибровку. Они являются естественным расширением, когда нормальное распределение сложное или когда вам нужны хорошо откалиброванные оценки неопределенности.

Похожие методы

Источники

  1. Chalapathy, R. & Chawla, S. (2019). Deep learning for anomaly detection: A survey. arXiv preprint arXiv:1901.03407.

    Открыть ссылку на публикацию
    Скопировано.
  2. Hinton, G. E. & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. Science, 313(5786), 504–507.

    Открыть ссылку DOI
    Скопировано.