Skip to content
Назад к результатам поиска

Активное обучение с автоэнкодером для обнаружения аномалий

Автор метода
Multiple (Guo et al.; Pimentel et al.)
Год
2014–2018
Тип
Active learning + unsupervised deep anomaly detection hybrid
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Активное обучение с автоэнкодером для обнаружения аномалий сочетает бесконтрольное определение аномалий по ошибке реконструкции автоэнкодера с циклом запросов в рамках активного обучения.

Модель помечает экземпляры с высокой ошибкой как кандидатов в аномалии, выборочно запрашивает у человека-оракула метки для наиболее информативных из них и итеративно переобучается, достигая высокой точности обнаружения аномалий при небольшом бюджете на разметку.

Интуиция метода

Простой автоэнкодер учится реконструировать нормальные данные и помечает высокую ошибку реконструкции как аномальную, но не имеет обратной связи о том, верны ли эти метки. Активное обучение добавляет интеллектуальный этап запросов: после оценки всех неразмеченных образцов система выбирает наиболее неопределенные или имеющие наибольшую ошибку кандидатов и просит эксперта разметить только их. Каждый размеченный экземпляр немедленно улучшает понимание моделью того, что считать истинной аномалией, а что — шумным выбросом, поэтому граница обнаружения становится более четкой при минимальных усилиях по аннотированию.

История

Обнаружение аномалий на основе автоэнкодера возникло из литературы по обнаружению новизны в 2010-х годах, всесторонне рассмотренной Pimentel et al. (2014). Интеграция с активным обучением была вызвана практическими ограничениями на разметку в таких областях, как сетевые вторжения и медицинский мониторинг. К концу 2010-х годов работы Guo, Görnitz и других формализовали стратегии запросов, адаптированные к ландшафтам ошибок реконструкции, установив гибридный подход как признанный в литературе по глубокому обнаружению аномалий.

Когда применять

Используйте этот метод, когда у вас есть большой пул неразмеченных данных с редкими аномалиями, разметка данных дорога или требует экспертных суждений, и вы можете позволить себе только небольшой бюджет аннотирования. Он хорошо подходит для промышленного обнаружения неисправностей, скрининга медицинских аномалий, обнаружения мошенничества и обнаружения вторжений, где аномалии редки и гетерогенны. Избегайте его, когда у вас есть достаточно размеченных данных — методы с учителем будут работать лучше — или когда оракул недоступен или ненадежен. Он также неприменим, когда концепция аномалии меняется настолько быстро, что итеративное переобучение не успевает за ней.

Ограничения и замечания

  • Цикл запросов вносит задержку в процесс «человек в цикле»; оракул должен быть доступен на протяжении всего обучения.
  • Производительность зависит от качества стратегии запросов — плохая функция приобретения может потратить бюджет разметки на избыточные образцы.
  • Автоэнкодеры могут не обнаружить аномалии, которые случайно хорошо реконструируются (например, враждебные или внутрираспределительные выбросы).
  • Итеративное переобучение глубоких сетей может быть вычислительно затратным, особенно для больших моделей или потоковых данных.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Достигается высокая производительность обнаружения при небольшом бюджете разметки, что делает экспертное аннотирование экономически эффективным.
  • Этап автоэнкодера не требует никаких меток для начального обучения, что обеспечивает полезный холодный старт до каких-либо запросов.
  • Активные запросы концентрируют усилия по аннотированию на наиболее информативных граничных случаях, улучшая калибровку порога аномальности.
  • Гибкая архитектура: базовый автоэнкодер может быть заменен на сверточные, рекуррентные или вариационные варианты для различных модальностей данных.
  • Сочетает мощь представления глубокого обучения с эффективностью разметки активного обучения.

Применение

  • Обнаружение промышленных неисправностей и дефектов, где размеченные примеры неисправностей редки и дороги в получении.
  • Скрининг аномалий в медицинских изображениях с итеративной аннотацией рентгенологов.
  • Обнаружение сетевых вторжений с разметкой подозрительного трафика аналитиками безопасности.
  • Обнаружение мошенничества в финансовых транзакциях, где паттерны мошенничества развиваются, а размеченные случаи мошенничества редки.
  • Предиктивное обслуживание для данных датчиков временных рядов с минимальным количеством размеченных инженерами событий отказа.

Как это работает

Как это работает

1

Сначала автоэнкодер обучается на доступных неразмеченных данных — в идеале преимущественно на нормальных образцах. Энкодер сжимает каждый вход в латентное представление, а декодер реконструирует его. Сеть изучает многообразие нормальных паттернов, минимизируя ошибку реконструкции по всему обучающему набору.

2

После обучения каждый неразмеченный экземпляр получает оценку аномальности, равную его ошибке реконструкции (среднеквадратичная ошибка или средняя абсолютная ошибка). Экземпляры, которые автоэнкодер не может хорошо реконструировать, отклоняются от изученного нормального многообразия и получают наивысшие оценки.

Формула
s_i = \|x_i - \hat{x}_i\|^2
3

Функция приобретения активного обучения — такая как наибольшая ошибка реконструкции, выборка по разнице или неопределенность из последующего классификатора — выбирает наиболее информативные неразмеченные экземпляры и представляет их человеку-оракулу для разметки. На каждой итерации тратится лишь небольшой бюджет запросов.

4

Недавно размеченные экземпляры включаются в обучающий набор. Автоэнкодер (и любая последующая головка, обученная на парах размеченных аномалий/норм) переобучается или дообучается. Оценки аномальности пересчитываются, и цикл запросов-разметки-переобучения повторяется до исчерпания бюджета аннотирования.

5

Выбирается порог принятия решения по ошибке реконструкции — часто с помощью валидации на размеченном подмножестве — и все неразмеченные экземпляры выше него классифицируются как аномалии. Обратная связь от активного обучения делает этот выбор порога более обоснованным, чем полагаться на произвольный квантиль.

Частые ошибки

  • Обучение автоэнкодера на наборе данных, который уже содержит много аномалий, искажает базовую линию реконструкции и ухудшает оценку.
  • Использование только ошибки реконструкции в качестве функции запроса без учета разнообразия приводит к избыточным запросам в плотных нормальных областях.
  • Игнорирование дисбаланса классов при дообучении на размеченных данных; редкие метки аномалий требуют повышения веса или избыточной выборки.
  • Установка порога аномальности на неразмеченных данных без использования меток, предоставленных оракулом, сводит на нет цель активного обучения.
  • Преждевременное прекращение цикла запросов до стабилизации границы принятия решений и рассмотрение первоначальных оценок реконструкции как окончательных.

Часто задаваемые вопросы

Сколько размеченных запросов обычно требуется?

Результаты варьируются в зависимости от набора данных и редкости аномалий, но исследования обычно показывают значительный прирост при использовании всего 20–100 размеченных запросов. Ключ в том, что стратегия активного обучения концентрирует эти запросы на наиболее неопределенных образцах на границе принятия решений, а не на случайных.

Какую стратегию запросов следует использовать?

Наибольшая ошибка реконструкции — это простейшая отправная точка, и она часто конкурентоспособна. Более сложные варианты включают выборку по неопределенности из последующего бинарного классификатора, обученного на размеченном подмножестве, или гибридные стратегии, которые балансируют информативность с разнообразием, чтобы избежать запросов в избыточных кластерах.

Нужен ли вариационный автоэнкодер (VAE) вместо обычного автоэнкодера?

Стандартный автоэнкодер подходит для большинства табличных и последовательных задач. VAE предоставляют вероятностное латентное пространство, которое может дать лучшие оценки неопределенности для выбора запросов, что делает их предпочтительными для обработки изображений или когда важны калиброванные оценки неопределенности.

Как оценить производительность, когда большинство данных не размечено?

Используйте размеченное подмножество, предоставленное оракулом, в качестве выделенного набора для валидации, чтобы вычислить точность (precision), полноту (recall) и AUC-ROC. Для неразмеченного пула сообщите о распределениях ошибок реконструкции до и после итераций активного обучения, чтобы убедиться, что модель улучшается.

Можно ли использовать это в потоковом или онлайн-режиме?

Да, но цикл запросов должен быть адаптирован к скользящему окну или режиму мини-пакетов. Автоэнкодер должен обновляться инкрементально, а управление бюджетом должно учитывать дрейф концепции — аномалии, наблюдавшиеся в начале, могут отличаться от тех, которые появляются позже.

Похожие методы

Источники

  1. Pimentel, M. A. F., Clifton, D. A., Clifton, L., & Tarassenko, L. (2014). A review of novelty detection. Signal Processing, 99, 215–249.

    Открыть ссылку DOI
    Скопировано.
  2. Zhu, Y., Lukasiewicz, T. (2020). DPLAN: Discourse-level Plan-based Text Generation. Proceedings of the 28th International Conference on Computational Linguistics, 3464–3474. (See also: Guo et al. (2018). Deep Active Learning for Anomaly Detection. Neurocomputing, 290, 135–143.)

    Открыть ссылку на публикацию
    Скопировано.