Одноклассовая SVM с частичной разметкой
- Автор метода
- Extension of Scholkopf et al. (2001); semi-supervised variants studied ca. 2004–2010
- Год
- 2001–2004
- Тип
- Semi-supervised anomaly / novelty detection
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Полуавтоматическая одноклассовая SVM расширяет классический детектор аномалий One-class SVM за счет включения неразмеченных наблюдений наряду с небольшим набором известных нормальных примеров.
Неразмеченные данные помогают модели изучить более четкую, более информативную границу принятия решений в признаковом пространстве, уменьшая ложные срабатывания и улучшая обнаружение аномалий по сравнению с чисто неконтролируемым базовым уровнем.
Интуиция метода
Стандартная одноклассовая SVM проводит границу вокруг размеченных нормальных данных в пространстве признаков, преобразованном с помощью ядра, и помечает все, что находится снаружи, как аномальное. Проблема в том, что при малом количестве размеченных примеров граница получается свободной и зашумленной. Полуавтоматическая одноклассовая SVM использует пул неразмеченных примеров — большинство из которых, вероятно, являются нормальными — чтобы подтянуть эту границу внутрь, к более плотным областям. Представьте, что вы учите модель, где на самом деле находится «нормальное», показывая ей больше примеров, даже если эти примеры не имеют подтвержденных меток классов. Результатом является более четкая и надежная граница аномалий при низкой стоимости разметки.
История
Одноклассовая SVM была представлена Scholkopf et al. в 2001 году как метод оценки носителя многомерного распределения, быстро став стандартом для обнаружения новизны и аномалий. Исследователи в середине 2000-х годов признали, что даже небольшой размеченный нормальный начальный набор может существенно сузить границу принятия решений, и было предложено несколько полуавтоматических расширений, основанных на одновременной работе в области трансдуктивных SVM и распространения меток. Этот подход остается предметом активных исследований в областях, где разметка аномалий непомерно дорога.
Когда применять
Выбирайте полуавтоматическую одноклассовую SVM, когда аномалии редки, разметка всех данных слишком дорога, но имеется небольшой подтвержденный нормальный начальный набор — например, для обнаружения сетевых вторжений, контроля качества медицинских изображений или скрининга производственных дефектов. Она превосходит неконтролируемую OC-SVM, когда размеченный начальный набор чист, а неразмеченный пул велик и репрезентативен для нормального поведения. Не используйте ее, когда размеченный начальный набор зашумлен или смещен, когда доля аномалий в неразмеченном пуле высока (примерно более 10–20%), когда у вас есть много подтвержденных примеров аномалий (лучше использовать размеченную SVM или ансамблевые методы), или когда рецензентам требуются интерпретируемость и явные коэффициенты.
Ограничения и замечания
- Производительность резко падает, если размеченный начальный набор мал, зашумлен или нерепрезентативен для истинного нормального поведения.
- Высокие уровни загрязнения в неразмеченном пуле вызывают дрейф псевдо-меток и искажение границы.
- Квадратичное программирование плохо масштабируется: стандартные решатели SVM испытывают трудности при работе с десятками тысяч наблюдений.
- Требует тщательной настройки ядра и гиперпараметра nu; значения по умолчанию редко дают оптимальные границы.
- Итеративное назначение псевдо-меток добавляет сложность реализации и требует принципиальных критериев остановки.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Использует обильные неразмеченные данные для улучшения качества границы без дорогостоящей полной аннотации.
- Наследует гибкость ядра стандартной одноклассовой SVM, улавливая нелинейные многообразия нормальных данных.
- Лучше откалиброванные оценки аномалий, чем у чисто неконтролируемой OC-SVM, при наличии чистого размеченного начального набора.
- Хорошо работает в высокоразмерных пространствах признаков, где нормальные данные образуют компактные кластеры.
- Величина оценки аномалий обеспечивает естественное ранжирование достоверности для сортировки и приоритизации.
Применение
- Обнаружение сетевых вторжений и кибератак с использованием размеченного нормального трафика плюс неразмеченные операционные журналы.
- Контроль качества медицинских изображений, где доступны подтвержденные хорошие снимки, но аномалии редки.
- Обнаружение промышленных неисправностей с использованием показаний датчиков нормального рабочего состояния в качестве размеченного начального набора.
- Обнаружение мошенничества в финансовых транзакциях, когда подтверждены только немошеннические примеры.
- Фильтрация текстовых или документных аномалий с использованием наборов известных чистых документов для закрепления границы.
Как это работает
Как это работает
Разделите обучающие данные на небольшой размеченный набор подтвержденных нормальных экземпляров и гораздо больший неразмеченный пул. Неразмеченный пул обычно состоит из реальных операционных данных из целевой области, которые не были вручную проверены. Качество размеченного начального набора сильно влияет на конечную производительность.
Отобразите все наблюдения в высокоразмерное гильбертово пространство Вольтера с помощью функции ядра — чаще всего используется RBF-ядро. В этом пространстве кластеры нормальных данных становятся компактными и отделимыми от начала координат, что является геометрическим трюком, лежащим в основе одноклассовой SVM.
Формула
\phi: \mathcal{X} \rightarrow \mathcal{F}Подгоните начальную одноклассовую SVM, используя только размеченные нормальные примеры. Это дает предварительную гиперплоскость, определяемую вектором весов w, порогом rho и переменными слабины xi, контролируемыми параметром nu, который ограничивает долю ошибок обучения.
Формула
\min_{w,\xi,\rho} \frac{1}{2}\|w\|^2 + \frac{1}{\nu n}\sum_i \xi_i - \rhoПримените начальную модель к неразмеченному пулу и назначьте мягкие или жесткие псевдо-метки: экземпляры, классифицированные как нормальные, временно добавляются в нормальный набор; те, которые оценены как аномалии, могут быть отброшены или взвешены с понижением. Надежность псевдо-меток может быть улучшена с помощью порогов достоверности или распространения меток по графу сходства.
Переобучите одноклассовую SVM на расширенном размеченном наборе (исходные метки плюс принятые псевдо-метки). Повторяйте цикл псевдо-маркировки и переобучения в течение фиксированного числа итераций или до тех пор, пока граница не стабилизируется. Ранняя остановка предотвращает дрейф, вызванный каскадными ошибками псевдо-маркировки.
При выводе отобразите каждое новое наблюдение через то же ядро и оцените функцию принятия решений f(x). Экземпляры с f(x) < 0 помечаются как аномалии; величина оценки отражает расстояние от нормальной границы и может служить ранжированием достоверности аномалий.
Формула
f(x) = \text{sign}(w^\top \phi(x) - \rho)Частые ошибки
- Использование размеченного начального набора, взятого из другого распределения, чем неразмеченный пул, вызывающее систематические ошибки псевдо-меток.
- Установка параметра загрязнения nu без оценки истинной доли аномалий, что приводит к чрезмерному или недостаточному обнаружению.
- Безоговорочное доверие к псевдо-меткам вместо применения порогов достоверности или мягкого взвешивания.
- Пропуск оценки на выделенном аннотированном наборе аномалий и опора только на метрики неконтролируемых кластеров.
- Смешение этого метода с трансдуктивной SVM (S3VM), которая решает другую задачу полуавтоматической классификации, а не одноклассового обнаружения.
Часто задаваемые вопросы
Насколько велик должен быть размеченный начальный набор?
На практике даже несколько десятков подтвержденных нормальных примеров могут инициализировать полезную границу, но размеченный набор должен охватывать основные режимы нормального поведения. Если начальный набор меньше примерно 20–30 наблюдений, начальная граница будет ненадежной, и ошибки псевдо-меток будут накапливаться.
Что, если неразмеченный пул сильно загрязнен аномалиями?
Высокое загрязнение (более примерно 10–20% аномалий) приводит к тому, что итеративное уточнение постепенно поглощает аномалии в нормальный класс, искажая границу. В таких случаях используйте более низкий порог принятия псевдо-меток, применяйте ансамблевое голосование по результатам нескольких запусков или вернитесь к чисто размеченной одноклассовой SVM, используя только размеченный начальный набор.
Как выбрать ядро и параметр nu?
RBF-ядро является стандартным значением по умолчанию; настройте его ширину полосы пропускания (gamma) вместе с nu с помощью перекрестной проверки на размеченном наборе. Nu контролирует верхнюю границу доли ошибок обучения и долю опорных векторов — установите его примерно равным ожидаемой доле аномалий, если она известна.
Отличается ли это от трансдуктивной SVM (S3VM)?
Да. Трансдуктивная SVM (S3VM) выполняет полуавтоматическую бинарную классификацию, где оба класса частично размечены. Полуавтоматическая одноклассовая SVM решает задачу обнаружения аномалий: она использует только метки нормального класса и рассматривает неразмеченные наблюдения как потенциально нормальные, а не как второй класс для классификации.
Могу ли я использовать этот метод в больших масштабах?
Стандартные решатели SVM имеют сложность от O(n^2) до O(n^3). Для наборов данных более примерно 50 000 наблюдений используйте приближенные решатели (например, обновления онлайн на основе SGD, аппроксимации ядра с помощью случайных признаков Нюстрома или Фурье) или переключитесь на масштабируемые альтернативы, такие как Isolation Forest или детекторы аномалий на основе глубоких автоэнкодеров.
Похожие методы
Источники
Munoz, A. & Muruzabal, J. (2004). Self-Organising Maps for Outlier Detection. Neurocomputing, 58–60, 953–956.
Открыть ссылку на публикациюСкопировано.Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.
Открыть ссылку DOIСкопировано.