Skip to content
Назад к результатам поиска

Одноклассовая SVM

Автор метода
Scholkopf, B., Platt, J. C., Smola, A. J., Williamson, R. C.
Год
1999–2001
Тип
Anomaly / novelty detection (unsupervised)
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Одноклассовая SVM (One-class SVM) — это алгоритм обнаружения аномалий и новизны без учителя, который строит плотную границу вокруг нормальных обучающих данных в признаковом пространстве, индуцированном ядром, помечая новые наблюдения, выходящие за эту границу, как выбросы.

Представленный Шёлькопфом (Scholkopf) и соавторами в 1999–2001 годах, он расширяет фреймворк SVM на случай одного класса, когда размеченные аномалии недоступны.

Интуиция метода

Представьте, что вы надуваете воздушный шар, чтобы охватить все ваши обучающие точки в преобразованном пространстве, определённом функцией ядра. Как только шар установлен, любая новая точка, которая оказывается вне его, объявляется аномалией. Параметр nu контролирует плотность шара: малое значение nu позволяет очень немногим обучающим точкам находиться внутри маржи (строгая граница), в то время как большое значение nu позволяет большему количеству точек находиться снаружи (более свободная граница). Ядерный трюк позволяет границе быть нелинейной в исходном входном пространстве, поэтому одноклассовая SVM может улавливать сложные формы нормальности, которые пропустил бы простой пороговый или дистанционный метод.

История

Одноклассовая SVM была представлена Шёлькопфом, Платтом, Смолой и Уильямсоном в техническом отчёте 1999 года и опубликована в Neural Computation в 2001 году как «Оценка поддержки многомерного распределения». Тесно связанная формулировка, Support Vector Data Description (SVDD), была разработана одновременно Таксом и Дуином (2004). Оба метода расширили фреймворк контролируемой SVM на задачу обнаружения аномалий без учителя и стали основополагающими ссылками в литературе по обнаружению новизны. Реализация OneClassSVM в Scikit-learn сделала метод широко доступным в прикладных исследованиях.

Когда применять

Используйте одноклассовую SVM, когда размеченные примеры аномалий недоступны или очень редки, и вы хотите получить нелинейную границу вокруг нормального поведения — это типично для обнаружения мошенничества, обнаружения вторжений, мониторинга промышленных неисправностей и медицинского скрининга новизны с непрерывными числовыми признаками. Он лучше всего работает на умеренно больших наборах данных (от сотен до десятков тысяч образцов) и высокоразмерных или сложно-образных распределениях нормальности, где линейные или основанные на расстоянии детекторы терпят неудачу. Избегайте его, когда: обучающий набор очень большой (n > ~100 000), потому что квадратичное решение плохо масштабируется; данные сильно категориальны; или когда требуются быстрые, интерпретируемые правила. В этих случаях предпочтительнее использовать Isolation Forest, Local Outlier Factor или пороговую статистическую модель.

Ограничения и замечания

  • Масштабирование решателя квадратичного программирования составляет от O(n^2) до O(n^3) по обучающим выборкам, что делает его непрактичным для очень больших наборов данных.
  • Чувствителен к выбору ядра и его гиперпараметров (например, RBF gamma); плохой выбор приводит либо к слишком плотной, либо к слишком свободной границе.
  • Требует чистых нормальных обучающих данных — загрязнённые обучающие наборы смещают границу и увеличивают частоту ложноотрицательных результатов.
  • Естественным образом не даёт калиброванных оценок вероятности; оценка решения не является вероятностью.
  • Интерпретируемость ограничена; объяснить, почему конкретная точка помечена, сложно без дополнительных постфактум инструментов.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Работает без размеченных примеров аномалий — требуются только нормальные обучающие данные.
  • Нелинейное ядро (обычно RBF) улавливает сложные, изогнутые границы нормальности, которые пропускают методы, основанные на расстоянии.
  • Параметр nu обеспечивает прямой, интерпретируемый контроль над ожидаемой долей выбросов.
  • Эффективно масштабируется до высокоразмерных признаковых пространств с помощью ядерного трюка.
  • Непрерывная оценка решения позволяет гибко калибровать порог на последующих этапах.
  • Проверен в критически важных областях, таких как обнаружение вторжений, мониторинг неисправностей и медицинская визуализация.

Применение

  • Обнаружение вторжений в сеть: пометка шаблонов трафика, не наблюдаемых при нормальной работе.
  • Мониторинг промышленных неисправностей: обнаружение показаний датчиков машины, которые отклоняются от профилей здорового состояния.
  • Обнаружение мошенничества: выявление необычных шаблонов транзакций, когда мошеннические примеры слишком редки для обучения контролируемого классификатора.
  • Медицинское обнаружение новизны: пометка изображений или показаний биомаркеров, выходящих за пределы распределения здоровых субъектов.
  • Обработка естественного языка: обнаружение документов или запросов вне предметной области с использованием текстовых вложений в качестве входных признаков.

Как это работает

Как это работает

1

Все обучающие наблюдения отображаются в высокоразмерное (потенциально бесконечномерное) признаковое пространство с помощью функции ядра, такой как радиально-базисная функция (RBF). Внутренние произведения в этом пространстве могут быть вычислены без явного вычисления отображения, что делает подход применимым даже для сложных границ.

Формула
\phi: \mathcal{X} \to \mathcal{F}
2

Квадратичная программа находит гиперплоскость в признаковом пространстве, которая отделяет отображённые обучающие данные от начала координат с максимальным отступом. Параметр nu (между 0 и 1) одновременно ограничивает долю обучающих точек, рассматриваемых как выбросы, и долю опорных векторов, предоставляя исследователю прямой контроль над компромиссом между плотностью модели и допустимой степенью загрязнения обучающих данных.

Формула
\min_{w,\rho,\xi}\; \tfrac{1}{2}\|w\|^2 - \rho + \tfrac{1}{\nu n}\sum_i \xi_i
3

Изученная гиперплоскость определяет знаковую функцию принятия решения. Точки на положительной стороне классифицируются как нормальные; точки на отрицательной стороне (ниже порога rho) помечаются как аномалии или новизна. Необработанная оценка также может служить непрерывной оценкой аномалии для ранжирования.

Формула
f(x) = \text{sgn}\bigl(\langle w, \phi(x)\rangle - \rho\bigr)
4

Выбор nu является ключевым решением при моделировании: установка его близко к ожидаемой доле загрязнения в обучающем наборе является практическим эмпирическим правилом. Перекрёстная проверка на отложенном нормальном валидационном наборе или знание предметной области об ожидаемой доле выбросов должны направлять выбор, а не только поиск по сетке на неразмеченных данных.

5

При развёртывании к выходу функции принятия решения применяется пороговое значение оценки аномалии. Порог может быть скорректирован постфактум для балансировки точности и полноты для аномалий, что делает метод подходящим для приложений, где стоимость ложноположительных результатов существенно отличается от стоимости ложноотрицательных.

Частые ошибки

  • Обучение на данных, которые содержат значительную долю необнаруженных аномалий, что искажает изученную границу.
  • Установка nu без учёта ожидаемой доли загрязнения, что приводит либо к чрезмерным ложноположительным результатам, либо к пропущенным аномалиям.
  • Использование значения RBF gamma по умолчанию без настройки, что может сделать границу либо слишком плотной (все новые точки являются аномалиями), либо слишком свободной (аномалии не обнаруживаются).
  • Применение одноклассовой SVM к очень большим наборам данных без рассмотрения альтернатив масштабируемости, таких как аппроксимации на основе SGD (SGDOneClassSVM в sklearn).
  • Сообщение только бинарного флага аномалии без изучения распределения непрерывной оценки для калибровки порога.

Часто задаваемые вопросы

В чём разница между одноклассовой SVM и Isolation Forest для обнаружения аномалий?

Одноклассовая SVM строит границу на основе ядра вокруг нормальных данных и хорошо работает с высокоразмерными, сложно-образными распределениями, но плохо масштабируется с размером набора данных. Isolation Forest использует случайное разбиение и намного быстрее на больших наборах данных, но в целом менее чувствителен к тонким, нелинейным аномальным паттернам.

Как мне выбрать параметр nu?

Установите nu равным доле обучающих наблюдений, которые, как вы ожидаете, будут загрязнены или нетипичны. Если вы считаете, что менее 5% ваших обучающих выборок являются выбросами, начните с nu=0.05. Используйте отложенный набор известных нормальных примеров для оценки плотности границы, а не полагайтесь только на поиск по сетке.

Какое ядро мне использовать?

Ядро RBF (Гауссово) является стандартной отправной точкой и хорошо работает с большинством непрерывных числовых наборов данных. Гиперпараметр gamma ядра RBF контролирует радиус влияния; используйте перекрёстную проверку по логарифмически равномерной сетке. Линейные ядра быстрее, но ограничивают границу гиперплоскостью.

Может ли одноклассовая SVM обрабатывать категориальные признаки?

Не напрямую. Категориальные переменные должны быть закодированы численно (например, бинарное или порядковое кодирование) перед использованием, что может привести к искажениям метрики расстояния. Для наборов данных, где преобладают категориальные признаки, вместо этого рассмотрите древовидные детекторы, такие как Isolation Forest.

Мой обучающий набор может содержать некоторые аномалии. Это нарушает работу модели?

Загрязнённые обучающие данные смещают границу наружу и могут привести к тому, что модель будет воспринимать аномальные паттерны как нормальные. Одноклассовая SVM более чувствительна к этому, чем Isolation Forest. Если подозревается загрязнение, рассмотрите возможность использования SVDD с более высоким nu или очистки обучающего набора с помощью предварительного прохода быстрого детектора.

Похожие методы

Источники

  1. Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.

    Открыть ссылку DOI
    Скопировано.
  2. Tax, D. M. J., & Duin, R. P. W. (2004). Support vector data description. Machine Learning, 54(1), 45–66.

    Открыть ссылку DOI
    Скопировано.