Активное обучение с использованием One-class SVM
- Автор метода
- Schölkopf et al. (OCSVM); active variant developed in the anomaly-detection literature (2000s–2010s)
- Год
- 2000s
- Тип
- Semi-supervised anomaly/novelty detection with iterative labeling
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Активное обучение с использованием One-class SVM (OCSVM) объединяет метод опорных векторов для одного класса — основанный на ядрах детектор новизны, который изучает границу нормальных данных — с циклом активного обучения, выбирающим наиболее информативные неразмеченные экземпляры для аннотирования экспертом.
Результатом является эффективный с точки зрения данных детектор аномалий, который улучшает свою границу принятия решений при минимальных затратах на разметку.
Интуиция метода
Стандартный One-class SVM проводит четкую границу вокруг известной нормальной области пространства признаков. Сложность заключается в том, что качество границы сильно зависит от того, какие примеры размечены. Активное обучение решает эту проблему, прося оракула разметить только те примеры, которые находятся вблизи текущей границы принятия решений или непосредственно за ней — точки, в которых модель наиболее неуверена. Стратегически запрашивая, а не случайным образом, модель получает более информативный обучающий набор с гораздо меньшим количеством размеченных примеров, что экономит затраты на аннотирование и одновременно обостряет границу между нормальными и аномальными данными.
История
One-class SVM был представлен Schölkopf и его коллегами в 1999–2001 годах как принципиальный метод ядра для оценки поддержки распределения, и быстро стал эталонным алгоритмом для обнаружения новизны и аномалий. Парадигма активного обучения — систематический запрос оракулу информативных меток — была формализована в обзоре Settles (2009). Исследователи в 2000-х и 2010-х годах объединили эти две идеи, применяя стратегии запросов на основе неопределенности и края к OCSVM в таких областях, как обнаружение вторжений, диагностика неисправностей и медицинский скрининг, где размеченные аномалии по своей сути редки.
Когда применять
Используйте, когда аномалии или новизны должны быть обнаружены, но размеченные примеры дороги, редки или изначально недоступны — типично для обнаружения мошенничества, мониторинга неисправностей оборудования, обнаружения вторжений в кибербезопасности и скрининга редких заболеваний в медицине. Метод хорошо подходит, когда существует разумное количество неразмеченных нормальных данных наряду с небольшой начальной выборкой подтвержденных нормальных экземпляров, и когда оракул (человек-эксперт или автоматический тестер) может маркировать запрошенные точки. Избегайте, когда частота аномалий настолько низка, что даже активные запросы редко попадают в аномалии, когда пространство признаков чрезвычайно многомерно без значимого отображения ядра, или когда требуется полностью автоматизированный конвейер без участия человека.
Ограничения и замечания
- Производительность чувствительна к выбору ядра и гиперпараметру nu; плохие значения по умолчанию могут привести к слишком узкой или слишком широкой границе.
- Масштабируемость ограничена: стоимость обучения OCSVM растет примерно квадратично с количеством опорных векторов, что делает его медленным на больших наборах данных.
- Если начальная размеченная выборка не является репрезентативной для истинной нормальной области, ранние запросы могут ввести модель в заблуждение.
- Активное обучение предполагает доступность и надежность оракула; шумная или непоследовательная разметка ухудшает границу.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Резко сокращает количество экспертных меток, необходимых для построения эффективного детектора аномалий.
- Хорошо обрабатывает многомерные данные с помощью отображений ядра, особенно RBF-ядра.
- Не требует примеров аномалий при инициализации — он начинается только с нормальных данных.
- Стратегия активного запроса фокусирует усилия по аннотированию на наиболее релевантной для принятия решений области пространства.
- Граница OCSVM устойчива к выбросам в обучающем наборе благодаря гиперпараметру nu.
Применение
- Обнаружение сетевых вторжений и аномалий в кибербезопасности с ограниченным количеством меток атак.
- Мониторинг неисправностей промышленного оборудования с использованием потоков датчиков при редких событиях сбоев.
- Обнаружение мошенничества в финансовых транзакциях, где подтвержденные случаи мошенничества редки и дороги в разметке.
- Скрининг редких заболеваний или редких событий в медицине, где время экспертной аннотации является ограничивающим фактором.
- Обнаружение новизны изображений или текстов, когда вначале доступен только корпус нормальных примеров.
Как это работает
Как это работает
Начальный One-class SVM обучается на небольшом наборе размеченных нормальных примеров, доступных в начале. Ядро (обычно RBF) и гиперпараметр nu — который контролирует долю обучающих точек за пределами границы — устанавливаются перед началом итераций.
Стратегия активного обучения оценивает каждый неразмеченный экземпляр по его расстоянию до границы принятия решений OCSVM. Точки, наиболее близкие к границе, являются наиболее неоднозначными; они ранжируются, и лучшие кандидаты выбираются в качестве запросов для оракула. Общие стратегии включают выборку по краю (margin sampling) и варианты с учетом плотности (density-weighted variants).
Эксперт в предметной области (или недорогой суррогат, такой как платформа краудсорсинга) присваивает метку — нормальная или аномальная — каждому запрошенному экземпляру. Этот шаг является узким местом, поэтому эффективность выбора запросов определяет общую стоимость.
Новоразмеченные экземпляры добавляются в обучающий набор, и One-class SVM переобучается. Если доступны метки аномалий, они могут быть включены через уточнение границы двух классов; если добавляются только нормальные метки, граница сужается вокруг подтвержденных нормальных данных.
Цикл повторяется до тех пор, пока не будет исчерпан бюджет (максимальное количество запросов), производительность на валидационном наборе не стабилизируется или изменение границы между итерациями не упадет ниже порога. Окончательный OCSVM развертывается для производственного скоринга.
Частые ошибки
- Настройка nu на обучающем наборе без выделенного валидационного набора, что приводит к излишне оптимистичной границе.
- Выбор запросов исключительно по краю без учета плотности, что приводит к тому, что модель запрашивает точки в разреженных, нерепрезентативных областях.
- Рассмотрение всех неразмеченных данных как нормальных при инициализации без проверки на загрязнение.
- Прекращение цикла после слишком малого количества запросов и сообщение о производительности на крошечном валидационном наборе, как если бы она была стабильной.
- Использование линейного ядра на данных, где нормальная область невыпуклая — ядро должно соответствовать геометрии нормального класса.
Часто задаваемые вопросы
В чем разница между этим методом и стандартным One-class SVM?
Стандартный One-class SVM обучается один раз на всех доступных размеченных данных. Вариант активного обучения итерирует: он обучается на небольшой начальной выборке, запрашивает наиболее информативные неразмеченные точки, собирает метки и переобучается. Это делает границу более точной при гораздо меньшем количестве размеченных примеров.
Сколько размеченных примеров мне нужно для начала?
Даже горстка подтвержденных нормальных примеров (всего 10–50) может служить начальной выборкой для первого OCSVM. Затем цикл активного обучения стратегически расширяет размеченный набор. Начинать со слишком малого количества примеров рискованно из-за нестабильной начальной границы, которая может привести к ошибочным ранним запросам.
Какую стратегию запросов мне следует использовать?
Выборка по краю — запрос экземпляров, наиболее близких к текущей границе принятия решений OCSVM — является наиболее распространенным выбором. Варианты с учетом плотности, которые также предпочитают точки в плотных областях пространства признаков, как правило, превосходят чистую выборку по краю, когда данные имеют кластерную структуру.
Как оценить производительность, когда метки аномалий редки?
Используйте площадь под ROC-кривой (AUC-ROC) или площадь под кривой точность-полнота (AUC-PR) на выделенном валидационном наборе, который включает подтвержденные аномалии. Точность вводит в заблуждение, когда аномалии редки. Если меток аномалий нет совсем, используйте визуальную инспекцию границы в низкоразмерной проекции.
Когда следует перейти к другому детектору аномалий?
Если набор данных содержит более нескольких тысяч экземпляров, детекторы на основе Isolation Forest или Autoencoder масштабируются лучше. Если у вас достаточно размеченных аномалий для обучения с учителем, стандартный бинарный SVM или градиентный бустинг классификатор, как правило, будут превосходить OCSVM.
Похожие методы
Источники
Schölkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (1999). Estimating the Support of a High-Dimensional Distribution. Neural Computation, 13(7), 1443–1471.
Открыть ссылку DOIСкопировано.Settles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
Открыть ссылку на публикациюСкопировано.