Skip to content
Назад к результатам поиска

Метод опорных векторов (классификация)

Автор метода
Cortes, C. & Vapnik, V.
Год
1995
Тип
Maximum-margin classifier (kernel method)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Метод опорных векторов (SVM), предложенный Корриной Кортес и Владимиром Вапником в 1995 году, представляет собой классификатор, который находит оптимальную разделяющую гиперплоскость между классами в многомерном пространстве.

Он выбирает границу, оставляющую максимально возможный зазор до ближайших точек обучения, что делает его решения устойчивыми на новых данных.

Интуиция метода

Представьте себе разделение двух групп точек прямой границей. Многие линии могли бы это сделать, но SVM ищет ту, которая расположена как можно дальше от ближайших точек каждого класса — самую широкую 'улицу' между ними. Только эти ближайшие точки, опорные векторы, фактически формируют границу; все, что находится дальше, не имеет значения. Когда классы не могут быть разделены прямой линией, ядро преобразует пространство так, чтобы стало возможным четкое разделение.

История

Метод опорных векторов был представлен Корриной Кортес и Владимиром Вапником в их статье 1995 года 'Support-Vector Networks', которая объединила идею максимального зазора с трюком с ядром для обработки нелинейно разделимых данных. Он стал одним из самых влиятельных методов классификации своей эпохи и стандартным эталоном для многомерного обучения с учителем.

Когда применять

Используйте SVM для бинарной или категориальной классификации на табличных данных с примерно 50 или более наблюдениями, особенно когда пространство признаков многомерно, а точность прогнозирования важнее явных коэффициентов. Он не требует данных, распределенных нормально, но признаки должны быть стандартизированы, а ядро и C должны быть настроены с помощью кросс-валидации. На очень малых выборках предпочтите более простой классификатор, такой как логистическая регрессия или наивный байесовский метод.

Ограничения и замечания

  • Чувствителен к выбору ядра и параметра C, которые должны быть настроены с помощью кросс-валидации.
  • Требует тщательной стандартизации признаков; не масштабированные признаки искажают зазор.
  • Становится нестабильным на малых выборках, где слишком мало опорных векторов для определения надежной границы.
  • Не предоставляет напрямую интерпретируемых коэффициентов и нативных оценок вероятности классов.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Эффективен в многомерных пространствах признаков, даже когда признаков больше, чем предполагает сложность границы.
  • Принцип максимального зазора и использование только опорных векторов обеспечивают устойчивые, обобщаемые границы.
  • Ядра позволяют улавливать нелинейные границы классов без ручного создания новых признаков.
  • Мало предположений: не требует данных, распределенных нормально.

Применение

  • Бинарная и многоклассовая классификация на табличных данных.
  • Многомерные задачи классификации, где признаков больше, чем может вместить простая модель.
  • Задачи прогнозирования, где устойчивая, хорошо разделенная граница принятия решений важнее интерпретируемых коэффициентов.
  • Задачи с нелинейными границами классов, решаемые с помощью функций ядра.

Как это работает

Как это работает

1

SVM ищет гиперплоскость, которая разделяет классы с наибольшим зазором — наибольшим расстоянием до ближайших точек данных с каждой стороны. Эти ближайшие точки являются опорными векторами, и только они определяют положение границы. Широкий зазор, как правило, лучше обобщается на невидимые данные, чем граница, плотно прилегающая к точкам обучения.

2

Когда классы не являются линейно разделимыми, функция ядра (например, радиальная базисная функция) неявно отображает признаки в пространство более высокой размерности, где существует разделяющая гиперплоскость. Именно поэтому признаки должны быть сначала стандартизированы (требуется StandardScaler), и именно поэтому ядро и параметр регуляризации C должны выбираться с помощью кросс-валидации.

3

Граница находится путем минимизации приведенной выше целевой функции: она сжимает вектор весов (расширяя зазор), одновременно уплачивая штраф C за каждую точку, которая попадает на неправильную сторону или внутрь зазора (слабина ξ). Большой C требует точного соответствия обучающим данным; малый C допускает больше нарушений для более широкого, более гладкого зазора. При несбалансированных классах, class_weight='balanced' не позволяет игнорировать миноритарный класс.

Формула
\min_{w,b}\; \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i \xi_i

Частые ошибки

  • Обучение SVM на необработанных, не масштабированных признаках вместо их предварительной стандартизации.
  • Принятие значений ядра и C по умолчанию вместо их выбора с помощью кросс-валидации (например, поиск по сетке).
  • Игнорирование дисбаланса классов вместо установки class_weight='balanced'.
  • Применение SVM на выборке менее ~50 наблюдений, где граница нестабильна и склонна к переобучению.
  • Отчетность только точности без матрицы ошибок, точности/полноты/F1 и ROC-AUC.

Часто задаваемые вопросы

Почему я должен стандартизировать признаки?

SVM измеряет расстояния до разделяющей гиперплоскости, поэтому признаки с большими числовыми масштабами доминируют в зазоре. Стандартизация каждого признака (StandardScaler) приводит их к сопоставимым масштабам, чтобы граница отражала истинную структуру классов, а не произвольные единицы измерения.

Что контролирует параметр C?

C балансирует ширину зазора против ошибок классификации. Большой C заставляет плотно соответствовать обучающим данным с узким зазором; малый C допускает больше нарушений зазора в обмен на более широкий, более гладкий границу. Правильное значение находится с помощью кросс-валидации.

Для чего нужно ядро?

Когда классы не могут быть разделены прямой границей, ядро (такое как радиальная базисная функция) неявно отображает данные в пространство более высокой размерности, где существует разделяющая гиперплоскость, позволяя SVM моделировать нелинейные границы. Выбор ядра должен быть проверен с помощью кросс-валидации.

Когда не следует использовать SVM?

На очень малых выборках — менее примерно 50 наблюдений — слишком мало опорных векторов для определения стабильной границы, и недостаточно данных для настройки ядра и C, поэтому модель рискует переобучиться. В этом случае предпочтительнее более простой классификатор, такой как логистическая регрессия или наивный байесовский метод.

Похожие методы

Источники

  1. Cortes, C. & Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20, 273–297.

    Открыть ссылку DOI
    Скопировано.