Skip to content
Назад к результатам поиска

Регрессия на основе опорных векторов

Автор метода
Smola, A.J. & Schölkopf, B.
Год
2004
Тип
Kernel-based supervised model (epsilon-insensitive regression)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Регрессия на основе опорных векторов (SVR), описанная в руководстве Smola и Schölkopf (2004), предсказывает непрерывный результат путем подгонки функции, которая остается в пределах трубы шириной эпсилон вокруг данных, при этом минимизируя ошибку.

Она расширяет идею машины опорных векторов из классификации на регрессию, используя ядро для улавливания нелинейных зависимостей.

Интуиция метода

Вместо того чтобы штрафовать каждое отклонение от подогнанной линии, SVR игнорирует ошибки меньше заданного допуска эпсилон — она проводит трубу шириной эпсилон вокруг предсказанной функции, и только точки, выходящие за пределы трубы, учитываются. Модель затем ищет максимально плоскую функцию, которая удерживает большинство точек внутри трубы. Небольшое количество точек на границах трубы или за ее пределами становятся опорными векторами, определяющими предсказание.

История

Регрессия на основе опорных векторов расширяет машину опорных векторов, изначально метод классификации, на задачу регрессии. Эпсилон-нечувствительная формулировка и ее решение на основе ядер изложены в руководстве Smola и Schölkopf (2004) в Statistics and Computing, которое стало стандартным справочным материалом по этому методу.

Когда применять

Используйте SVR для предсказания непрерывного (или дискретного) результата по признакам, когда зависимость может быть нелинейной и у вас есть как минимум около 50 наблюдений. Признаки должны быть нормализованы, а ядро и параметр C требуют настройки. При менее чем 50 случаях предсказание основывается на слишком малом количестве опорных векторов и становится нестабильным, поэтому предпочтительнее гребневая или линейная регрессия.

Ограничения и замечания

  • Требует как минимум около 50 наблюдений; при меньшем количестве предсказания основываются на слишком малом числе опорных векторов и нестабильны.
  • Производительность зависит от настройки ядра и параметра C, что требует достаточного количества данных для кросс-валидации.
  • Признаки должны быть нормализованы заранее, иначе расстояния в ядре будут искажены.
  • Не предоставляет интерпретируемых коэффициентов.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Эпсилон-нечувствительная функция потерь делает подгонку устойчивой к малым отклонениям и выбросам внутри трубы.
  • Ядра позволяют SVR моделировать нелинейные зависимости без явного создания новых признаков.
  • Не требует нормально распределенных данных.
  • Окончательная модель зависит только от опорных векторов, что делает предсказание компактным.

Применение

  • Предсказание непрерывных исходов, где зависимость от признаков нелинейна.
  • Задачи прогнозирования и предсказания, где важна устойчивость к малым отклонениям.
  • Моделирование дискретных или непрерывных целевых переменных в данных здравоохранения, социальных наук, инженерии и бизнеса.
  • Использование в качестве альтернативы линейной или гребневой регрессии на основе ядер, когда предполагается нелинейность.

Как это работает

Как это работает

1

SVR определяет поле допуска, эпсилон-трубу, вокруг регрессионной функции: отклонения в пределах эпсилон рассматриваются как нулевая ошибка. Это делает подгонку нечувствительной к малым флуктуациям и фокусирует модель на наблюдениях, которые действительно выходят за пределы полосы.

Формула
|y_i - f(x_i)| \le \varepsilon
2

Модель балансирует плоскостность функции с ошибкой, обусловленной точками вне трубы. Параметр регуляризации C контролирует, насколько сильно штрафуются отклонения за пределами трубы, а ядро (например, RBF-ядро) позволяет функции изгибаться для улавливания нелинейной структуры. Поскольку и C, и ядро должны быть настроены, признаки следует нормализовать перед подгонкой.

Формула
\min \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i (\xi_i + \xi_i^*)
3

Предсказания для новых входных данных формируются как взвешенная комбинация опорных векторов — обучающих точек, лежащих на границах трубы или за ними — плюс смещение. Только эти опорные векторы входят в окончательное предсказание, что делает подогнанную модель компактной.

Формула
f(x) = \sum_i (\alpha_i - \alpha_i^*) k(x_i, x) + b

Частые ошибки

  • Подгонка SVR на ненормализованных признаках, что искажает расстояния в ядре.
  • Принятие значений ядра и C по умолчанию без их настройки с помощью кросс-валидации.
  • Использование SVR на малой выборке, где недостаточно данных для оптимизации гиперпараметров.
  • Рассмотрение подгонки на основе ядра как дающей интерпретируемые размеры эффекта.

Часто задаваемые вопросы

Что контролирует параметр эпсилон?

Эпсилон задает половину ширины трубы допуска вокруг подогнанной функции. Отклонения меньше эпсилон рассматриваются как нулевая ошибка, поэтому больший эпсилон дает более плоскую, простую модель с меньшим количеством опорных векторов, в то время как меньший эпсилон более плотно подгоняет данные.

Почему я должен нормализовать признаки?

SVR полагается на расстояния, вычисляемые через ядро. Если признаки имеют очень разные масштабы, те, у которых больший диапазон, доминируют в расстояниях, поэтому признаки следует стандартизировать перед подгонкой.

Насколько мала выборка считается слишком маленькой?

При менее чем примерно 50 наблюдениях подгонка зависит от слишком малого числа опорных векторов и становится нестабильной, а данных недостаточно для настройки гиперпараметров ядра; гребневая или линейная регрессия является более безопасным выбором.

Чем SVR отличается от метода наименьших квадратов?

Метод наименьших квадратов штрафует каждый остаток квадратично, тогда как SVR игнорирует остатки внутри эпсилон-трубы и штрафует только те, что находятся вне ее. В сочетании с ядром это позволяет SVR улавливать нелинейные зависимости и оставаться устойчивой к малым отклонениям.

Похожие методы

Источники

  1. Smola, A.J. & Schölkopf, B. (2004). A Tutorial on Support Vector Regression. Statistics and Computing, 14, 199–222.

    Открыть ссылку DOI
    Скопировано.