Skip to content
Назад к результатам поиска

Гауссовский процесс

Автор метода
Rasmussen, C. E. & Williams, C. K. I.
Год
2006 (book); roots in Kriging, 1951)
Тип
Probabilistic non-parametric model
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Гауссовский процесс (ГП) — это непараметрическая, полностью вероятностная модель машинного обучения, которая накладывает априорное распределение непосредственно на функции.

Вместо предсказания одного значения, он возвращает среднее значение предсказания и откалиброванную оценку неопределенности в каждой тестовой точке, что делает его особенно ценным для регрессии на малых и средних наборах данных и для задач байесовской оптимизации.

Интуиция метода

Вместо подгонки фиксированной кривой к вашим данным, Гауссовский процесс поддерживает целое распределение по возможным кривым, которые согласуются с тем, что вы наблюдали. До получения данных он предполагает, что функции должны быть гладкими (как определено ядром). После получения данных он сужает это распределение: близлежащие тестовые точки получают точные, уверенные предсказания, в то время как удаленные или малонаполненные данными области производят широкие полосы неопределенности. Эта встроенная количественная оценка неопределенности отличает ГП от большинства других моделей.

История

Гауссовские процессы берут свое начало от кригинга, разработанного Дэниелом Кригом в геостатистике в 1950-х годах и формализованного Жоржем Матероном. Их внедрение в машинное обучение было в значительной степени обусловлено Карлом Расмуссеном и Кристофером Уильямсом, чья книга 2006 года, изданная MIT Press, стала окончательным справочником, установив ГП как принципиальную байесовскую непараметрическую альтернативу нейронным сетям и SVM с ядром, особенно для случаев, когда количественная оценка неопределенности имеет важное значение.

Когда применять

Гауссовские процессы превосходно работают на малых и средних наборах данных (до нескольких тысяч строк), где важна количественная оценка неопределенности — например, в научных экспериментах, проектировании или в качестве суррогатных моделей для дорогостоящих симуляций. Они являются предпочтительным методом для байесовской оптимизации. Предпочитайте ГП более простым моделям, когда вам нужны откалиброванные предсказательные интервалы, а не просто точечные оценки, и когда ожидается, что зависимость между входами и выходами будет гладкой. Избегайте ГП, когда n превышает примерно 10 000 наблюдений, поскольку точный вывод масштабируется как O(n^3), что делает его вычислительно непомерным без аппроксимаций. ГП также испытывает трудности с входными пространствами очень высокой размерности и с разрывными или сильно нестационарными функциями, если не используются тщательно подобранные ядра.

Ограничения и замечания

  • Точный вывод имеет сложность O(n^3) по времени и O(n^2) по памяти, что делает его непрактичным для больших n без разреженных или приближенных методов ГП.
  • Производительность снижается в пространствах входных данных очень высокой размерности из-за проклятия размерности в расстояниях ядра.
  • Выбор и комбинирование ядер требуют знаний предметной области; плохо выбранное ядро приводит к плохой калибровке неопределенности.
  • Классификация (ГП-классификаторы) требует дополнительной аппроксимации Лапласа или ожидания-распространения, что добавляет сложности.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Возвращает откалиброванные предсказательные интервалы неопределенности вместе с точечными предсказаниями.
  • Чрезвычайно эффективен по выборке — хорошо работает на малых наборах данных, где древовидные модели переобучаются.
  • Выбор ядра гибко кодирует знания предметной области о гладкости, периодичности или масштабе.
  • Гиперпараметры обучаются из данных через маргинальную правдоподобность, обеспечивая автоматическую регуляризацию.
  • Нативная основа для байесовской оптимизации и активного обучения при проектировании экспериментов.

Применение

  • Регрессия на малых и средних научных и инженерных наборах данных, требующих откалиброванных доверительных интервалов.
  • Байесовская оптимизация дорогостоящих функций черного ящика, таких как настройка гиперпараметров или проектирование экспериментов.
  • Суррогатное моделирование для дорогостоящих компьютерных симуляций в аэрокосмической, материаловедческой и климатической областях.
  • Пространственно-временная интерполяция и геостатистическое картирование (кригинг).
  • Активное обучение: использование апостериорной дисперсии для выбора наиболее информативного следующего измерения.
  • Моделирование временных рядов с периодическими или составными ядрами, кодирующими сезонную структуру.

Как это работает

Как это работает

1

Ядерная функция (обычно квадратично-экспоненциальная / RBF) кодирует априорные представления о гладкости функции и масштабе длины. Она измеряет сходство между любыми двумя входными точками: похожие входы должны давать похожие выходы. Выбор формы ядра сильно определяет, какие типы функций может представлять ГП.

Формула
k(\mathbf{x}, \mathbf{x}') = \sigma^2 \exp\!\left(-\frac{\|\mathbf{x}-\mathbf{x}'\|^2}{2l^2}\right)
2

До наблюдения каких-либо данных ГП определяет априорное распределение по функциям: любая конечная коллекция значений функции является совместно гауссовской со средним значением функции m(x) и ковариацией, заданной ядром. Этот априор является начальным предположением о поведении неизвестной функции.

Формула
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x}, \mathbf{x}'))
3

Приведение априорного распределения к наблюдаемым обучающим данным дает апостериорное распределение, также гауссовское. Апостериорное среднее становится точечным предсказанием для любого нового входа x*, а апостериорная дисперсия обеспечивает откалиброванный доверительный интервал, автоматически сужающийся там, где обучающие данные плотные.

Формула
f_* \mid \mathbf{X}, \mathbf{y}, \mathbf{x}_* \sim \mathcal{N}(\mu_*, \sigma^2_*)
4

Гиперпараметры ядра (масштаб длины, дисперсия выходных данных, уровень шума) оцениваются путем максимизации логарифма маргинальной правдоподобности обучающих данных. Эта оптимизация балансирует соответствие данным и сложность модели, выполняя автоматическую регуляризацию без отдельного штрафного члена.

Формула
\hat{\boldsymbol{\theta}} = \arg\max_{\boldsymbol{\theta}} \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta})
5

Во время предсказания апостериорное среднее возвращается как точечная оценка, а апостериорное стандартное отклонение — как полоса неопределенности. Оба могут использоваться напрямую: среднее значение для наилучшей догадки и интервал для сообщения о степени уверенности модели в каждом новом месте входа.

Частые ошибки

  • Использование ядра RBF по умолчанию без проверки того, является ли функция действительно стационарной и гладкой — периодические или разрывные закономерности требуют разных ядер.
  • Забывание стандартизировать непрерывные входы и выходы перед подгонкой, что приводит к плохо обусловленным ковариационным матрицам.
  • Рассмотрение апостериорного среднего как единственного результата и игнорирование полос неопределенности, которые являются основным вкладом модели.
  • Применение точного ГП к наборам данных с n выше ~5 000 без перехода к разреженной аппроксимации или аппроксимации с индуцирующими точками.
  • Смешение алеаторного шума (неустранимая погрешность измерения) с эпистемической неопределенностью (неопределенность модели) при интерпретации выходной дисперсии.

Часто задаваемые вопросы

С какого ядра мне начать?

Ядро квадратично-экспоненциальное (RBF) является отправной точкой по умолчанию, поскольку оно производит бесконечно дифференцируемые, гладкие функции и имеет интерпретируемые гиперпараметры масштаба длины и дисперсии выходных данных. Переключитесь на ядро Матерна, если вы ожидаете, что функция будет менее гладкой, или добавьте периодический компонент для сезонных данных.

Мой набор данных содержит 50 000 строк. Могу ли я все еще использовать ГП?

Точный вывод ГП был бы непомерным при таком масштабе. Рассмотрите разреженные методы ГП (например, индуцирующие точки / FITC) или стохастический вариационный ГП, оба из которых снижают стоимость обучения примерно до O(nm^2), где m — количество индуцирующих точек (m << n). Библиотеки, такие как GPyTorch, эффективно реализуют их.

Чем ГП отличается от байесовской линейной регрессии?

Байесовская линейная регрессия накладывает априорное распределение на фиксированный конечный набор коэффициентов; гибкость модели поэтому ограничена выбранными базисными функциями. ГП накладывает априорное распределение непосредственно на функции в бесконечномерном пространстве, поэтому его эффективная сложность адаптируется к данным без необходимости предварительного указания базисных разложений.

Являются ли оценки неопределенности действительно откалиброванными?

При правильной модели и ядре апостериорные неопределенности ГП хорошо откалиброваны по конструкции. На практике неверная калибровка возникает из-за неправильного выбора ядра или игнорирования структуры шума. Всегда выполняйте проверку апостериорного предсказания — постройте график наблюдаемых против предсказанных значений с покрытием доверительных интервалов.

Могут ли Гауссовские процессы обрабатывать категориальные или смешанные входные данные?

Стандартные ядра ГП работают с непрерывными входами. Категориальные входы требуют специальных ядер (например, ядра расстояния Хэмминга) или кодирования. Для преимущественно категориальных или очень высокоразмерных смешанных данных древовидные модели, такие как случайный лес или градиентный бустинг, обычно являются лучшей отправной точкой.

Похожие методы

Источники

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    Скопировано.
  2. Gaussian process. Wikipedia.

    Открыть ссылку на публикацию
    Скопировано.