Skip to content
Назад к результатам поиска

Байесовский Гауссовский Процесс

Автор метода
O'Hagan, A.; Neal, R. M.; Rasmussen, C. E. & Williams, C. K. I.
Год
1978–2006
Тип
Probabilistic kernel model
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Байесовский Гауссовский Процесс (ГП) размещает распределение вероятностей непосредственно над функциями, используя ядро для кодирования сходства между входными данными.

После наблюдения данных правило Байеса преобразует этот априорный в апостериорный, который дает не только точечные предсказания, но и калиброванные оценки неопределенности для каждого нового входного значения — делая его одной из наиболее принципиальных вероятностных моделей в машинном обучении.

Интуиция метода

Представьте, что вы проводите бесконечное множество правдоподобных кривых через ваши данные, каждая из которых согласуется с тем, что вы знаете. ГП количественно определяет, насколько вероятна каждая кривая до и после получения наблюдений. Ядро определяет, какие кривые выглядят гладкими или извилистыми, близкими или далеко идущими. Как только данные поступают, ГП сужает семейство правдоподобных кривых вокруг наблюдений, сохраняя при этом честную неопределенность там, где данные редки. Это дает как предсказание, так и доверительный интервал, который подлинно отражает, сколько доказательств подтверждает прогноз.

История

Использование Гауссовских процессов в статистике восходит к O'Hagan (1978) и кргингу в геостатистике (Matheron, 1963). Их внедрение в машинное обучение было катализировано Neal (1996), который показал, что глубокие сети сходятся к ГП в пределе бесконечной ширины, и книгой Rasmussen и Williams 2006 года, которая стала стандартным справочником. Сегодня ГП лежат в основе конвейеров байесовской оптимизации при настройке гиперпараметров и проектировании экспериментов в инженерии и науке.

Когда применять

Используйте Байесовский ГП, когда вам нужны калиброванные оценки неопределенности наряду с предсказаниями — например, в активном обучении, байесовской оптимизации, критически важных приложениях безопасности или научном выводе, где знание того, чего модель не знает, так же важно, как и само предсказание. Он превосходно работает на малых и средних наборах данных (до нескольких тысяч наблюдений) с непрерывными или структурированными входными данными и гладкими базовыми функциями. Избегайте ГП, когда набор данных превышает примерно 10 000 строк без разреженных или аппроксимированных методов ГП, когда входное пространство имеет высокую размерность (выше ~20 признаков) без сильной априорной структуры, или когда нужен только быстрый, непрозрачный точечный предиктор.

Ограничения и замечания

  • Кубическая вычислительная стоимость O(n^3) при точной инференции ограничивает использование наборами данных в несколько тысяч наблюдений без разреженных аппроксимаций.
  • Выбор ядра влияет на результат и требует экспертизы в предметной области; некорректно заданное ядро ухудшает как предсказания, так и оценки неопределенности.
  • Точная инференция в замкнутой форме не работает для негауссовых правдоподобий (классификация, счетчики), требуя аппроксимаций, которые добавляют сложность.
  • Плохо масштабируется на входные пространства высокой размерности без снижения размерности или структурированных ядер.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Производит полностью калиброванные предиктивные распределения, а не только точечные оценки.
  • Апостериорное в замкнутой форме для регрессии — точное, выборка не требуется для умеренных данных.
  • Выбор ядра кодирует богатые знания предметной области о гладкости, периодичности и структуре.
  • Логарифмическая маргинальная правдоподобность обеспечивает автоматическое обучение гиперпараметров и сравнение моделей.
  • Естественно поддерживает активное обучение и байесовскую оптимизацию, количественно определяя, где неопределенность максимальна.
  • Эффективность по выборке: хорошо работает на малых наборах данных, где глубокое обучение не может обобщить.

Применение

  • Байесовская оптимизация для настройки гиперпараметров, проектирования экспериментов и AutoML.
  • Суррогатное моделирование в инженерных симуляциях и компьютерных экспериментах.
  • Пространственная интерполяция и геостатистика (кргинг).
  • Прогнозирование временных рядов с принципиальным количественным определением неопределенности.
  • Активное обучение: выбор наиболее информативного следующего наблюдения на основе апостериорной дисперсии.
  • Научный вывод, где требуется распространение неопределенности наряду с предсказанием.

Как это работает

Как это работает

1

Априорный ГП определяется функцией среднего m(x) — часто устанавливаемой в ноль — и функцией ковариации (ядра) k(x,x'), которая кодирует, как выходные значения двух входных данных коварируют. Вместе они определяют распределение по всем функциям, из которых модель выбирает кандидатные решения до получения каких-либо данных.

Формула
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x},\mathbf{x}'))
2

Ядро является центральным выбором моделирования. Общие ядра включают квадратично-экспоненциальное (RBF), Матерна, периодическое и линейное ядра, каждое из которых кодирует различные предположения о гладкости, периодичности или тренде. Знания предметной области используются для выбора или составления ядер, которые соответствуют ожидаемому поведению целевой функции.

3

Учитывая обучающие наблюдения (X, y), правило Байеса применяется в замкнутой форме для регрессии для получения апостериорного ГП. Среднее апостериорного дает точечное предсказание для любого нового входного значения x*, в то время как дисперсия апостериорного количественно определяет остаточную неопределенность — сужаясь вблизи наблюдений и расширяясь в неисследованных областях.

Формула
p(f^* | \mathbf{X}, \mathbf{y}, \mathbf{x}^*) = \mathcal{N}(\mu^*, \sigma^{*2})
4

Гиперпараметры ядра (масштабы длины, дисперсия выходных данных, уровень шума) изучаются путем максимизации логарифмической маргинальной правдоподобности, которая автоматически балансирует соответствие данным против сложности модели. Этот встроенный бритва Оккама избегает отдельной кросс-валидации для выбора гиперпараметров во многих случаях.

Формула
\hat{\boldsymbol{\theta}} = \arg\max \log p(\mathbf{y}|\mathbf{X},\boldsymbol{\theta})
5

Окончательное предиктивное распределение в новой точке является Гауссовским для регрессии, возвращая среднее и дисперсию. Для классификации дополнительный шаг аппроксимации (Лапласа, распространения ожидания или вариационного вывода) преобразует скрытый ГП в вероятности классов.

Частые ошибки

  • Использование стандартного ядра RBF без учета того, действительно ли данные гладкие и стационарные.
  • Игнорирование апостериорной предиктивной дисперсии и представление только среднего, отбрасывая главное преимущество модели.
  • Применение точной инференции ГП к большим наборам данных (n > 10 000) без разреженных аппроксимаций или аппроксимаций с индуцирующими точками, вызывая сбои памяти и скорости.
  • Путаница между оптимизацией гиперпараметров ГП (маргинальная правдоподобность) и полной байесовской инференции по гиперпараметрам — последняя требует MCMC и редко выполняется на практике.
  • Рассмотрение выходов ГП для классификации так, как если бы скрытое апостериорное было точным, без учета ошибки аппроксимации в негауссовых правдоподобиях.

Часто задаваемые вопросы

Является ли Гауссовский процесс по своей сути Байесовским?

Да. ГП определяет априорное распределение над функциями, а кондиционирование на данных дает апостериорное распределение с помощью правила Байеса. Предиктивное распределение является маргинализацией всех правдоподобных функций, взвешенных по их апостериорной вероятности, что является определяющим свойством байесовского вывода.

Как выбрать ядро?

Начните с вопроса, ожидается ли функция гладкой (RBF/квадратично-экспоненциальное), периодической (периодическое ядро) или кусочно-нерегулярной (Матерн 3/2 или 5/2). Ядра могут комбинироваться аддитивно или мультипликативно для захвата составной структуры. Проверяйте выбор с помощью логарифмической маргинальной правдоподобности.

Можно ли использовать ГП на тысячах точек данных?

Точная инференция ГП имеет стоимость O(n^3), что осуществимо до нескольких тысяч точек на современном оборудовании. Для больших наборов данных используйте разреженные аппроксимации ГП (методы индуцирующих точек, такие как FITC или VFE) или стохастические вариационные ГП, которые масштабируются до миллионов наблюдений.

В чем разница между регрессией ГП и классификацией ГП?

Регрессия ГП использует Гауссовское правдоподобие, поэтому апостериорное также является Гауссовским и может быть вычислено в замкнутой форме. Классификация ГП использует Бернуллиевское (или softmax) правдоподобие, которое не является Гауссовским, поэтому апостериорное должно быть аппроксимировано — обычно с помощью аппроксимации Лапласа или распространения ожидания.

Как ГП сравнивается с нейронной сетью?

ГП лучше подходят для малых данных, предоставляют калиброванную неопределенность из коробки и интерпретируемы через ядро. Нейронные сети доминируют на больших, высокоразмерных данных. Бесконечно широкие нейронные сети с определенными активациями математически эквивалентны ГП, раскрывая глубокую теоретическую связь между ними.

Похожие методы

Источники

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    Скопировано.
  2. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 6). Springer.

    ISBN: 978-0-387-31073-2
    Скопировано.