Saltar al contenido
Volver a los resultados

Proceso Gaussiano Bayesiano

Propuesto por
O'Hagan, A.; Neal, R. M.; Rasmussen, C. E. & Williams, C. K. I.
Año
1978–2006
Tipo
Probabilistic kernel model
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Un Proceso Gaussiano (GP) sitúa una distribución de probabilidad directamente sobre funciones, utilizando un kernel para codificar la similitud entre entradas.

Tras observar datos, la regla de Bayes convierte este prior en un posterior que produce no solo predicciones puntuales sino también estimaciones de incertidumbre calibradas en cada nueva entrada, lo que lo convierte en uno de los modelos probabilísticos más rigurosos en aprendizaje automático.

La intuición detrás del método

Imagine dibujar infinitas curvas plausibles a través de sus datos, cada una consistente con lo que usted sabe. Un GP cuantifica la probabilidad de cada curva antes y después de ver las observaciones. El kernel determina qué curvas parecen suaves o onduladas, cercanas o de largo alcance. Una vez que llegan los datos, el GP reduce la familia de curvas plausibles alrededor de las observaciones, conservando una incertidumbre honesta donde los datos son escasos. Esto proporciona tanto una predicción como una banda de confianza que refleja genuinamente cuánta evidencia respalda el pronóstico.

Historia

El uso de procesos gaussianos en estadística se remonta a O'Hagan (1978) y Kriging en geoestadística (Matheron, 1963). Su adopción en aprendizaje automático fue catalizada por Neal (1996), quien demostró que las redes profundas convergen a GPs en el límite de ancho infinito, y por el libro de Rasmussen y Williams de 2006, que se convirtió en la referencia estándar. Hoy en día, los GPs sustentan las canalizaciones de optimización bayesiana en la sintonización de hiperparámetros y el diseño experimental en ingeniería y ciencia.

Cuándo usarlo

Utilice un GP Bayesiano cuando necesite incertidumbre calibrada junto con predicciones, por ejemplo, en aprendizaje activo, optimización bayesiana, aplicaciones de seguridad crítica o inferencia científica donde saber lo que el modelo no sabe importa tanto como la predicción en sí. Sobresale en conjuntos de datos pequeños a medianos (hasta unos pocos miles de observaciones) con entradas continuas o estructuradas y funciones subyacentes suaves. Evite los GP cuando el conjunto de datos supere aproximadamente 10.000 filas sin métodos de GP dispersos o aproximados, cuando el espacio de entrada sea de alta dimensionalidad (por encima de ~20 características) sin una fuerte estructura previa, o cuando solo se necesite un predictor puntual rápido y opaco.

Limitaciones y consideraciones

  • El costo computacional cúbico O(n^3) en inferencia exacta limita su uso a conjuntos de datos de unos pocos miles de observaciones sin aproximaciones dispersas.
  • La elección del kernel es influyente y requiere experiencia en el dominio; un kernel mal especificado degrada tanto las predicciones como las estimaciones de incertidumbre.
  • La inferencia en forma cerrada falla para verosimilitudes no gaussianas (clasificación, recuentos), requiriendo aproximaciones que añaden complejidad.
  • Escala mal a espacios de entrada de alta dimensionalidad sin reducción de dimensionalidad o kernels estructurados.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Produce distribuciones predictivas totalmente calibradas, no solo estimaciones puntuales.
  • Posterior en forma cerrada para regresión: exacto, sin necesidad de muestreo para datos moderados.
  • La selección del kernel codifica un rico conocimiento del dominio sobre suavidad, periodicidad y estructura.
  • La log-verosimilitud marginal proporciona aprendizaje automático de hiperparámetros y comparación de modelos.
  • Soporta naturalmente el aprendizaje activo y la optimización bayesiana al cuantificar dónde la incertidumbre es mayor.
  • Eficiente en cuanto a muestras: funciona bien en conjuntos de datos pequeños donde el aprendizaje profundo no puede generalizar.

Aplicaciones

  • Optimización bayesiana para sintonización de hiperparámetros, diseño experimental y AutoML.
  • Modelado sustituto en simulaciones de ingeniería y experimentos computacionales.
  • Interpolación espacial y geoestadística (Kriging).
  • Pronóstico de series temporales con cuantificación de incertidumbre rigurosa.
  • Aprendizaje activo: selección de la próxima observación más informativa basada en la varianza posterior.
  • Inferencia científica donde se requiere propagación de incertidumbre junto con la predicción.

Cómo funciona

Cómo funciona

1

Un prior de GP se define por una función de media m(x) —a menudo establecida en cero— y una función de covarianza (kernel) k(x,x') que codifica cómo las salidas en dos entradas covarían. Juntas especifican una distribución sobre todas las funciones, de la cual el modelo extrae muestras de soluciones candidatas antes de que se vean los datos.

Fórmula
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x},\mathbf{x}'))
2

El kernel es la elección de modelado central. Los kernels comunes incluyen el exponencial cuadrado (RBF), Matern, periódico y lineal, cada uno codificando diferentes supuestos sobre suavidad, periodicidad o tendencia. El conocimiento del dominio se utiliza para seleccionar o componer kernels que coincidan con el comportamiento esperado de la función objetivo.

3

Dadas las observaciones de entrenamiento (X, y), la regla de Bayes se aplica en forma cerrada para regresión para obtener el GP posterior. La media posterior proporciona la predicción puntual en cualquier nueva entrada x*, mientras que la varianza posterior cuantifica la incertidumbre restante, disminuyendo cerca de las observaciones y ampliándose en regiones inexploradas.

Fórmula
p(f^* | \mathbf{X}, \mathbf{y}, \mathbf{x}^*) = \mathcal{N}(\mu^*, \sigma^{*2})
4

Los hiperparámetros del kernel (escalas de longitud, varianza de salida, nivel de ruido) se aprenden maximizando la log-verosimilitud marginal, que equilibra automáticamente el ajuste de los datos con la complejidad del modelo. Este rasero de Occam incorporado evita la validación cruzada separada para la selección de hiperparámetros en muchos entornos.

Fórmula
\hat{\boldsymbol{\theta}} = \arg\max \log p(\mathbf{y}|\mathbf{X},\boldsymbol{\theta})
5

La distribución predictiva final en un nuevo punto es Gaussiana para regresión, devolviendo una media y una varianza. Para clasificación, un paso de aproximación adicional (Laplace, propagación de expectativas o inferencia variacional) convierte el GP latente en probabilidades de clase.

Errores comunes

  • El uso de un kernel RBF por defecto sin considerar si los datos son realmente suaves y estacionarios.
  • Ignorar la varianza predictiva posterior e informar solo la media, descartando la principal ventaja del modelo.
  • Aplicar inferencia GP exacta a conjuntos de datos grandes (n > 10.000) sin aproximaciones dispersas o de puntos de inducción, causando fallos de memoria y velocidad.
  • Confundir la optimización de hiperparámetros de GP (verosimilitud marginal) con la inferencia bayesiana completa sobre hiperparámetros; esta última requiere MCMC y rara vez se realiza en la práctica.
  • Tratar las salidas de GP de clasificación como si el posterior latente fuera exacto, sin tener en cuenta el error de aproximación en verosimilitudes no gaussianas.

Preguntas frecuentes

¿Es un proceso gaussiano inherentemente bayesiano?

Sí. Un GP define un prior sobre funciones, y la condición sobre los datos produce un posterior a través de la regla de Bayes. La distribución predictiva es la marginalización de todas las funciones plausibles ponderadas por su probabilidad posterior, que es la propiedad definitoria de la inferencia bayesiana.

¿Cómo elijo el kernel?

Comience preguntando si se espera que la función sea suave (RBF/exponencial cuadrado), periódica (kernel periódico) o irregular por tramos (Matern 3/2 o 5/2). Los kernels se pueden combinar aditiva o multiplicativamente para capturar estructuras compuestas. Valide las elecciones utilizando la log-verosimilitud marginal.

¿Puedo usar un GP en miles de puntos de datos?

La inferencia GP exacta tiene un costo O(n^3), que es factible hasta unos pocos miles de puntos en hardware moderno. Para conjuntos de datos más grandes, utilice aproximaciones de GP dispersas (métodos de puntos de inducción como FITC o VFE) o GPs variacionales estocásticos, que escalan a millones de observaciones.

¿Cuál es la diferencia entre regresión GP y clasificación GP?

La regresión GP utiliza una verosimilitud Gaussiana, por lo que el posterior también es Gaussiano y se puede calcular en forma cerrada. La clasificación GP utiliza una verosimilitud de Bernoulli (o softmax), que no es Gaussiana, por lo que el posterior debe aproximarse, comúnmente con aproximación de Laplace o propagación de expectativas.

¿Cómo se compara un GP con una red neuronal?

Los GPs se adaptan mejor a datos pequeños, proporcionan incertidumbre calibrada de inmediato e son interpretables a través del kernel. Las redes neuronales dominan en datos grandes y de alta dimensionalidad. Las redes neuronales de ancho infinito con ciertas activaciones son matemáticamente equivalentes a los GPs, revelando una profunda conexión teórica entre ambas.

Métodos relacionados

Fuentes

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    Copiado.
  2. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 6). Springer.

    ISBN: 978-0-387-31073-2
    Copiado.