Saltar al contenido
Volver a los resultados

Proceso gaussiano

Propuesto por
Rasmussen, C. E. & Williams, C. K. I.
Año
2006 (book); roots in Kriging, 1951)
Tipo
Probabilistic non-parametric model
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Un proceso gaussiano (GP) es un modelo de aprendizaje automático no paramétrico y totalmente probabilístico que establece una distribución a priori directamente sobre funciones.

En lugar de predecir un valor único, devuelve una media predictiva y una estimación de incertidumbre calibrada en cada punto de prueba, lo que lo hace especialmente valioso para la regresión en conjuntos de datos pequeños a medianos y para tareas de optimización bayesiana.

La intuición detrás del método

En lugar de ajustar una curva fija a sus datos, un proceso gaussiano mantiene una distribución completa sobre las posibles curvas que son consistentes con lo que ha observado. Antes de ver los datos, asume que las funciones deben ser suaves (según lo define un kernel). Después de ver los datos, reduce esa distribución: los puntos de prueba cercanos reciben predicciones ajustadas y seguras, mientras que las regiones distantes o con pocos datos producen amplias bandas de incertidumbre. Esta cuantificación de la incertidumbre incorporada es lo que distingue a los GP de la mayoría de los otros modelos.

Historia

Los procesos gaussianos tienen sus raíces en el Kriging, desarrollado por Danie Krige en geoestadística en la década de 1950 y formalizado por Georges Matheron. Su adopción en el aprendizaje automático fue impulsada en gran medida por Carl Rasmussen y Christopher Williams, cuyo libro de 2006 de MIT Press se convirtió en la referencia definitiva, estableciendo el GP como una alternativa bayesiana no paramétrica de principios a las redes neuronales y las SVM de kernel, particularmente para entornos donde la cuantificación de la incertidumbre es esencial.

Cuándo usarlo

Los procesos gaussianos sobresalen en conjuntos de datos pequeños a medianos (hasta unos pocos miles de filas) donde la cuantificación de la incertidumbre es importante, por ejemplo, experimentos científicos, diseño de ingeniería o modelado sustituto para simulaciones costosas. Son el método de elección para la optimización bayesiana. Prefiera el GP sobre modelos más simples cuando necesite intervalos de predicción calibrados en lugar de solo estimaciones puntuales, y cuando se espera que la relación entre entradas y salidas sea suave. Evite el GP cuando n exceda aproximadamente 10.000 observaciones, ya que la inferencia exacta escala como O(n^3), lo que la hace computacionalmente prohibitiva sin aproximaciones. El GP también tiene dificultades con espacios de entrada de muy alta dimensión y con funciones discontinuas o altamente no estacionarias a menos que se utilicen kernels cuidadosamente adaptados.

Limitaciones y consideraciones

  • La inferencia exacta es O(n^3) en tiempo y O(n^2) en memoria, lo que la hace impracticable para n grandes sin métodos GP dispersos o aproximados.
  • El rendimiento se degrada en espacios de entrada de muy alta dimensión debido a la maldición de la dimensionalidad en las distancias del kernel.
  • La elección y combinación de kernels requiere conocimiento del dominio; un kernel mal elegido conduce a una mala calibración de la incertidumbre.
  • La clasificación (clasificadores GP) requiere una aproximación adicional de Laplace o de propagación de expectativas, lo que añade complejidad.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Devuelve intervalos de incertidumbre predictiva calibrados junto con predicciones puntuales.
  • Extremadamente eficiente en muestras: funciona bien en conjuntos de datos pequeños donde los modelos basados en árboles se sobreajustan.
  • La elección del kernel codifica de forma flexible el conocimiento del dominio sobre la suavidad, la periodicidad o la escala.
  • Los hiperparámetros se aprenden de los datos a través de la verosimilitud marginal, proporcionando una regularización automática.
  • Marco nativo para la optimización bayesiana y el diseño experimental de aprendizaje activo.

Aplicaciones

  • Regresión en conjuntos de datos científicos y de ingeniería pequeños a medianos que requieren intervalos de confianza calibrados.
  • Optimización bayesiana de funciones de caja negra costosas, como el ajuste de hiperparámetros o el diseño experimental.
  • Modelado sustituto para simulaciones por computadora costosas en ingeniería aeroespacial, ciencia de materiales y modelado climático.
  • Interpolación espacio-temporal y mapeo geoestadístico (Kriging).
  • Aprendizaje activo: uso de la varianza a posteriori para seleccionar la siguiente medición más informativa.
  • Modelado de series temporales con kernels periódicos o compuestos que codifican la estructura estacional.

Cómo funciona

Cómo funciona

1

Una función kernel (comúnmente exponencial-cuadrada / RBF) codifica creencias previas sobre la suavidad de la función y la escala de longitud. Mide la similitud entre dos puntos de entrada cualesquiera: entradas similares deben producir salidas similares. La elección de la forma del kernel rige fuertemente qué tipos de funciones puede representar el GP.

Fórmula
k(\mathbf{x}, \mathbf{x}') = \sigma^2 \exp\!\left(-\frac{\|\mathbf{x}-\mathbf{x}'\|^2}{2l^2}\right)
2

Antes de observar cualquier dato, el GP define una distribución a priori sobre las funciones: cada colección finita de valores de función es conjuntamente gaussiana con una función media m(x) y una covarianza dada por el kernel. Esta distribución a priori es la creencia inicial sobre cómo se comporta la función desconocida.

Fórmula
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x}, \mathbf{x}'))
3

El condicionamiento de la distribución a priori sobre los datos de entrenamiento observados produce la distribución a posteriori, también gaussiana. La media a posteriori se convierte en la predicción puntual en cualquier nueva entrada x*, y la varianza a posteriori proporciona un intervalo de confianza calibrado, que se estrecha automáticamente donde los datos de entrenamiento son densos.

Fórmula
f_* \mid \mathbf{X}, \mathbf{y}, \mathbf{x}_* \sim \mathcal{N}(\mu_*, \sigma^2_*)
4

Los hiperparámetros del kernel (escala de longitud, varianza de salida, nivel de ruido) se estiman maximizando la verosimilitud marginal logarítmica de los datos de entrenamiento. Esta optimización equilibra el ajuste de los datos con la complejidad del modelo, realizando una regularización automática sin un término de penalización separado.

Fórmula
\hat{\boldsymbol{\theta}} = \arg\max_{\boldsymbol{\theta}} \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta})
5

En el momento de la predicción, la media a posteriori se devuelve como la estimación puntual y la desviación estándar a posteriori como la banda de incertidumbre. Ambos se pueden usar directamente: informe la media para la mejor estimación y el intervalo para comunicar cuán seguro está el modelo en cada nueva ubicación de entrada.

Errores comunes

  • Usar el kernel RBF predeterminado sin verificar si la función es realmente estacionaria y suave; los patrones periódicos o discontinuos requieren kernels diferentes.
  • Olvidar estandarizar las entradas y salidas continuas antes del ajuste, lo que lleva a matrices de covarianza mal condicionadas.
  • Tratar la media a posteriori sola como el resultado final e ignorar las bandas de incertidumbre, que son la contribución principal del modelo.
  • Aplicar GP exacto a conjuntos de datos con n superior a ~5.000 sin cambiar a una aproximación dispersa o de puntos inductores.
  • Confundir el ruido aleatorio (error de medición irreducible) con la incertidumbre epistémica (incertidumbre del modelo) al interpretar la salida de la varianza.

Preguntas frecuentes

¿Con qué kernel debo empezar?

El kernel exponencial-cuadrado (RBF) es el punto de partida predeterminado porque produce funciones suaves infinitamente diferenciables y tiene hiperparámetros de escala de longitud y varianza de salida interpretables. Cambie a un kernel de Matern si espera que la función sea menos suave, o agregue un componente periódico para datos estacionales.

Mi conjunto de datos tiene 50.000 filas. ¿Todavía puedo usar un GP?

La inferencia GP exacta sería prohibitiva a esa escala. Considere los métodos GP dispersos (por ejemplo, puntos inductores / FITC) o el GP variacional estocástico, los cuales reducen el costo de entrenamiento a aproximadamente O(nm^2) donde m es el número de puntos inductores (m << n). Bibliotecas como GPyTorch implementan esto de manera eficiente.

¿En qué se diferencia un GP de la regresión lineal bayesiana?

La regresión lineal bayesiana establece una distribución a priori sobre un conjunto finito fijo de coeficientes; la flexibilidad del modelo está, por lo tanto, limitada por las funciones base elegidas. Un GP establece una distribución a priori directamente sobre funciones en un espacio de dimensión infinita, por lo que su complejidad efectiva se adapta a los datos sin requerir que se preespecifiquen las expansiones base.

¿Están realmente calibradas las estimaciones de incertidumbre?

Bajo el modelo y el kernel correctos, las incertidumbres a posteriori del GP están bien calibradas por construcción. En la práctica, la descalibración surge de una especificación incorrecta del kernel o de ignorar la estructura del ruido. Realice siempre una verificación predictiva a posteriori: grafique lo observado frente a lo predicho con la cobertura de los intervalos creíbles.

¿Pueden los procesos gaussianos manejar entradas categóricas o de tipo mixto?

Los kernels GP estándar operan con entradas continuas. Las entradas categóricas requieren kernels especiales (por ejemplo, kernel de distancia de Hamming) o codificación. Para datos mixtos predominantemente categóricos o de muy alta dimensión, los modelos basados en árboles, como Random Forest o el aumento de gradiente, suelen ser un mejor punto de partida.

Métodos relacionados

Fuentes

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    Copiado.
  2. Gaussian process. Wikipedia.

    Abrir referencia de la publicación
    Copiado.