Saltar al contenido
Volver a los resultados

Proceso Gaussiano Semisupervisado

Propuesto por
Lawrence, N. D. & Jordan, M. I.
Año
2004
Tipo
Probabilistic model (semi-supervised)
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El Proceso Gaussiano Semisupervisado extiende el marco probabilístico de GP para explotar datos no etiquetados junto con un pequeño conjunto de observaciones etiquetadas.

Al colocar una priori GP sobre funciones y aprovechar la estructura geométrica revelada por las entradas no etiquetadas, aprende predictores más precisos y mejor calibrados que un GP puramente supervisado cuando las etiquetas son escasas, lo que lo hace muy adecuado para problemas científicos y médicos donde la anotación es costosa.

La intuición detrás del método

Un proceso Gaussiano estándar define una distribución sobre funciones suaves y se condiciona en los puntos de entrenamiento etiquetados para formar predicciones. Cuando las etiquetas son raras, esta posterior condicionada es muy incierta en regiones con pocos datos. El GP semisupervisado aborda esto utilizando también las entradas no etiquetadas para revelar la estructura subyacente de la variedad o densidad del espacio de entrada. El kernel — que codifica la similitud — puede ser entonces moldeado por muchos puntos no etiquetados, de modo que el modelo aprende dónde residen los datos antes de ver una etiqueta. Esto reduce drásticamente la incertidumbre posterior y mejora la generalización a partir de pocos ejemplos etiquetados.

Historia

El marco de GP semisupervisado fue introducido formalmente por Lawrence y Jordan en NeurIPS 2004, basándose en el GP fundamental de Rasmussen y Williams para el aprendizaje automático (libro de 2006, manuscritos anteriores circularon desde 1996). El enfoque combina ideas de regularización de variedades, Laplacianos de grafos y no paramétricos Bayesianos, y ha influido en trabajos posteriores sobre GPs dispersos, aprendizaje profundo de kernels y redes neuronales de grafos con salidas probabilísticas.

Cuándo usarlo

Utilice el Proceso Gaussiano Semisupervisado cuando los datos etiquetados sean escasos pero los datos no etiquetados sean abundantes, necesite estimaciones de incertidumbre calibrada junto con las predicciones, y el espacio de entrada tenga una estructura geométrica suave que los puntos no etiquetados puedan iluminar. Sobresale en entornos biológicos, médicos y de ciencias físicas donde la anotación es costosa. Evítelo cuando el conjunto de datos sea grande (miles de puntos etiquetados), ya que la inferencia GP escala como O(n^3) en el número de puntos etiquetados y se vuelve computacionalmente prohibitiva. También evítelo cuando la dimensión de entrada sea muy alta (por encima de ~50 características) sin una cuidadosa ingeniería del kernel, o cuando los coeficientes interpretables en lugar de las predicciones probabilísticas sean el entregable principal.

Limitaciones y consideraciones

  • El escalado cúbico O(n^3) en el número de puntos etiquetados lo hace impracticable más allá de unas pocas miles de observaciones sin aproximaciones de puntos dispersos.
  • Se requiere inferencia aproximada (Laplace, EP) para verosimilitudes no Gaussianas como la clasificación, introduciendo error de aproximación.
  • El rendimiento depende en gran medida de la elección del kernel y de la suposición de que los puntos no etiquetados representan fielmente la variedad de datos.
  • La optimización computacionalmente intensiva de hiperparámetros puede ser lenta y converger a óptimos locales pobres en altas dimensiones.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Produce distribuciones predictivas completas, proporcionando incertidumbre calibrada junto a cada predicción.
  • Los datos no etiquetados pueden mejorar drásticamente la precisión cuando las etiquetas son escasas, haciendo que los presupuestos de anotación rindan más.
  • La flexibilidad del kernel permite codificar el conocimiento del dominio sobre la suavidad, periodicidad o geometría de entrada.
  • El marco Bayesiano principista soporta la selección de hiperparámetros mediante la maximización de la verosimilitud marginal.
  • Maneja naturalmente tareas de predicción multivariable y estructurada a través de extensiones de GP multivariable.

Aplicaciones

  • Predicción de actividad de fármacos a partir de descriptores moleculares con pocos compuestos etiquetados por ensayo.
  • Clasificación de imágenes médicas donde las anotaciones expertas son limitadas pero las exploraciones en bruto son abundantes.
  • Modelado de sensores ambientales utilizando lecturas calibradas escasas y mediciones no calibradas densas.
  • Clasificación de expresión génica con etiquetas fenotípicas limitadas pero grandes conjuntos de datos transcriptómicos.
  • Predicción de propiedades de materiales en química y física donde las mediciones experimentales etiquetadas son costosas.

Cómo funciona

Cómo funciona

1

Una función kernel k(x_i, x_j) codifica creencias previas sobre la suavidad y la escala de la función objetivo. Para entornos semisupervisados, se construyen kernels basados en grafos o adaptados a la variedad a partir de todas las entradas disponibles — tanto etiquetadas como no etiquetadas — de modo que la métrica de similitud refleje la verdadera geometría de los datos en lugar de la distancia euclidiana bruta.

Fórmula
k(x_i, x_j) = \sigma^2 \exp\!\left(-\frac{\|x_i - x_j\|^2}{2\ell^2}\right)
2

Se coloca una priori GP de media cero f ~ GP(0, k) sobre la función latente. Dado que el kernel se estimó a partir del conjunto completo de datos no etiquetados, esta priori ya codifica la estructura geométrica de la variedad de entrada antes de incorporar cualquier etiqueta.

Fórmula
f \sim \mathcal{GP}(0, k)
3

Los puntos no etiquetados se integran en el modelo ya sea construyendo un regularizador Laplaciano de grafos sobre todas las entradas, o tratando los valores de la función latente en ubicaciones no etiquetadas como variables auxiliares que se marginalizan durante la inferencia. Ambos enfoques permiten que el gran conjunto de datos no etiquetados restrinja y estabilice la posterior.

4

Condicionarse en las observaciones etiquetadas actualiza la priori GP a una posterior sobre funciones. En entornos de clasificación, esto implica inferencia aproximada (aproximación de Laplace o propagación de expectativas) porque la verosimilitud Gaussiana se reemplaza por un modelo de observación no Gaussiano.

Fórmula
p(f^* | X, y, X_*) \propto p(y | f) \, p(f | X, X_*)
5

Para cualquier entrada nueva x*, la distribución predictiva posterior se calcula analíticamente (regresión) o mediante aproximación (clasificación). La salida es una distribución predictiva completa — media y varianza — que proporciona no solo una estimación puntual sino también una incertidumbre calibrada, lo cual es esencial en dominios científicos con pocas etiquetas.

Fórmula
\hat{y}^* = \mathbb{E}[f^* | X, y, x^*]

Errores comunes

  • Ignorar el costo O(n^3) e intentar ajustar un GP denso en miles de puntos sin aproximaciones de puntos de inducción dispersos.
  • Usar un kernel de distancia euclidiana estándar sin adaptarlo a la variedad de datos, lo que desperdicia el conjunto de datos no etiquetados.
  • Tratar la media posterior como una predicción dura y descartar la estimación de incertidumbre, que es la principal ventaja sobre los métodos discriminativos.
  • No validar en un conjunto etiquetado retenido, ya que los datos no etiquetados pueden introducir un desplazamiento de distribución sutil si no coinciden con el dominio de prueba.
  • Aplicar el método cuando la relación etiquetado/no etiquetado ya es alta, donde la complejidad adicional produce un beneficio insignificante sobre un GP supervisado.

Preguntas frecuentes

¿En qué se diferencia esto de un proceso Gaussiano supervisado estándar?

Un GP supervisado se condiciona solo en datos etiquetados e ignora las entradas no etiquetadas. La variante semisupervisada utiliza entradas no etiquetadas para moldear el kernel o restringir la priori de la función antes de condicionarse en las etiquetas, por lo que explota la variedad de datos y logra un menor error de generalización cuando las etiquetas son escasas.

¿Cuál es el principal cuello de botella computacional?

La inferencia GP es cúbica en el número de puntos de entrenamiento. Los métodos de puntos de inducción dispersos (por ejemplo, FITC, VFE) reducen esto a O(nm^2) donde m es el número de puntos de inducción (típicamente 50-500), haciendo factible el GP semisupervisado a gran escala.

¿Cómo elijo el kernel para la integración de datos no etiquetados?

Un enfoque común es un kernel Laplaciano de grafos o de difusión de calor calculado sobre todas las entradas. Alternativamente, un kernel RBF estándar con una escala de longitud ajustada en la distribución de entrada completa (etiquetada + no etiquetada) funciona razonablemente bien cuando los datos son de baja dimensión y están distribuidos suavemente.

¿Se preserva la incertidumbre calibrada después de integrar datos no etiquetados?

En principio sí — el marco Bayesiano produce posteriores calibradas — pero las aproximaciones introducidas para la clasificación (Laplace, EP) y los métodos dispersos (puntos de inducción) pueden reducir la calibración. Es una buena práctica evaluar el error de calibración esperado (ECE) en un conjunto de validación etiquetado.

¿Cuándo debería preferir una SVM semisupervisada sobre este método?

Prefiera una SVM semisupervisada (S3VM/SVM transductiva) cuando necesite un límite de decisión simple basado en margen, tenga características dispersas de alta dimensión (por ejemplo, texto) y no necesite estimaciones de incertidumbre. Elija el GP semisupervisado cuando las salidas probabilísticas y la flexibilidad del kernel sean importantes.

Métodos relacionados

Fuentes

  1. Lawrence, N. D., & Jordan, M. I. (2004). Semi-supervised learning via Gaussian processes. In Advances in Neural Information Processing Systems (NIPS), 17, 753–760. MIT Press.

    Abrir referencia de la publicación
    Copiado.
  2. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    Copiado.