Saltar al contenido
Volver a los resultados

Modelo de Mezcla Gaussiana Semi-supervisado

Propuesto por
Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
Año
2000
Tipo
Generative semi-supervised classifier
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El Modelo de Mezcla Gaussiana Semi-supervisado (SS-GMM) es un clasificador probabilístico generativo que ajusta una mezcla gaussiana a datos etiquetados y no etiquetados utilizando el algoritmo de Expectation-Maximization.

Los puntos etiquetados restringen las asignaciones de componentes, mientras que los puntos no etiquetados mejoran las estimaciones de densidad, permitiendo un aprendizaje efectivo cuando las anotaciones son escasas.

La intuición detrás del método

Imagine que tiene pocos ejemplos etiquetados y muchos no etiquetados. Un modelo puramente supervisado ignora por completo los datos no etiquetados; el agrupamiento puro ignora sus etiquetas. El SS-GMM encuentra el equilibrio: modela los datos como una mezcla de clústeres gaussianos, fija los puntos etiquetados a su componente correcto y permite que los puntos no etiquetados floten probabilísticamente entre componentes. Las iteraciones EM siguen ajustando las gaussianas para describir mejor la nube de datos completa, de modo que las escasas etiquetas se propagan a la mayoría no etiquetada a través de la estructura de densidad compartida.

Historia

Los GMM semi-supervisados surgieron de la literatura más amplia de aprendizaje semi-supervisado de finales de la década de 1990. Nigam et al. (2000) demostraron el enfoque para la clasificación de texto utilizando EM en un modelo generativo Naive Bayes (un caso especial de GMM diagonal), mostrando ganancias medibles de los documentos no etiquetados. El marco general se consolidó en el influyente volumen de MIT Press de Chapelle, Scholkopf y Zien (2006), que estableció el SS-GMM como un enfoque generativo canónico para la clasificación semi-supervisada junto con alternativas discriminativas y basadas en grafos.

Cuándo usarlo

Utilice SS-GMM cuando los ejemplos etiquetados sean escasos pero los datos no etiquetados sean abundantes y cuando las distribuciones subyacentes condicionales de clase sean aproximadamente gaussianas o puedan serlo mediante transformación. Es adecuado para espacios de características continuas de baja a moderada dimensionalidad (hasta aproximadamente 20-50 características sin reducción de dimensionalidad). Evítelo cuando las características sean altamente no gaussianas o categóricas, cuando el número de clases sea grande en relación con las muestras etiquetadas, cuando la estructura de clúster no se alinee con los límites de clase (supuesto de clúster violado), o cuando un modelo discriminativo como un SVM semi-supervisado o propagación de etiquetas se ajuste mejor a la geometría de los datos.

Limitaciones y consideraciones

  • El ajuste del modelo se degrada cuando la suposición gaussiana se viola fuertemente — pueden ser necesarias transformaciones no lineales o métodos de kernel.
  • EM converge a un óptimo local; los resultados son sensibles a la inicialización y son necesarios múltiples reinicios.
  • Datos de alta dimensionalidad (maldición de la dimensionalidad) hacen que la estimación de la covarianza no sea fiable sin regularización o reducción de dimensionalidad.
  • Los datos no etiquetados pueden perjudicar en lugar de ayudar si no se cumple el supuesto de clúster (los clústeres no se alinean con los límites de clase).
  • Escala mal a conjuntos de datos no etiquetados muy grandes sin variantes estocásticas o de mini-lotes de EM.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Aprovecha los datos no etiquetados para mejorar la estimación de parámetros cuando las etiquetas son caras o raras.
  • Proporciona posteriores de clase probabilísticos y fundamentados, permitiendo la cuantificación de incertidumbre calibrada.
  • Modelo generativo matemáticamente transparente con garantías de convergencia EM bien entendidas.
  • Maneja naturalmente problemas multiclase sin descomposición uno contra el resto.
  • Puede extenderse con múltiples gaussianas por clase para capturar distribuciones multimodales dentro de clase.

Aplicaciones

  • Clasificación de texto y documentos cuando solo una pequeña fracción de los textos puede ser etiquetada manualmente.
  • Análisis de imágenes médicas donde la anotación experta es costosa y las exploraciones no etiquetadas son abundantes.
  • Tareas de bioinformática como el agrupamiento de expresión génica con etiquetas de clase parciales.
  • Clasificación de datos de sensores y series temporales en implementaciones de IoT con verdad fundamental escasa.
  • Detección de anomalías semi-supervisada modelando la densidad de la clase normal a partir de datos no etiquetados abundantes.
  • Aprendizaje de características en procesamiento del lenguaje natural antes de que el aprendizaje profundo se volviera dominante.

Cómo funciona

Cómo funciona

1

Inicialice los parámetros de la mezcla —medias de los componentes, covarianzas y pesos de mezcla— ya sea solo a partir del subconjunto etiquetado (p. ej., medias condicionales de clase) o mediante k-means sobre todos los datos disponibles. El número de componentes K se establece típicamente igual al número de clases conocidas, aunque son posibles múltiples componentes por clase.

2

Para cada punto no etiquetado, calcule las responsabilidades suaves: la probabilidad posterior de que el punto i pertenezca al componente k, dados los parámetros actuales. Los puntos etiquetados reciben asignaciones duras —su responsabilidad para el componente de clase correcto se establece en uno y cero en otros lugares—, reforzando la supervisión sin romper el marco EM.

Fórmula
r_{ik} = \frac{\pi_k \mathcal{N}(x_i|\mu_k,\Sigma_k)}{\sum_j \pi_j \mathcal{N}(x_i|\mu_j,\Sigma_j)}
3

La restricción de asignación dura en los puntos etiquetados es la diferencia clave con respecto a un GMM no supervisado. Ancla la identidad del componente a la semántica de la clase, previniendo el conocido problema de cambio de etiquetas y asegurando que la estructura de clúster aprendida de los datos no etiquetados sea interpretable en términos de clases conocidas.

4

Actualice todos los parámetros de la mezcla utilizando las estadísticas combinadas ponderadas por responsabilidad de los puntos etiquetados y no etiquetados. Dado que los puntos no etiquetados contribuyen con recuentos fraccionales a cada componente, suavizan y estabilizan efectivamente las estimaciones de parámetros en regiones donde los datos etiquetados son escasos.

Fórmula
\mu_k = \frac{\sum_i r_{ik} x_i}{\sum_i r_{ik}},\quad \Sigma_k = \frac{\sum_i r_{ik}(x_i-\mu_k)(x_i-\mu_k)^T}{\sum_i r_{ik}}
5

Repita los pasos E y M hasta que la log-verosimilitud de los datos observados (sumada sobre puntos etiquetados y no etiquetados) deje de aumentar más allá de una pequeña tolerancia. Monitoree la convergencia cuidadosamente: se recomiendan múltiples reinicios aleatorios porque EM converge a un óptimo local y la solución final depende de la inicialización.

6

Clasifique un nuevo punto encontrando el componente con la mayor probabilidad posterior dados los parámetros convergidos. La clase predicha es la etiqueta asociada con ese componente. Las probabilidades posteriores entre componentes también sirven como puntuaciones de confianza calibradas.

Fórmula
\hat{y} = \arg\max_k \pi_k \mathcal{N}(x^*|\mu_k,\Sigma_k)

Errores comunes

  • Ejecutar una única inicialización de EM y aceptar la primera solución convergida — siempre use múltiples reinicios.
  • Establecer K igual al número de clases sin considerar la multimodalidad dentro de clase, lo que lleva a una pobre captura de la densidad.
  • Aplicar el modelo en altas dimensiones sin primero reducir la dimensionalidad o regularizar las matrices de covarianza (p. ej., covarianza diagonal o ligada).
  • Asumir que los datos no etiquetados siempre ayudan — si se violan los supuestos de clúster y de manifold, los datos no etiquetados pueden degradar la precisión.
  • Omitir la ponderación adecuada del término de log-verosimilitud etiquetada; una solución común es sobreponderar las contribuciones de los puntos etiquetados por un factor lambda.

Preguntas frecuentes

¿Cómo difiere el SS-GMM de un GMM completamente no supervisado?

Un GMM no supervisado encuentra la estructura de clúster sin conocimiento de las etiquetas de clase y sufre de cambio de etiquetas — los índices de clúster no tienen significado semántico. El SS-GMM fija los puntos etiquetados a sus componentes correctos durante cada paso E, anclando la identidad del clúster a la semántica de la clase y permitiendo que los puntos no etiquetados refinen las estimaciones de densidad.

¿Qué pasa si los datos no etiquetados parecen perjudicar mi precisión?

Este es el problema de 'violación del supuesto de clúster': si los límites de clase no se alinean con los clústeres de densidad naturales, los datos no etiquetados guían al modelo en la dirección equivocada. Los pasos de diagnóstico incluyen visualizar los datos en 2D (PCA/t-SNE), aumentar el peso lambda en los puntos etiquetados o cambiar a un método semi-supervisado discriminativo como un SVM semi-supervisado.

¿Cuántos componentes gaussianos debo usar por clase?

Comience con un componente por clase. Si una clase tiene una estructura claramente multimodal (p. ej., dos subpoblaciones), permita dos o más componentes para esa clase. Utilice BIC o verosimilitud retenida en el subconjunto etiquetado para comparar órdenes de modelos sin sobreajuste.

¿Debo usar matrices de covarianza completas, diagonales o ligadas?

La covarianza completa es la más flexible pero necesita muchas muestras por componente. La covarianza diagonal (se asume independencia de características) es la opción segura por defecto en dimensiones moderadas a altas. La covarianza ligada (todos los componentes comparten una matriz) reduce aún más los parámetros y es adecuada cuando las clases tienen una dispersión similar.

¿Hay un peso para las contribuciones etiquetadas vs. no etiquetadas?

Sí. Una extensión común multiplica la log-verosimilitud etiquetada por un factor lambda > 1 para compensar el número típicamente mucho mayor de puntos no etiquetados. Sin esto, la mayoría no etiquetada puede dominar las actualizaciones de parámetros y anular la señal de supervisión.

Métodos relacionados

Fuentes

  1. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Copiado.
  2. Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39(2-3), 103-134.

    Abrir referencia DOI
    Copiado.