Aprendizaje semisupervisado
- Propuesto por
- Vapnik, V. N. and others (community of researchers, 1970s–2000s)
- Año
- 1970s–2006 (formalized)
- Tipo
- Learning paradigm
- Familia
- Machine learning
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
El aprendizaje semisupervisado (SSL, por sus siglas en inglés) es un paradigma de aprendizaje automático que entrena modelos utilizando un pequeño conjunto de ejemplos etiquetados junto con un conjunto mucho mayor de datos no etiquetados.
Al aprovechar la estructura inherente en los datos no etiquetados, el SSL logra una precisión cercana a la de los modelos totalmente supervisados, al tiempo que requiere muchas menos etiquetas manuales costosas, lo que lo hace práctico cuando el etiquetado es caro, lento o está restringido en recursos.
La intuición detrás del método
Imagine enseñar a un estudiante dándole algunos ejemplos de libros de texto con respuestas y una gran biblioteca de problemas sin resolver. El estudiante utiliza los ejemplos resueltos para comprender patrones, y luego utiliza los problemas sin resolver para refinar esa comprensión observando qué ejemplos se agrupan o comparten estructuras similares. El SSL funciona de manera similar: el modelo aprende los límites de decisión a partir de datos etiquetados, y luego utiliza los datos no etiquetados para afilar esos límites asumiendo que los puntos cercanos probablemente comparten la misma clase, o que la variedad de datos captura una estructura significativa. El resultado es un modelo que supera al entrenamiento solo con etiquetas.
Historia
El aprendizaje semisupervisado como área formal surgió del trabajo sobre SVMs transductivas de Vapnik en la década de 1990 y la propagación de etiquetas basada en grafos de Zhu y Ghahramani (2002). El campo se consolidó con el volumen de MIT Press editado por Chapelle, Scholkopf y Zien (2006), que sigue siendo la referencia canónica. El aprendizaje profundo moderno revitalizó el SSL a través de métodos de regularización de consistencia como MixMatch (2019) y FixMatch (2020), extendiendo el paradigma a tareas de imágenes y texto a gran escala.
Cuándo usarlo
Utilice el aprendizaje semisupervisado cuando tenga abundantes datos no etiquetados pero el etiquetado sea costoso, lento o requiera conocimientos expertos escasos — común en imágenes médicas, procesamiento del lenguaje natural y dominios científicos. El SSL es apropiado cuando los datos no etiquetados y etiquetados comparten la misma distribución, cuando la suposición del clúster o de la variedad es plausiblemente válida, y cuando una línea de base totalmente supervisada ya es factible pero su precisión está limitada por la escasez de etiquetas. NO utilice SSL cuando los datos etiquetados y no etiquetados provengan de distribuciones diferentes (desplazamiento de distribución); cuando los datos no etiquetados sean muy escasos; cuando la tarea sea lo suficientemente simple como para que un pequeño conjunto de datos etiquetados ya sature la capacidad del modelo; o cuando el error de pseudo-etiqueta se acumule más rápido de lo que el modelo puede corregir — como ocurre con salidas de alta entropía o desequilibradas.
Limitaciones y consideraciones
- El rendimiento puede degradarse por debajo de la línea de base supervisada si los datos no etiquetados violan la suposición de clúster o suavidad o contienen desplazamiento de distribución.
- El error de pseudo-etiqueta se acumula con las iteraciones: predicciones confiadas pero incorrectas corrompen el entrenamiento posterior.
- Requiere una cuidadosa sintonización de los umbrales de confianza, la fuerza de la regularización y la relación de datos etiquetados a no etiquetados.
- La evaluación es más difícil: el conjunto no etiquetado nunca debe usarse para la selección del modelo a menos que esté estrictamente reservado.
- El costo computacional aumenta con grandes corpus no etiquetados, especialmente para métodos basados en grafos que requieren similitudes por pares.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Mejora sustancialmente la precisión del modelo cuando los datos etiquetados son escasos pero los datos no etiquetados son abundantes.
- Reduce el costo y el tiempo de anotación, permitiendo la implementación práctica en dominios que requieren mucho etiquetado experto.
- Compatible con casi cualquier aprendiz base (redes neuronales, bosques aleatorios, SVM, GP) a través de pseudo-etiquetado o extensiones basadas en grafos.
- La propagación de etiquetas y los métodos basados en grafos proporcionan incertidumbre interpretable y estructura de vecindad.
- El autoentrenamiento y la regularización de consistencia se integran naturalmente en los flujos de trabajo de entrenamiento estándar con una infraestructura adicional mínima.
Aplicaciones
- Clasificación de imágenes médicas donde las anotaciones expertas son escasas y los escaneos no etiquetados son abundantes.
- Tareas de procesamiento del lenguaje natural como análisis de sentimientos y reconocimiento de entidades nombradas con pocos documentos etiquetados.
- Investigación de estructuras de proteínas y genómica donde las etiquetas experimentales son costosas de adquirir.
- Control de calidad industrial utilizando un pequeño número de imágenes de defectos etiquetadas y muchas imágenes de producción no etiquetadas.
- Reconocimiento de voz y clasificación de audio cuando solo una fracción de las grabaciones puede ser transcrita.
- Clasificación de contenido web y categorización de documentos con grandes corpus rastreados.
Cómo funciona
Cómo funciona
Reúna un conjunto de datos que contenga un subconjunto pequeño etiquetado (típicamente un pequeño porcentaje del total) y un subconjunto grande no etiquetado. Los ejemplos etiquetados deben ser representativos de las clases o resultados de interés. La calidad de los datos en el conjunto etiquetado tiene un efecto desproporcionado en el modelo final.
Entrene un modelo inicial utilizando solo los ejemplos etiquetados. Esto produce un clasificador o regresor de referencia con precisión limitada debido al pequeño conjunto de datos etiquetados, pero proporciona el punto de partida para aprovechar los datos no etiquetados.
Aplique el modelo inicial a los datos no etiquetados para generar pseudo-etiquetas — asignaciones de clase predichas o distribuciones de probabilidad suaves. Las predicciones de alta confianza se aceptan provisionalmente como etiquetas de entrenamiento. Los algoritmos comunes de SSL difieren aquí: el autoentrenamiento acepta predicciones de máxima confianza, la propagación de etiquetas difunde etiquetas a través de un grafo de similitud y la regularización de consistencia impone predicciones estables bajo perturbaciones de entrada.
Reentrene el modelo incorporando tanto los datos etiquetados originales como los nuevos ejemplos no etiquetados pseudo-etiquetados. Este proceso puede iterar: el modelo mejorado genera mejores pseudo-etiquetas, que a su vez mejoran aún más el modelo. La regularización o los umbrales de confianza protegen contra la acumulación de errores.
Evalúe el modelo final en un conjunto de prueba etiquetado reservado utilizando métricas estándar (precisión, F1, AUC, MSE) que nunca se expusieron durante el entrenamiento o la pseudo-etiquetación. Compare con una línea de base totalmente supervisada entrenada solo con etiquetas para cuantificar la ganancia de los datos no etiquetados.
Errores comunes
- Uso de datos no etiquetados cuya distribución difiere del conjunto etiquetado — la falta de coincidencia de distribución es la causa más común de fallo del SSL.
- Omisión de una línea de base solo supervisada, lo que hace imposible verificar que los datos no etiquetados realmente ayudaron.
- Establecimiento de umbrales de confianza demasiado bajos, inundando el conjunto de entrenamiento con pseudo-etiquetas incorrectas.
- Evaluación en el corpus no etiquetado después de la pseudo-etiquetación, lo que infla las estimaciones de rendimiento.
- Tratar el SSL como si no tuviera suposiciones — el método solo ayuda cuando las suposiciones de suavidad, clúster o variedad se cumplen.
Preguntas frecuentes
¿Cómo se diferencia el aprendizaje semisupervisado del aprendizaje autosupervisado?
El aprendizaje semisupervisado utiliza un pequeño conjunto de etiquetas proporcionadas por humanos junto con datos no etiquetados para mejorar una tarea supervisada. El aprendizaje autosupervisado crea sus propias etiquetas a partir de la estructura de los datos no etiquetados por sí solos (por ejemplo, predecir palabras enmascaradas) — no se utilizan etiquetas humanas durante el preentrenamiento, aunque las representaciones aprendidas se ajustan posteriormente con datos etiquetados.
¿Cuándo el aprendizaje semisupervisado perjudica en lugar de ayudar?
Si los datos no etiquetados provienen de una distribución diferente a la de los datos etiquetados, o si los límites de clase no se alinean con los clústeres naturales en los datos, el SSL puede introducir ruido que reduce la precisión por debajo de la línea de base supervisada. Siempre compare con un modelo solo supervisado.
¿Cuál es el algoritmo SSL más simple para probar primero?
El autoentrenamiento es el más sencillo: entrenar con etiquetas, predecir sobre datos no etiquetados, agregar predicciones de alta confianza como datos etiquetados y reentrenar. Funciona con cualquier aprendiz base y sirve como una línea de base útil antes de métodos más complejos basados en grafos o regularización de consistencia.
¿Cuántos datos etiquetados se necesitan típicamente?
No hay una respuesta universal, pero el SSL es más beneficioso cuando los datos etiquetados representan el 1-10% del conjunto de datos total. Por debajo de aproximadamente 10-50 ejemplos etiquetados por clase, incluso el SSL puede tener dificultades; en ese punto, el aprendizaje activo para priorizar qué ejemplos etiquetar puede ser más efectivo.
¿Se puede utilizar el aprendizaje semisupervisado con cualquier tipo de modelo?
Sí. El pseudo-etiquetado y el autoentrenamiento funcionan con cualquier aprendiz base. Los métodos basados en grafos como la propagación de etiquetas son agnósticos al modelo pero requieren el cálculo de similitudes por pares. Los métodos de regularización de consistencia se aplican más naturalmente a las redes neuronales pero pueden adaptarse a otros modelos probabilísticos.
Métodos relacionados
Fuentes
Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Copiado.Zhu, X. (2005). Semi-supervised learning literature survey. Technical Report 1530, University of Wisconsin-Madison.
Abrir referencia de la publicaciónCopiado.