Saltar al contenido
Volver a los resultados

Aprendizaje Activo con Aprendizaje Autosupervisado

Propuesto por
Multiple authors (active learning + SSL integration, 2020s)
Año
2020-2022
Tipo
Hybrid learning paradigm
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El aprendizaje activo combinado con el aprendizaje autosupervisado aprovecha los datos no etiquetados a través del preentrenamiento autosupervisado para construir representaciones ricas, y luego utiliza una estrategia de consulta activa para seleccionar los ejemplos más informativos para la anotación humana, maximizando el rendimiento del modelo bajo un presupuesto de etiquetado estricto.

Este enfoque híbrido es especialmente potente cuando los datos etiquetados son escasos pero existen grandes conjuntos de datos no etiquetados.

La intuición detrás del método

El aprendizaje autosupervisado puede extraer representaciones útiles de datos sin procesar y no etiquetados resolviendo tareas pretexto como predecir parches enmascarados o contrastar vistas aumentadas. Una vez que un codificador robusto se preentrena de esta manera, el aprendizaje activo toma el relevo: en lugar de etiquetar todo, se le pide a un oráculo solo los ejemplos no etiquetados más inciertos o más representativos. El rico espacio de incrustación del codificador hace que las consultas de incertidumbre y diversidad sean mucho más precisas de lo que serían con un modelo inicializado aleatoriamente, por lo que cada ejemplo etiquetado compra más mejora. El ciclo se repite, ajustando finamente el codificador con cada nuevo lote de etiquetas.

Historia

El aprendizaje activo tiene sus raíces en la década de 1990 (Cohn et al., 1996) y el aprendizaje autosupervisado surgió prominentemente en la década de 2010 con métodos contrastivos. Su integración se aceleró entre 2020 y 2022 a medida que los grandes conjuntos de datos no etiquetados y los potentes codificadores SSL (SimCLR, MoCo, MAE) se volvieron ampliamente disponibles. Los investigadores descubrieron que el preentrenamiento SSL mejora sustancialmente la calidad de las incrustaciones en las que se basan las estrategias de consulta activa, lo que lleva a una familia de marcos combinados AL-SSL estudiados en visión por computadora y PNL. La combinación es ahora una frontera de investigación activa, particularmente en entornos de bajos recursos y con restricciones de anotación.

Cuándo usarlo

Utilice esta combinación cuando tenga un gran conjunto de datos no etiquetados y un presupuesto estricto para la anotación manual, y cuando las características sin procesar sean lo suficientemente complejas (imágenes, texto, audio, señales de alta dimensión) como para que el preentrenamiento autosupervisado aporte un valor representacional significativo. Sobresale en imágenes médicas, clasificación de documentos y teledetección, donde el etiquetado por expertos es costoso. NO lo utilice cuando su conjunto de datos etiquetado ya sea grande y representativo, cuando el dominio de los datos sea datos tabulares simples donde el preentrenamiento SSL aporte poco beneficio, o cuando el presupuesto de cómputo esté severamente restringido: el preentrenamiento SSL de codificadores grandes es computacionalmente intensivo. Evítelo también cuando el conjunto no etiquetado sea pequeño en relación con los datos etiquetados.

Limitaciones y consideraciones

  • El preentrenamiento autosupervisado puede ser computacionalmente costoso, especialmente para arquitecturas de codificadores grandes como los Vision Transformers.
  • El aprendizaje activo introduce la adquisición secuencial de datos, lo que dificulta el paralelismo y extiende el flujo de trabajo general de anotación.
  • Si el dominio de preentrenamiento autosupervisado y el dominio de la tarea objetivo divergen significativamente, las representaciones del codificador pueden ser engañosas para la selección de consultas.
  • Requiere un diseño cuidadoso: la función de adquisición debe ser compatible con la arquitectura del codificador y el espacio de incrustación.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Reduce drásticamente el número de etiquetas necesarias para alcanzar una precisión objetivo en comparación con enfoques solo supervisados o solo de aprendizaje activo.
  • Las representaciones autosupervisadas mejoran la calidad de las consultas activas al proporcionar distancias de incrustación significativas y estimaciones de incertidumbre desde el principio.
  • Se transfiere bien entre dominios: un codificador autosupervisado preentrenado con datos no etiquetados de un dominio puede iniciar el aprendizaje activo en un dominio objetivo relacionado.
  • Maneja datos no estructurados de alta dimensión (imágenes, texto, audio) donde las funciones de adquisición de aprendizaje activo tradicionales funcionan mal con características sin procesar.
  • Los dos paradigmas se refuerzan mutuamente: mejores representaciones mejoran la selección de consultas; mejores datos etiquetados mejoran las representaciones.

Aplicaciones

  • Anotación de imágenes médicas donde el tiempo del radiólogo es escaso y existen grandes archivos de escaneos no etiquetados.
  • Clasificación de documentos y textos con corpus etiquetados limitados pero texto en bruto abundante.
  • Clasificación de teledetección e imágenes satelitales bajo restricciones de presupuesto de anotación.
  • Detección de defectos industriales donde los ejemplos de defectos etiquetados son raros pero las imágenes de producción normales son abundantes.
  • Clasificación de voz y audio con grandes archivos de audio no etiquetados y transcripción costosa.
  • Descubrimiento de fármacos: selección de las estructuras moleculares más informativas para ensayos de laboratorio.

Cómo funciona

Cómo funciona

1

Un codificador autosupervisado se preentrena en el conjunto completo no etiquetado utilizando una tarea pretexto, como el aprendizaje contrastivo (SimCLR, MoCo), los autoencoders enmascarados (MAE) o la predicción de rotación. No se necesitan etiquetas humanas en esta etapa; el objetivo es un espacio de características donde los ejemplos semánticamente similares se agrupen.

2

Una función de adquisición de aprendizaje activo, como la de menor confianza, muestreo de entropía, BADGE o selección de conjuntos centrales, evalúa cada ejemplo no etiquetado utilizando las predicciones o incrustaciones del codificador actual. Los ejemplos estimados como más informativos (inciertos o más representativos de regiones inexploradas) se clasifican y se selecciona un lote del tamaño del presupuesto para su anotación.

3

El lote seleccionado se presenta a un anotador humano (el oráculo) que proporciona las etiquetas de verdad fundamental. Este es el único paso que incurre en costo de etiquetado, por lo que la calidad de la estrategia de consulta determina directamente la eficiencia del etiquetado.

4

El codificador se ajusta finamente (o se entrena una nueva cabeza de clasificación) con todos los ejemplos etiquetados acumulados hasta el momento. Técnicas de regularización como la evaluación lineal seguida de ajuste fino completo ayudan a prevenir el sobreajuste en el pequeño conjunto etiquetado mientras se preservan las representaciones preentrenadas.

5

El ciclo de consulta-etiqueta-ajuste fino se repite hasta que se agota el presupuesto de etiquetado o se alcanza el objetivo de rendimiento. El codificador se actualiza opcionalmente con nuevos datos no etiquetados entre rondas si el conjunto es dinámico.

Errores comunes

  • Usar una función de adquisición genérica (p. ej., muestreo aleatorio) después del preentrenamiento SSL y llamarlo aprendizaje activo: la estrategia de consulta es lo que proporciona la ganancia adicional.
  • Evaluar solo el modelo final después de todas las rondas de anotación, lo que oculta si las consultas tempranas fueron verdaderamente informativas.
  • Pasar por alto el cambio de distribución entre el conjunto no etiquetado y el oráculo de anotación, lo que puede introducir sesgo de selección.
  • Olvidar rastrear el costo de etiquetado como el eje principal de comparación: las ganancias deben medirse como precisión frente a presupuesto de anotación, no solo la precisión final.
  • Aplicar el mismo programa de tasa de aprendizaje durante el ajuste fino que durante el preentrenamiento, lo que puede destruir las representaciones preentrenadas.

Preguntas frecuentes

¿Necesito volver a ejecutar el preentrenamiento autosupervisado después de cada ronda de aprendizaje activo?

No necesariamente. La práctica más común es preentrenar una vez en todo el conjunto no etiquetado, y luego ajustar finamente el codificador incrementalmente con cada nuevo lote etiquetado. Volver a ejecutar el preentrenamiento SSL completo en cada ronda es computacionalmente prohibitivo; algunos trabajos utilizan actualizaciones SSL ligeras (p. ej., aprendizaje contrastivo en línea) para adaptar las representaciones durante el ciclo AL.

¿Qué función de adquisición de aprendizaje activo funciona mejor con SSL?

Las estrategias basadas en incrustaciones, como la selección de conjuntos centrales, BADGE (Batch Active learning by Diverse Gradient Embeddings) y el muestreo de diversidad basado en clústeres, tienden a funcionar mejor porque explotan la geometría significativa del espacio de incrustaciones SSL. El muestreo de entropía simple sobre las salidas softmax también se beneficia de SSL, pero gana menos que el muestreo aleatorio.

¿En qué se diferencia esto del aprendizaje semisupervisado?

El aprendizaje semisupervisado utiliza todos los datos no etiquetados de forma pasiva durante el entrenamiento. El aprendizaje activo con SSL es interactivo: selecciona estratégicamente qué ejemplos no etiquetados presentar a un oráculo para su anotación, y actualiza el modelo solo con esas etiquetas elegidas. La distinción clave es el bucle de anotación secuencial y consciente del presupuesto.

¿Son los datos tabulares un buen ajuste para este enfoque?

Generalmente no. El preentrenamiento autosupervisado en datos tabulares aporta un beneficio modesto en comparación con imágenes o texto, porque no hay una estrategia natural de aumento o enmascaramiento de parches. Para datos tabulares, el aprendizaje activo simple con un modelo supervisado convencional (p. ej., regresión logística o bosque aleatorio) suele ser más eficiente e interpretable.

¿Qué métricas debo informar?

Informe la precisión (o F1, AUC) en función del presupuesto de etiquetado (número de consultas del oráculo), no solo la precisión final. Incluya una línea base de muestreo aleatorio y, si es posible, un límite superior totalmente supervisado. Esta curva de eficiencia de anotación es la contribución principal de cualquier evaluación de aprendizaje activo.

Métodos relacionados

Fuentes

  1. Bengar, J. Z., van de Weijer, J., Fuentes, L. L., & Raducanu, B. (2022). Class-Balanced Active Learning for Image Classification. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 3082–3091.

    Abrir referencia de la publicación
    Copiado.
  2. Wang, K., Zhang, D., Li, Y., Zhang, R., & Lin, L. (2016). Cost-Effective Active Learning for Deep Image Classification. IEEE Transactions on Circuits and Systems for Video Technology, 27(12), 2591–2600.

    Abrir referencia DOI
    Copiado.