Saltar al contenido
Volver a los resultados

Aprendizaje autosupervisado

Propuesto por
LeCun, Y. and community (formalized ~2018–2020)
Año
2018–2020
Tipo
Representation learning paradigm
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El aprendizaje autosupervisado (SSL, por sus siglas en inglés) es un paradigma de aprendizaje automático que genera su propia señal de supervisión directamente a partir de datos sin etiquetar, definiendo una tarea pretexto auxiliar —como predecir palabras enmascaradas, rotar imágenes o contrastar vistas aumentadas— y utiliza las representaciones aprendidas como un potente punto de partida para tareas posteriores con un mínimo de ejemplos etiquetados.

La intuición detrás del método

La mayoría de los datos del mundo real no están etiquetados. El aprendizaje autosupervisado convierte esta abundancia en un recurso de entrenamiento al inventar un desafío que el modelo debe resolver utilizando solo los datos mismos —por ejemplo, ocultar parte de una oración y pedirle al modelo que la prediga. Resolver ese desafío obliga al modelo a construir representaciones internas ricas. Una vez que las representaciones son lo suficientemente buenas, solo se necesita una pequeña cantidad de datos etiquetados para adaptar el modelo a una tarea específica, reduciendo drásticamente el costo de anotación.

Historia

El concepto de aprender de datos sin etiquetar a través de tareas proxy es anterior al aprendizaje profundo, pero el aprendizaje autosupervisado como paradigma nombrado cobró prominencia alrededor de 2018-2020 con BERT (Devlin et al., 2018) en PNL y MoCo / SimCLR en visión por computadora. Yann LeCun defendió el término y la visión, describiendo el SSL como la "materia oscura de la inteligencia" en 2022. Hoy en día, sustenta prácticamente todos los grandes modelos de lenguaje y modelos fundacionales de visión.

Cuándo usarlo

Elija el aprendizaje autosupervisado cuando tenga un gran corpus de datos sin etiquetar en su dominio objetivo, pero el etiquetado sea costoso o lento —algo común en imágenes médicas, PNL, imágenes satelitales y datos científicos. Es el enfoque estándar al construir modelos fundacionales a gran escala (BERT, GPT, DINO) o cuando los conjuntos etiquetados posteriores son pequeños. Evite el SSL cuando el corpus sin etiquetar sea demasiado pequeño (por debajo de unos pocos miles de ejemplos), la tarea pretexto no coincida con la tarea posterior, o los recursos computacionales estén severamente restringidos —en esos casos, el aprendizaje supervisado con las etiquetas disponibles o la transferencia de aprendizaje tradicional desde un punto de control público son más prácticos.

Limitaciones y consideraciones

  • El pre-entrenamiento de modelos grandes requiere una computación sustancial (GPUs/TPUs durante días o semanas) y grandes corpus sin etiquetar.
  • El diseño de la tarea pretexto no es trivial; una tarea mal elegida puede producir representaciones que no se transfieren bien.
  • La estabilidad del ajuste fino puede ser sensible a la tasa de aprendizaje y al número de capas descongeladas.
  • La evaluación es indirecta: el rendimiento de la tarea pretexto no garantiza el rendimiento de la tarea posterior.
  • La brecha de dominio entre el corpus de pre-entrenamiento y el dominio objetivo puede limitar las ganancias.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Explota grandes cantidades de datos sin etiquetar, lo que lo convierte en el enfoque más escalable para el pre-entrenamiento de grandes corpus.
  • Produce representaciones de propósito general que se transfieren bien a muchas tareas posteriores con pocos datos de ajuste fino.
  • Reduce drásticamente el costo de anotación al generar supervisión a partir de la estructura de los datos en lugar de etiquetas humanas.
  • Los modelos fundacionales de última generación (BERT, GPT, DINO, MAE) se basan todos en objetivos autosupervisados.
  • Maneja naturalmente datos multimodales mediante el diseño de tareas pretexto intermodales (por ejemplo, CLIP).
  • Produce incrustaciones ricas útiles para la recuperación, la agrupación y la detección de anomalías sin ningún ajuste fino.

Aplicaciones

  • Pre-entrenamiento de grandes modelos de lenguaje (BERT, GPT, T5) para tareas de PNL como clasificación y respuesta a preguntas.
  • Modelos fundacionales de visión (DINO, MAE, SimCLR) para reconocimiento de imágenes, segmentación y recuperación.
  • Análisis de imágenes médicas donde los escaneos etiquetados son escasos, pero las imágenes sin etiquetar son abundantes.
  • Aprendizaje de representación de voz y audio (wav2vec, HuBERT) para ASR y verificación de hablantes.
  • Aprendizaje de representación molecular y proteica (ChemBERTa, ESM) para el descubrimiento de fármacos.
  • Detección de anomalías y recuperación mediante similitud de incrustaciones sin anomalías etiquetadas.

Cómo funciona

Cómo funciona

1

Una tarea pretexto (auxiliar) se diseña de modo que sus etiquetas provengan directamente de la estructura de los datos —por ejemplo, la predicción de tokens enmascarados en texto (BERT), la predicción del siguiente fotograma en video, o la maximización de la similitud entre vistas aumentadas de la misma imagen (SimCLR, MoCo). No se necesita anotación humana para esta etapa.

2

Un codificador neuronal mapea cada entrada x en una representación densa z = f(x; theta). La arquitectura del codificador varía según la modalidad: Transformers para texto y visión, redes convolucionales para audio, o redes neuronales gráficas para datos moleculares. Esta representación es la que transfiere el conocimiento a las tareas posteriores.

Fórmula
z = f_{\theta}(x)
3

El modelo se entrena para minimizar una función de pérdida que mide qué tan bien resuelve la tarea pretexto —entropía cruzada para la predicción enmascarada, pérdida contrastiva (InfoNCE) para la concordancia de vistas, o error de reconstrucción para autoencoders. Minimizar esta pérdida moldea la representación para capturar una estructura semántica útil.

4

Una vez que el pre-entrenamiento converge, los pesos del codificador se transfieren a una tarea posterior. Se adjunta una "cabeza" (head) de clasificación o regresión ligera y todo el modelo (o solo la "cabeza") se ajusta (fine-tuned) en un pequeño conjunto de datos etiquetados, logrando una precisión comparable a la de los modelos completamente supervisados entrenados con muchos más datos etiquetados.

Errores comunes

  • Seleccionar una tarea pretexto sin razonar sobre su alineación con la semántica de la tarea posterior.
  • Utilizar un corpus sin etiquetar que es demasiado pequeño o no representativo del dominio objetivo, lo que produce representaciones deficientes.
  • Ajustar todas las capas con una tasa de aprendizaje alta y olvidar catastróficamente la representación pre-entrenada.
  • Reportar solo la precisión posterior después del ajuste fino sin realizar una ablación del valor del pre-entrenamiento versus la supervisión directa.
  • Ignorar el diseño de la aumentación de datos en métodos contrastivos, lo cual es crítico para la calidad de la representación.

Preguntas frecuentes

¿Cuál es la diferencia entre aprendizaje autosupervisado y no supervisado?

Ambos utilizan datos sin etiquetar, pero el aprendizaje autosupervisado construye una señal de supervisión específica a partir de la estructura de los datos (por ejemplo, tokens enmascarados, vistas aumentadas) y entrena con una función de pérdida definida. El aprendizaje no supervisado clásico (agrupamiento, PCA) en cambio encuentra estructura sin ningún objetivo de predicción explícito.

¿Necesito pre-entrenar desde cero o puedo usar un punto de control existente?

Para la mayoría de los proyectos aplicados, ajustar un punto de control disponible públicamente (por ejemplo, BERT de Hugging Face, DINO de Meta) es mucho más práctico que pre-entrenar desde cero. El pre-entrenamiento desde cero solo se justifica cuando su dominio es altamente especializado (por ejemplo, texto clínico) y los puntos de control existentes se transfieren mal.

¿Cuántos datos sin etiquetar se necesitan?

Cuantos más, mejor para el pre-entrenamiento, pero se ha demostrado un SSL efectivo específico de dominio con decenas de miles de ejemplos sin etiquetar para modelos más pequeños. El umbral depende en gran medida del tamaño del modelo y la complejidad de la tarea pretexto.

¿Qué es una tarea pretexto contrastiva?

Las tareas pretexto contrastivas (SimCLR, MoCo) crean dos vistas aumentadas de manera diferente de la misma muestra y entrenan al codificador para que las vistas sean similares en el espacio de representación, mientras que son diferentes de las representaciones de otras muestras. Esto enseña al modelo a ser invariante a la aumentación mientras preserva el contenido semántico.

¿Es el aprendizaje autosupervisado adecuado para datos tabulares?

Sí, aunque las ganancias son menores que para imágenes o texto. Enfoques como SCARF, el pre-entrenamiento de TabNet y la predicción de características enmascaradas han mostrado beneficios cuando los datos tabulares etiquetados son escasos, pero para conjuntos de datos tabulares típicos con una disponibilidad razonable de etiquetas, los métodos de conjunto supervisados aún dominan.

Métodos relacionados

Fuentes

  1. LeCun, Y. & Misra, I. (2022). Self-supervised learning: The dark matter of intelligence. Meta AI Blog. https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/

    Abrir referencia de la publicación
    Copiado.
  2. Self-supervised learning. Wikipedia.

    Abrir referencia de la publicación
    Copiado.