Aprendizaje contrastivo visual
- Propuesto por
- Chen, T. et al. (SimCLR); He, K. et al. (MoCo)
- Año
- 2020
- Tipo
- Self-supervised deep representation learning
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
El aprendizaje contrastivo visual es un enfoque de aprendizaje profundo auto-supervisado —popularizado por marcos como SimCLR (Chen et al., 2020) y MoCo (He et al., 2020)— que aprende representaciones de imágenes ricas sin etiquetas, acercando diferentes aumentos de la misma imagen y separando imágenes distintas.
Convierte un gran conjunto de imágenes sin etiquetar en un extractor de características útil.
La intuición detrás del método
Si se recorta, recolorea o voltea una sola foto de dos maneras diferentes, ambas versiones deberían seguir siendo reconociblemente la misma cosa. El aprendizaje contrastivo se basa precisamente en esta idea: enseña a una red a mapear dos vistas aumentadas de una imagen muy cerca en el espacio de características, mientras mantiene las vistas de otras imágenes muy separadas. No se necesitan etiquetas humanas; la supervisión proviene enteramente de la comparación de imágenes entre sí.
Historia
El aprendizaje contrastivo visual maduró rápidamente en 2020. SimCLR (Chen et al., ICML 2020) demostró que un marco simple de aumentos robustos, una cabeza de proyección y la función de pérdida contrastiva NT-Xent podía rivalizar con el preentrenamiento supervisado. MoCo (He et al., CVPR 2020) introdujo un codificador actualizado por momento con una cola dinámica de negativos, haciendo factible el aprendizaje contrastivo a gran escala sin lotes masivos. Enfoques posteriores como BYOL extendieron la familia aprendiendo sin pares negativos explícitos.
Cuándo usarlo
Úselo cuando tenga una gran colección de imágenes sin etiquetar —del orden de al menos unas 1000 imágenes— y quiera aprender representaciones visuales robustas antes de cualquier tarea etiquetada. Asume que dicho conjunto de datos sin etiquetar está disponible, requiere una GPU y depende en gran medida de una estrategia de aumento de datos bien elegida. Por debajo de aproximadamente 500-1000 imágenes, los pares negativos son demasiado pocos y demasiado similares para aprender representaciones útiles, y el aprendizaje automático clásico supervisado es la opción más segura.
Limitaciones y consideraciones
- Requiere un gran conjunto de datos de imágenes sin etiquetar; en conjuntos pequeños no puede producir representaciones significativas.
- Requiere una GPU y una capacidad de cómputo sustancial para el preentrenamiento.
- El rendimiento depende de la estrategia de aumento de datos, que debe ajustarse por dominio.
- Por debajo de aproximadamente 500 imágenes, el aprendizaje auto-supervisado falla y el ML clásico supervisado es preferible.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Aprende representaciones visuales útiles a partir de imágenes sin etiquetar, eliminando la necesidad de una costosa anotación manual.
- El codificador preentrenado se transfiere a muchas tareas posteriores con solo un pequeño conjunto etiquetado.
- Marcos como SimCLR y MoCo ofrecen recetas bien estudiadas y reproducibles.
- El codificador de momento y la cola de negativos de MoCo permiten muchas comparaciones negativas sin lotes enormes.
Aplicaciones
- Preentrenamiento de codificadores de imágenes en grandes colecciones de fotos sin etiquetar.
- Transferencia de aprendizaje a la clasificación de imágenes posterior con etiquetas limitadas.
- Construcción de extractores de características visuales reutilizables para "pipelines" de visión.
- Aprendizaje de representaciones en dominios donde las etiquetas son escasas o costosas.
Cómo funciona
Cómo funciona
Cada imagen se transforma dos veces con aumentos aleatorios como recorte, "jitter" de color y volteo, produciendo dos vistas relacionadas. La elección de la estrategia de aumento es crítica: define lo que se le pide al modelo que trate como 'lo mismo', y los aumentos débiles o mal elegidos conducen a representaciones débiles.
Un codificador mapea cada vista a un "embedding", y un objetivo contrastivo acerca las dos vistas de la misma imagen (el par positivo) mientras aleja las vistas de otras imágenes (los negativos). SimCLR utiliza la función de pérdida NT-Xent con un parámetro de temperatura; MoCo mantiene un codificador actualizado por momento y una cola de negativos para que haya muchas comparaciones disponibles sin necesidad de lotes enormes.
Fórmula
\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k \neq i} \exp(\text{sim}(z_i, z_k)/\tau)}Después del preentrenamiento auto-supervisado, el codificador aprendido se reutiliza como un extractor de características visuales general. Un pequeño conjunto etiquetado es entonces suficiente para ajustar o entrenar un clasificador ligero, transfiriendo la representación a tareas posteriores.
Errores comunes
- Intentar el preentrenamiento contrastivo en un conjunto de imágenes diminuto donde la diversidad de pares negativos es insuficiente.
- Usar aumentos débiles o inapropiados para el dominio, lo que colapsa la representación aprendida.
- Ignorar el parámetro de temperatura en la función de pérdida contrastiva.
- Esperar buenos resultados sin una GPU o tiempo de entrenamiento adecuado.
Preguntas frecuentes
¿Necesito etiquetas?
No. El objetivo principal del aprendizaje auto-supervisado contrastivo es aprender representaciones a partir de imágenes sin etiquetar. Las etiquetas solo se necesitan más tarde, para un pequeño conjunto de ajuste fino o evaluación posterior.
¿Cuántas imágenes necesito?
Planee al menos unas 1000 imágenes sin etiquetar. Por debajo de aproximadamente 500-1000, la diversidad de pares negativos es demasiado baja para que el método aprenda representaciones significativas, y el ML clásico supervisado es una opción más segura.
¿Cuál es la diferencia entre SimCLR y MoCo?
SimCLR se basa en lotes grandes para proporcionar muchos negativos y utiliza la función de pérdida NT-Xent. MoCo, en cambio, mantiene un codificador actualizado por momento y una cola de "embeddings" pasados como negativos, por lo que necesita menos comparaciones dentro del lote.
¿Por qué es tan importante el aumento de datos?
El aumento define qué vistas transformadas de una imagen el modelo debe tratar como iguales. Una estrategia de aumento robusta y bien elegida es crítica; los aumentos débiles producen representaciones débiles.
Métodos relacionados
Fuentes
Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML.
Abrir referencia de la publicaciónCopiado.He, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. (2020). Momentum Contrast for Unsupervised Visual Representation Learning. CVPR.
Abrir referencia de la publicaciónCopiado.