Saltar al contenido
Volver a los resultados

Vision Transformer

Propuesto por
Dosovitskiy, A. et al.
Año
2021
Tipo
Transformer architecture for images (self-attention over patches)

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El Vision Transformer (ViT), introducido por Dosovitskiy y colegas en 2021, divide una imagen en parches de tamaño fijo, trata dichos parches como una secuencia y aplica el mecanismo de autoatención del Transformer a la clasificación de imágenes.

Con suficientes datos de entrenamiento, supera a las redes neuronales convolucionales (CNN).

La intuición detrás del método

Las redes convolucionales leen una imagen a través de pequeños filtros locales que se deslizan sobre ella. ViT adopta una perspectiva diferente: trocea la imagen en una cuadrícula de parches de igual tamaño, los alinea como palabras en una oración y deja que un Transformer decida a qué parches deben prestar atención. Dado que la atención puede relacionar directamente cualquier parche con cualquier otro, el modelo aprende relaciones globales en toda la imagen en lugar de solo vecindarios locales.

Historia

El Vision Transformer fue introducido por Dosovitskiy y colegas en 2021 (An Image is Worth 16x16 Words), demostrando que la arquitectura de autoatención del Transformer, ya dominante en el lenguaje, podía aplicarse directamente a parches de imágenes y superar a las CNN cuando se entrenaba a escala. Trabajos posteriores de Touvron y colegas sobre transformadores de imágenes eficientes en datos abordaron el apetito de ViT por los datos, haciendo que el enfoque fuera más práctico con presupuestos de entrenamiento más pequeños.

Cuándo usarlo

Utilice ViT para clasificación de imágenes o predicción sobre datos de imagen continuos (píxeles) cuando disponga de un gran conjunto de datos —del orden de 1000 o más imágenes, e idealmente muchas más— y acceso a una GPU. Funciona mejor con un gran corpus de preentrenamiento o aprendizaje por transferencia a partir de un modelo preentrenado. En pequeños conjuntos de datos de imágenes (menos de unos pocos cientos de imágenes) ViT no puede aprender su atención basada en parches de manera fiable, y una CNN o un método de aprendizaje automático clásico como Random Forest o SVM es la opción más segura.

Limitaciones y consideraciones

  • Requiere un gran conjunto de entrenamiento (aproximadamente 1000 imágenes o más); en datos pequeños, su rendimiento es inferior al de las CNN.
  • Se requiere una GPU, y el entrenamiento desde cero consume muchos datos y recursos computacionales.
  • En conjuntos de datos muy pequeños (menos de unos pocos cientos de imágenes), la atención basada en parches no logra aprender de manera fiable.
  • Los resultados sólidos suelen depender de un gran corpus de preentrenamiento o del aprendizaje por transferencia en lugar del entrenamiento desde cero.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Supera a las CNN en grandes conjuntos de datos de imágenes al modelar relaciones globales a través de la autoatención.
  • Trata una imagen como una secuencia de parches, aplicando la probada arquitectura Transformer a la visión.
  • Captura dependencias de largo alcance en toda la imagen, no solo en vecindarios locales.
  • Se beneficia enormemente del preentrenamiento a gran escala y del aprendizaje por transferencia a puntos de control preentrenados.
  • No asume datos distribuidos normalmente.

Aplicaciones

  • Clasificación de imágenes en grandes conjuntos de datos de imágenes.
  • Tareas de predicción sobre datos de píxeles continuos donde las relaciones globales son importantes.
  • Aprendizaje por transferencia de grandes modelos de imágenes preentrenados a nuevas tareas de visión.
  • Entornos donde la modelización de dependencias de largo alcance en una imagen supera a los filtros convolucionales locales.

Cómo funciona

Cómo funciona

1

La imagen se divide en parches de tamaño fijo (por ejemplo, 16x16 píxeles). Cada parche se aplana y se proyecta linealmente en un vector de incrustación (embedding), y las incrustaciones resultantes forman una secuencia: el análogo de imagen de una secuencia de tokens de palabras.

2

La secuencia de parches se introduce a través de capas Transformer construidas sobre autoatención. Cada parche puede atender a todos los demás parches, por lo que el modelo captura dependencias globales de largo alcance en toda la imagen en lugar de solo vecindarios locales, que es el mecanismo central que permite a ViT superar a las CNN en grandes conjuntos de datos.

Fórmula
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
3

Una cabeza de clasificación lee la representación agregada producida por las capas Transformer y genera la clase predicha. Dado que el preentrenamiento a gran escala es muy importante aquí, el aprendizaje por transferencia (transfer learning) a partir de un modelo preentrenado en un gran corpus de imágenes es la ruta habitual para obtener un rendimiento sólido.

Errores comunes

  • Entrenar ViT desde cero en un conjunto de datos pequeño en lugar de ajustar (fine-tuning) un punto de control preentrenado.
  • Esperar una precisión a nivel de CNN sin el gran conjunto de datos que necesita ViT.
  • Intentar entrenar sin una GPU.
  • Ignorar los umbrales de fallo: por debajo de unos pocos cientos de imágenes, prefiera una CNN o un método clásico.
  • Pasar por alto el aprendizaje por transferencia cuando hay modelos de imágenes preentrenados disponibles.

Preguntas frecuentes

¿Cómo se diferencia ViT de una CNN?

Una CNN procesa una imagen a través de filtros convolucionales locales, mientras que ViT divide la imagen en parches de tamaño fijo, los trata como una secuencia y utiliza la autoatención para que cualquier parche pueda relacionarse con cualquier otro. Esto permite a ViT modelar relaciones globales y, en grandes conjuntos de datos, superar a las CNN.

¿Cuántos datos necesita ViT?

ViT consume muchos datos: funciona mejor con alrededor de 1000 o más imágenes y un gran corpus de preentrenamiento. Por debajo de unos pocos cientos de imágenes, su atención basada en parches no puede aprender de manera fiable, y es preferible una CNN o un método clásico.

¿Necesito una GPU?

Sí. ViT requiere una GPU, y su entrenamiento consume muchos datos y recursos computacionales. El uso de un punto de control preentrenado con aprendizaje por transferencia reduce considerablemente la carga.

¿Qué pasa si mi conjunto de datos de imágenes es pequeño?

En conjuntos de datos pequeños, ViT tiene un rendimiento inferior. Por debajo de aproximadamente 500 imágenes, considere un método como Random Forest, y por debajo de unos pocos cientos, una CNN o SVM es la opción más segura, o confíe en el aprendizaje por transferencia de un modelo preentrenado.

Métodos relacionados

Fuentes

  1. Dosovitskiy, A. et al. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR.

    Abrir referencia de la publicación
    Copiado.
  2. Touvron, H. et al. (2021). Training Data-Efficient Image Transformers. ICML.

    Abrir referencia de la publicación
    Copiado.