Autoatención Multi-cabeza
- Propuesto por
- Vaswani, A. et al.
- Año
- 2017
- Tipo
- Attention mechanism (Transformer core)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La autoatención multi-cabeza, introducida por Vaswani y colegas en 2017, es el mecanismo que permite a cada posición en una secuencia computar su relación con todas las demás posiciones en paralelo.
Es el núcleo de la arquitectura Transformer y la base de BERT, GPT y T5.
La intuición detrás del método
Los modelos de secuencias anteriores procesaban el texto paso a paso, lo que dificultaba la captura de relaciones a largo plazo y ralentizaba el cálculo. La autoatención, en cambio, permite que cada token observe directamente a todos los demás tokens a la vez y decida cuánto peso dar a cada uno, de modo que el significado que depende del contexto distante se captura en una única pasada paralela.
Historia
La autoatención fue introducida por Vaswani y colegas en el artículo de 2017 'Attention Is All You Need', que propuso la arquitectura Transformer y prescindió completamente de la recurrencia. Rápidamente se convirtió en la base de los grandes modelos de lenguaje preentrenados: Devlin y colegas construyeron BERT sobre Transformers bidireccionales en 2019, y el mismo mecanismo subyace a GPT y T5.
Cuándo usarlo
Utilice la autoatención al modelar texto u otros datos secuenciales donde las relaciones entre elementos distantes importan y usted tiene suficientes datos para entrenar un modelo grande —al menos unas 100 observaciones, con 500 o más preferiblemente. Se recomienda una GPU, se requiere codificación posicional, y tenga en cuenta que el costo computacional crece cuadráticamente con la longitud de la secuencia. En muestras muy pequeñas no puede aprender representaciones fiables; los modelos de aprendizaje automático más simples son más seguros allí.
Limitaciones y consideraciones
- El costo de cómputo y memoria crece cuadráticamente con la longitud de la secuencia, haciendo que las secuencias muy largas sean costosas.
- Una GPU es efectivamente requerida para un entrenamiento práctico.
- Necesita codificación posicional porque la atención por sí sola es agnóstica al orden.
- En conjuntos de datos pequeños (n por debajo de aproximadamente 500) se sobreajusta y falla en aprender representaciones fiables.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Captura dependencias a largo plazo directamente, sin el cuello de botella de la recurrencia paso a paso.
- Cálculo totalmente paralelo entre posiciones, que escala bien en hardware moderno.
- Múltiples cabezas pueden atender a diferentes patrones de relación simultáneamente.
- Sirve como la columna vertebral compartida para BERT, GPT y T5, con un amplio soporte de aprendizaje por transferencia.
Aplicaciones
- Clasificación de texto y otras tareas supervisadas de procesamiento del lenguaje natural.
- Predicción y aprendizaje de representaciones sobre datos secuenciales.
- Preentrenamiento y ajuste fino de grandes modelos de lenguaje como BERT y GPT.
- Cualquier entorno donde se deban modelar relaciones a largo plazo entre elementos de secuencias.
Cómo funciona
Cómo funciona
Cada posición de entrada se mapea en tres vectores aprendidos —una consulta (query), una clave (key) y un valor (value)— a través de matrices de pesos separadas. La consulta representa lo que un token está buscando, la clave lo que cada token ofrece, y el valor el contenido que se transmite.
Fórmula
Q = XW_Q,\; K = XW_K,\; V = XW_V
Cada consulta se compara con todas las claves mediante un producto escalar escalado, escalado por la raíz cuadrada de la dimensión de la clave para mantener estables los valores, y se pasa a través de una función softmax para producir pesos de atención. La salida de cada posición es la suma ponderada de todos los vectores de valor, por lo que combina información de toda la secuencia a la vez.
Fórmula
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)VLa atención se ejecuta varias veces en paralelo como cabezas separadas, cada una con sus propias proyecciones, de modo que diferentes cabezas pueden centrarse en diferentes tipos de relaciones. Sus salidas se concatenan y se proyectan de nuevo juntas, y dado que las posiciones son de otro modo intercambiables, se añade codificación posicional para preservar la información del orden.
Fórmula
\text{MultiHead}(X) = \text{Concat}(\text{head}_1,\dots,\text{head}_h)W_OErrores comunes
- Entrenamiento con muy pocos datos —por debajo de aproximadamente 500 ejemplos el mecanismo se sobreajusta en lugar de aprender representaciones útiles.
- Olvido de la codificación posicional, lo que deja al modelo ciego al orden de las palabras.
- Subestimación del costo cuadrático de secuencias largas y agotamiento de la memoria.
- Buscar un Transformer en muestras diminutas donde un modelo más simple como random forest o XGBoost haría mejor.
Preguntas frecuentes
¿Por qué la puntuación de atención se escala por la raíz cuadrada de la dimensión de la clave?
Sin escalado, los productos escalares crecen mucho a medida que aumenta la dimensión de la clave, empujando la softmax a regiones con gradientes desvanecidos. Dividir por la raíz cuadrada de la dimensión de la clave mantiene las puntuaciones en un rango estable.
¿Qué aportan las múltiples cabezas?
Cada cabeza aprende sus propias proyecciones de consulta, clave y valor, de modo que diferentes cabezas pueden atender a diferentes tipos de relaciones a la vez. Sus salidas se concatenan y se proyectan de nuevo juntas en una única representación.
¿Por qué se necesita la codificación posicional?
La autoatención trata las posiciones como intercambiables, por lo que por sí sola no tiene noción de orden. La codificación posicional inyecta información sobre la posición de cada token para que el modelo pueda usar el orden de las palabras.
¿Cuántos datos necesita?
Tiene mucha hambre de datos: con menos de unas 500 ejemplos se sobreajusta y no puede aprender representaciones fiables, y por debajo de unas 100, entrenar un Transformer no es significativo. Para muestras pequeñas, se prefieren modelos más simples como random forest o XGBoost.
Métodos relacionados
Fuentes
Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.
Abrir referencia de la publicaciónCopiado.Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
Abrir referencia de la publicaciónCopiado.