Transformer (PLN)
- Propuesto por
- Vaswani, A. et al.
- Año
- 2017
- Tipo
- Attention-based deep neural network
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
El Transformer es un modelo de aprendizaje profundo basado en atención, introducido por Vaswani y colegas en 2017, que realiza clasificación de texto, reconocimiento de entidades nombradas y modelado de lenguaje al permitir que cada token en una secuencia atienda directamente a cada otro token.
Reemplazó diseños recurrentes anteriores con un mecanismo de autoatención que procesa secuencias completas en paralelo.
La intuición detrás del método
Los modelos de secuencia anteriores leían texto palabra por palabra, luchando por conectar palabras distantes en una oración. El Transformer, en cambio, permite que cada palabra mire a todas las demás a la vez y decida cuáles son importantes para su significado. Este mecanismo de atención es lo que permite al modelo capturar el contexto de largo alcance en el lenguaje y aprender representaciones ricas y reutilizables del texto.
Historia
El Transformer fue introducido por Vaswani y colegas en el artículo de 2017 Attention Is All You Need, que demostró que una arquitectura construida enteramente sobre atención —sin recurrencia— podía igualar o superar a los modelos de secuencia anteriores. Se convirtió en la base de modelos de lenguaje preentrenados como BERT y GPT, que ahora son el punto de partida estándar para la mayoría de las tareas de procesamiento del lenguaje natural.
Cuándo usarlo
Adecuado para clasificación de texto, reconocimiento de entidades nombradas y modelado de lenguaje en grandes conjuntos de datos de texto —al menos unos 500 documentos— donde la comprensión contextual profunda del lenguaje es importante. No requiere datos distribuidos normalmente, pero asume un gran corpus de texto, y se recomienda usar un modelo preentrenado (como BERT o GPT). Por debajo de aproximadamente 500 ejemplos, el mecanismo de atención no puede aprender patrones fiables, y por debajo de unos 100, un modelo profundo es inútil; el aprendizaje automático clásico como Random Forest o XGBoost es la opción más segura.
Limitaciones y consideraciones
- Necesita grandes conjuntos de datos de texto (aproximadamente 500 ejemplos o más) para aprender patrones fiables.
- Por debajo de aproximadamente 100 ejemplos, el entrenamiento de modelos profundos no tiene sentido y el ML clásico es suficiente.
- El entrenamiento es computacionalmente costoso y típicamente depende de modelos preentrenados.
- Sus representaciones internas son difíciles de interpretar en comparación con modelos de coeficientes explícitos.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- La autoatención captura dependencias de largo alcance en toda una secuencia, a diferencia de los modelos recurrentes palabra por palabra.
- Procesa secuencias en paralelo, lo que hace que el entrenamiento en grandes corpus de texto sea mucho más escalable.
- Los modelos preentrenados (BERT, GPT) se pueden ajustar finamente, transfiriendo conocimiento a tareas con datos etiquetados limitados.
- Maneja diversas tareas de lenguaje —clasificación, NER y modelado de lenguaje— dentro de una única arquitectura.
- Sin supuestos de distribución: no requiere datos distribuidos normalmente.
Aplicaciones
- Clasificación de texto, como etiquetado de sentimiento o tema.
- Reconocimiento de entidades nombradas (NER) en documentos.
- Modelado de lenguaje y predicción del siguiente token.
- Ajuste fino de modelos de lenguaje preentrenados para tareas de texto específicas del dominio.
Cómo funciona
Cómo funciona
El texto sin procesar se divide en tokens y cada token se convierte en un vector numérico (embedding). Dado que la atención no tiene una noción incorporada de orden, se agrega información de posición a estos vectores para que el modelo sepa dónde se encuentra cada token en la secuencia.
El mecanismo de autoatención compara cada token con todos los demás: las consultas se comparan con las claves para producir pesos de atención, que luego se utilizan para combinar los vectores de valor. Apilar muchas capas de atención de este tipo permite al modelo construir una representación contextual en la que cada token se informa a partir de toda la secuencia.
Fórmula
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)VLas representaciones contextuales alimentan una cabeza específica de la tarea: una etiqueta para la clasificación de texto, etiquetas por token para el reconocimiento de entidades nombradas o probabilidades del siguiente token para el modelado de lenguaje. En la práctica, un modelo preentrenado en grandes corpus de texto (como BERT o GPT) se ajusta finamente a la tarea en cuestión.
Errores comunes
- Aplicar un Transformer a un pequeño conjunto de datos de texto donde la atención no puede aprender patrones estables.
- Entrenar desde cero en lugar de ajustar finamente un modelo preentrenado como BERT o GPT.
- Ignorar el umbral de tamaño de muestra y confiar en un modelo profundo donde el ML clásico lo haría mejor.
- Tratar los pesos de atención como una explicación definitiva del razonamiento del modelo.
Preguntas frecuentes
¿Cuántos datos de texto necesito?
Al menos unos 500 ejemplos para que el mecanismo de atención aprenda patrones fiables. Por debajo de aproximadamente 100, un modelo profundo no vale la pena entrenar y el aprendizaje automático clásico como Random Forest o XGBoost es una mejor opción.
¿Debo entrenar un Transformer desde cero?
Generalmente no. Se recomienda usar un modelo preentrenado como BERT o GPT y ajustarlo finamente a su tarea, ya que transfiere el conocimiento aprendido de grandes corpus y necesita muchos menos datos etiquetados.
¿Qué tareas maneja?
Clasificación de texto, reconocimiento de entidades nombradas y modelado de lenguaje, todo construido sobre la misma arquitectura de autoatención.
¿Por qué es importante el mecanismo de atención?
Permite que cada token en una secuencia atienda directamente a cada otro token, capturando el contexto de largo alcance que los modelos recurrentes anteriores palabra por palabra manejaban mal.
Métodos relacionados
Fuentes
Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.
Abrir referencia de la publicaciónCopiado.