Modelo Secuencia-a-Secuencia
- Propuesto por
- Sutskever, I.; Cho, K.
- Año
- 2014
- Tipo
- Encoder-decoder neural network (deep learning)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
El modelo secuencia-a-secuencia (Seq2Seq), introducido por Sutskever, Vinyals y Le y por Cho y colegas en 2014, es una red neuronal codificador-descodificador que mapea una secuencia de entrada de longitud variable a una secuencia de salida de longitud variable.
Es la base de la traducción automática, el resumen de textos, los sistemas de diálogo y la generación de código.
La intuición detrás del método
Muchas tareas de lenguaje transforman una secuencia en otra cuya longitud difiere y no se conoce de antemano: una oración en inglés se convierte en una oración de diferente longitud en francés. Un clasificador único no puede hacer esto. Seq2Seq divide el trabajo en dos: una red lee toda la entrada y comprime su significado en una representación de contexto, y una segunda red despliega esa representación en la salida, un token a la vez, cada nuevo token condicionado a lo que ya ha producido.
Historia
El marco codificador-descodificador surgió en 2014 de dos artículos casi simultáneos: 'Sequence to Sequence Learning with Neural Networks' de Sutskever, Vinyals y Le, y el codificador-descodificador RNN de Cho y colegas para traducción automática estadística. Los modelos originales comprimían la fuente en un único vector de contexto fijo; la posterior adición de atención eliminó ese cuello de botella y mejoró drásticamente la calidad de la traducción, allanando el camino para la arquitectura Transformer que ahora domina la modelización de secuencias.
Cuándo usarlo
Utilice Seq2Seq cuando la tarea sea transformar una secuencia de longitud variable en otra —traducción automática, resumen, diálogo o generación de código— y tenga ejemplos emparejados de origen-destino, idealmente al menos unos 500. Se adapta a texto y secuencias continuas en forma de series temporales o transversales y no requiere datos con distribución normal. Se recomienda una GPU. Con muchas menos de 500 parejas, la estructura codificador-descodificador no se puede aprender bien, y modelos más simples como Random Forest o XGBoost son más seguros.
Limitaciones y consideraciones
- Necesita un corpus considerable de ejemplos emparejados de origen-destino (aproximadamente 500 o más) para entrenar bien.
- Se recomienda una GPU; el entrenamiento es computacionalmente exigente.
- Comprimir una entrada larga en un único contexto fijo puede perder información sin atención.
- En conjuntos de datos pequeños, la estructura codificador-descodificador no se puede aprender y el modelo se sobreajusta.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Maneja entradas y salidas de longitud variable, a diferencia de los clasificadores de salida fija.
- Un marco único y general para traducción, resumen, diálogo y generación de código.
- Entrenado de extremo a extremo a partir de ejemplos emparejados de origen-destino sin alineación manual.
- El rendimiento mejora sustancialmente cuando se añade un mecanismo de atención.
- Suposiciones mínimas: sin requisito de normalidad; funciona en datos de texto y secuencias continuas.
Aplicaciones
- Traducción automática entre pares de idiomas.
- Resumen de texto abstracto.
- Generación de diálogos y respuestas conversacionales.
- Generación de código a partir de descripciones en lenguaje natural.
Cómo funciona
Cómo funciona
Una red codificadora lee la secuencia de entrada token a token y comprime toda la fuente en una representación de contexto que resume su significado. Dado que el codificador procesa toda la entrada antes de que se produzca cualquier salida, el modelo puede manejar entradas de cualquier longitud.
Fórmula
c = \text{Encoder}(x_1, \dots, x_T)Una red descodificadora genera la secuencia de salida token a token. En cada paso, se condiciona con el contexto del codificador junto con los tokens que ya ha emitido, prediciendo una distribución de probabilidad sobre el siguiente token hasta que un símbolo de parada finaliza la secuencia. Esto es lo que permite que la longitud de la salida difiera de la entrada.
Fórmula
p(y_t \mid y_{<t}, c)El codificador y el descodificador se entrenan conjuntamente para maximizar la probabilidad de la secuencia objetivo correcta dada la fuente: la supervisión proviene de ejemplos emparejados de origen-destino. La adición de un mecanismo de atención, que permite al descodificador retroceder a todos los estados del codificador en lugar de un único contexto fijo, mejora el rendimiento, y se recomienda una GPU para el entrenamiento.
Fórmula
\max_{\theta} \sum \log p(y \mid x; \theta)Errores comunes
- Entrenamiento con muy pocas parejas de origen-destino, donde el modelo se sobreajusta y no logra aprender el mapeo.
- Omitir un mecanismo de atención en secuencias largas y perder contexto distante.
- Intentar entrenar sin recursos de GPU y abandonar antes de la convergencia.
- Usar Seq2Seq para una tarea de salida fija que un clasificador o regresor más simple manejaría mejor.
Preguntas frecuentes
¿Cuántos datos necesita Seq2Seq?
Necesita ejemplos emparejados de origen-destino, idealmente al menos unos 500. Por debajo de unas 200 parejas, el modelo se sobreajusta y no puede aprender la transformación de secuencias; con muy pocos datos, un modelo más simple como Random Forest o XGBoost es más seguro.
¿Necesito una GPU?
Se recomienda una GPU. Entrenar un codificador-descodificador con muchos pares de secuencias es computacionalmente exigente, y el entrenamiento solo con CPU suele ser imprácticamente lento.
¿Qué hace la adición de atención?
La atención permite al descodificador retroceder a todos los estados del codificador en cada paso en lugar de depender de un único vector de contexto fijo. Esto elimina el cuello de botella de información de las secuencias largas y mejora sustancialmente la calidad de la salida.
¿En qué se diferencia Seq2Seq de un clasificador?
Un clasificador produce una salida fija, como una única etiqueta. Seq2Seq produce una secuencia de salida de longitud variable cuya longitud se decide durante la generación, lo que lo hace adecuado para traducción, resumen y tareas similares.
Métodos relacionados
Fuentes
Sutskever, I., Vinyals, O. & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS.
Abrir referencia de la publicaciónCopiado.Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H. & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP, 1724–1734.
Abrir referencia DOICopiado.