Saltar al contenido
Volver a los resultados

Longformer / BigBird

Propuesto por
Beltagy, Peters & Cohan (Longformer); Zaheer et al. (BigBird)
Año
2020
Tipo
Sparse-attention Transformer for long sequences

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Los Transformers de secuencias largas, como Longformer (Beltagy, Peters & Cohan, 2020) y BigBird (Zaheer et al., 2020), reemplazan la atención O(n²) del Transformer estándar con patrones de atención dispersa que escalan linealmente, O(n), con la longitud de la secuencia.

Esto permite que un solo modelo atienda miles de tokens —documentos completos, textos legales o secuencias genómicas— que no cabrían en un Transformer convencional.

La intuición detrás del método

Un Transformer estándar compara cada token con todos los demás tokens, por lo que duplicar el texto cuadruplica aproximadamente el trabajo, razón por la cual la mayoría de los modelos se limitan a unos 512 tokens. Los Transformers de secuencias largas observan que la mayoría de las relaciones útiles son locales, por lo que cada token mira principalmente a sus vecinos cercanos a través de una ventana deslizante, mientras que a unos pocos tokens designados se les permite mirar todo. Esto mantiene el costo creciendo al ritmo de la longitud del texto en lugar de explotar, por lo que los documentos muy largos se vuelven tratables.

Historia

Ambos métodos aparecieron en 2020 como respuestas al cuello de botella de atención cuadrática que limitaba los Transformers a entradas cortas. Longformer (Beltagy, Peters & Cohan) introdujo la atención deslizante más global para documentos largos, mientras que BigBird (Zaheer et al., NeurIPS) añadió atención aleatoria a su patrón disperso y proporcionó resultados teóricos sobre su expresividad. Juntos establecieron la atención dispersa como la ruta estándar para procesar secuencias largas.

Cuándo usarlo

Utilice Transformers de secuencias largas cuando tenga texto de documentos largos (típicamente más allá de 512 tokens) y necesite clasificación o explicación sobre el documento completo —informes largos, textos legales o secuencias genómicas. Asumen que hay entradas genuinamente largas disponibles, se recomienda encarecidamente una GPU, y las posiciones de los tokens globales deben elegirse sensatamente. Necesitan una cantidad razonable de datos: por debajo de unos 500 documentos, el modelo tiende a sobreajustarse, y por debajo de unos 100 documentos, el entrenamiento no es significativo y se prefieren ML clásicos como Random Forest o XGBoost.

Limitaciones y consideraciones

  • Se requiere efectivamente una GPU; el entrenamiento y la inferencia son computacionalmente pesados.
  • Se sobreajusta en conjuntos de documentos pequeños —por debajo de unos 500 documentos los resultados no son fiables.
  • Por debajo de unos 100 documentos el entrenamiento no tiene sentido y se debe usar ML clásico en su lugar.
  • Las posiciones de los tokens globales deben elegirse correctamente, o el flujo de información de largo alcance se degrada.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Procesa miles de tokens —documentos completos— que exceden la ventana de un Transformer estándar.
  • Escalado de atención lineal O(n) en lugar del costo cuadrático O(n²) de la atención densa.
  • Combina contexto de ventana deslizante local con tokens globales para el flujo de información de largo alcance.
  • Bien adaptado a la clasificación de documentos largos en derecho, genómica y texto de formato largo.

Aplicaciones

  • Clasificación de documentos largos como informes y artículos.
  • Análisis de textos legales que exceden las ventanas estándar de Transformer.
  • Modelado de secuencias genómicas largas.
  • Tareas de explicación y clasificación sobre texto completo en lugar de extractos truncados.

Cómo funciona

Cómo funciona

1

El movimiento central es abandonar la atención densa de todos los pares del Transformer estándar —que cuesta O(n²) en la longitud de secuencia n— y aproximarla con un patrón disperso que solo cuesta O(n). Dado que la atención es el cuello de botella, este único cambio es lo que desbloquea entradas de miles de tokens.

Fórmula
O(n^2) \;\rightarrow\; O(n)
2

La mayor parte de la atención se restringe a una ventana deslizante alrededor de cada token, por lo que un token atiende a una banda fija de tokens cercanos en lugar de a toda la secuencia. El contexto local —las palabras a ambos lados— transporta la mayor parte de la señal, y calcular solo esta banda es lo que hace que el costo crezca linealmente con la longitud.

3

Un pequeño conjunto de tokens globales designados pueden atender a toda la secuencia y ser atendidos por ella, dando al modelo una vía para que la información de largo alcance fluya a través del documento. Elegir correctamente las posiciones de estos tokens globales (por ejemplo, un token de clasificación o tokens de consulta) es importante, ya que son el puente entre partes distantes del texto.

4

Sobre el codificador de atención dispersa, una cabeza de tarea produce el resultado final —por ejemplo, una clasificación a nivel de documento o una predicción explicativa sobre la entrada larga. El resultado es un modelo que puede procesar documentos completos que un Transformer de 512 tokens tendría que truncar.

Errores comunes

  • Aplicarlo a textos cortos que caben en un Transformer estándar de 512 tokens, pagando la complejidad sin beneficio.
  • Elegir posiciones de tokens globales descuidadamente, rompiendo las vías de información de largo alcance del modelo.
  • Entrenar en un conjunto de documentos pequeño (n por debajo de unos pocos cientos) y confiar en el resultado sobreajustado.
  • Intentar entrenar sin una GPU y renunciar a un modelo viable.

Preguntas frecuentes

¿Cómo se diferencia esto de un Transformer estándar como BERT?

Un Transformer estándar utiliza atención densa, comparando cada token con cada otro token a un costo O(n²), lo que en la práctica limita las entradas a alrededor de 512 tokens. Longformer y BigBird utilizan atención dispersa —principalmente ventanas deslizantes locales más algunos tokens globales— por lo que el costo crece linealmente y las entradas de varios miles de tokens se vuelven factibles.

¿Cuándo debería preferir Longformer o BigBird sobre ML clásico?

Úselos cuando su texto sea genuinamente largo (más allá de 512 tokens) y tenga suficientes documentos. Con menos de unos 500 documentos, el modelo tiende a sobreajustarse, y por debajo de aproximadamente 100 documentos, el entrenamiento no es significativo —los métodos clásicos como Random Forest o XGBoost son la opción más segura allí.

¿Qué son los tokens globales y por qué importan?

Los tokens globales son un pequeño conjunto de posiciones a las que se les permite atender a toda la secuencia y ser atendidos por ella. Son el canal a través del cual la información de largo alcance se mueve a través del documento, por lo que elegir sus posiciones correctamente es importante para el rendimiento.

¿Necesito hardware especial?

Se recomienda encarecidamente una GPU. Estos modelos aún procesan secuencias largas con redes considerables, por lo que el entrenamiento y la inferencia son computacionalmente exigentes incluso con la atención de escalado lineal.

Métodos relacionados

Fuentes

  1. Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv.

    Abrir referencia de la publicación
    Copiado.
  2. Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS.

    Abrir referencia de la publicación
    Copiado.