Saltar al contenido
Volver a los resultados

RNN bidireccional

Propuesto por
Schuster, M. & Paliwal, K.K.
Año
1997
Tipo
Recurrent neural network (sequence model)

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Una RNN bidireccional, introducida por Schuster y Paliwal en 1997, procesa una secuencia en ambas direcciones, hacia adelante y hacia atrás, de modo que cada posición tenga acceso a su contexto circundante completo.

Con celdas LSTM o GRU (BiLSTM/BiGRU) es el enfoque estándar para el reconocimiento de entidades nombradas, el etiquetado de secuencias y el reconocimiento de voz.

La intuición detrás del método

Una RNN ordinaria lee una secuencia de izquierda a derecha, por lo que en cualquier punto solo sabe lo que vino antes. Pero el significado de una palabra o señal a menudo también depende de lo que viene después. Una RNN bidireccional resuelve esto ejecutando dos pasadas —una hacia adelante, una hacia atrás— y combinándolas, de modo que cada posición esté informada tanto por su contexto pasado como futuro.

Historia

Reconocimiento de entidades nombradas y etiquetado de secuencias.

Cuándo usarlo

Úselo para etiquetado de secuencias, clasificación de texto o predicción sobre datos secuenciales o longitudinales —como NER, etiquetado de partes del discurso o reconocimiento de voz— cuando tanto el contexto precedente como el siguiente son importantes y la secuencia completa está disponible a la vez. Funciona en texto y secuencias continuas y no asume datos distribuidos normalmente, pero necesita una cantidad razonable de datos (al menos unas 100 secuencias, y cómodamente más para un entrenamiento estable).

Limitaciones y consideraciones

  • Necesita toda la secuencia por adelantado, por lo que no es adecuado para la generación en tiempo real o por streaming donde el futuro de la entrada es desconocido.
  • En conjuntos de datos pequeños (por debajo de aproximadamente 500 secuencias) se sobreajusta y el contexto no se puede extraer de manera fiable. Con muestras muy pequeñas (por debajo de unas 100) el entrenamiento de una BiLSTM/BiGRU no es significativo.
  • Dos pasadas duplican aproximadamente el cómputo y la memoria de una RNN unidireccional.
  • Aplicarlo a tareas en tiempo real o generativas donde la parte futura de la secuencia aún no está disponible.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Cada posición ve el contexto pasado y futuro, que es la opción estándar y robusta para el etiquetado de secuencias como NER.
  • Ligero en supuestos: sin requisito de normalidad, funciona directamente en texto y secuencias continuas.
  • Se empareja naturalmente con celdas LSTM o GRU para manejar dependencias a largo plazo.
  • Bien establecido para el reconocimiento de voz y otras tareas de clasificación por fotogramas.

Aplicaciones

  • Etiquetado de partes del discurso y otra anotación de texto a nivel de token.
  • Reconocimiento de voz y fonemas.
  • Clasificación de texto y predicción sobre datos secuenciales o longitudinales.
  • ¿Cómo se diferencia una RNN bidireccional de una RNN normal?

Cómo funciona

Cómo funciona

1

Una capa recurrente lee la secuencia de principio a fin, construyendo un estado oculto en cada posición que resume todo lo visto hasta el momento. Esta es la misma pasada de izquierda a derecha que realiza una RNN, LSTM o GRU estándar.

Fórmula
\overrightarrow{h}_t = f(x_t, \overrightarrow{h}_{t-1})
2

Una segunda capa recurrente lee la misma secuencia en sentido inverso, de fin a principio, produciendo un estado oculto en cada posición que resume el contexto futuro. Esto es lo que da al modelo conocimiento de lo que sigue a cada token.

Fórmula
\overleftarrow{h}_t = f(x_t, \overleftarrow{h}_{t+1})
3

En cada posición, los estados ocultos hacia adelante y hacia atrás se concatenan en una única representación que captura el contexto bidireccional completo. Este vector combinado se pasa luego a la capa de salida para etiquetado, clasificación o predicción.

Fórmula
h_t = [\overrightarrow{h}_t ; \overleftarrow{h}_t]

Errores comunes

  • Entrenar con muy pocos datos y confiar en el resultado a pesar del sobreajuste.
  • Ignorar que la representación oculta duplicada aumenta el costo de cómputo y memoria.
  • Recurrir a un modelo bidireccional pesado cuando un ensamble de árboles sería más seguro en muestras pequeñas.
  • La red neuronal recurrente bidireccional fue introducida por Schuster y Paliwal en 1997 para dar a cada posición acceso tanto al contexto pasado como al futuro. Graves y Schmidhuber extendieron la idea con celdas LSTM en 2005 para la clasificación de fonemas por fotogramas, estableciendo la LSTM bidireccional como un caballo de batalla para tareas de voz y etiquetado de secuencias. Las variantes BiLSTM y BiGRU se convirtieron en estándar en el procesamiento del lenguaje natural antes del auge de las arquitecturas Transformer.

Preguntas frecuentes

Una RNN normal lee una secuencia en una dirección, por lo que cada posición solo conoce el pasado. Una RNN bidireccional añade una segunda pasada en la dirección inversa y combina ambas, de modo que cada posición está informada por el contexto futuro.

¿Cuándo no puedo usarla?

Necesita la secuencia completa a la vez, por lo que no es adecuada para entornos en tiempo real o generativos donde los tokens futuros aún no se conocen. En esos casos se requiere un modelo unidireccional.

¿Cuántos datos necesito?

Al menos unas 100 secuencias como mínimo, pero el entrenamiento solo es fiable con bastantes más —por debajo de unas 500 el modelo tiende a sobreajustarse y el contexto no se puede extraer de manera fiable. En muestras muy pequeñas, un ensamble de árboles como random forest o XGBoost es más seguro.

¿Cuál es la diferencia entre BiLSTM y BiGRU?

Ambas son RNN bidireccionales; difieren en la celda recurrente. BiLSTM utiliza celdas LSTM y BiGRU utiliza celdas GRU, ambas diseñadas para capturar dependencias a largo plazo mejor que una RNN simple.

Ejecute una RNN bidireccional en sus propias secuencias directamente en MethodMind — cargue sus datos de texto o secuenciales y las etiquetas objetivo, elija BiLSTM o BiGRU, y obtenga predicciones.

Métodos relacionados

Fuentes

  1. Schuster, M. & Paliwal, K.K. (1997). Bidirectional Recurrent Neural Networks. IEEE Transactions on Signal Processing, 45(11), 2673–2681.

    Abrir referencia DOI
    Copiado.
  2. Graves, A. & Schmidhuber, J. (2005). Framewise Phoneme Classification with Bidirectional LSTM Networks. IJCNN, 2047–2052.

    Abrir referencia DOI
    Copiado.