Przejdź do treści
Wróć do wyników wyszukiwania

Dwukierunkowa sieć rekurencyjna

Autor metody
Schuster, M. & Paliwal, K.K.
Rok
1997
Typ
Recurrent neural network (sequence model)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Dwukierunkowa sieć rekurencyjna (RNN), wprowadzona przez Schustera i Paliwala w 1997 roku, przetwarza sekwencję w obu kierunkach – od przodu i od tyłu – dzięki czemu każda pozycja ma dostęp do pełnego otaczającego kontekstu.

W połączeniu z komórkami LSTM lub GRU (BiLSTM/BiGRU) jest to standardowe podejście do rozpoznawania nazw własnych, etykietowania sekwencji i rozpoznawania mowy.

Intuicja stojąca za metodą

Zwykła sieć RNN odczytuje sekwencję od lewej do prawej, więc w każdym punkcie zna tylko to, co było wcześniej. Jednak znaczenie słowa lub sygnału często zależy również od tego, co następuje później. Dwukierunkowa sieć RNN rozwiązuje ten problem, wykonując dwa przejścia – jedno w przód, jedno w tył – i łącząc je, dzięki czemu każda pozycja jest informowana zarówno o przeszłym, jak i przyszłym kontekście.

Historia

Dwukierunkowa rekurencyjna sieć neuronowa została wprowadzona przez Schustera i Paliwala w 1997 roku, aby zapewnić każdej pozycji dostęp do kontekstu przeszłego i przyszłego. Graves i Schmidhuber rozszerzyli tę ideę o komórki LSTM w 2005 roku do klasyfikacji fonemów ramkowych, ustanawiając dwukierunkową sieć LSTM jako podstawowe narzędzie do zadań związanych z mową i etykietowaniem sekwencji. Warianty BiLSTM i BiGRU stały się standardem w przetwarzaniu języka naturalnego przed pojawieniem się architektur Transformer.

Kiedy stosować

Używaj jej do etykietowania sekwencji, klasyfikacji tekstu lub predykcji na danych sekwencyjnych lub podłużnych – takich jak NER, tagowanie części mowy lub rozpoznawanie mowy – gdy zarówno poprzedzający, jak i następujący kontekst mają znaczenie, a cała sekwencja jest dostępna jednocześnie. Działa na tekście i danych ciągłych, nie zakłada danych o rozkładzie normalnym, ale wymaga rozsądnej ilości danych (co najmniej około 100 sekwencji, a wygodniej więcej dla stabilnego treningu).

Ograniczenia i uwagi

  • Wymaga całej sekwencji z góry, więc nie nadaje się do strumieniowania lub generowania w czasie rzeczywistym, gdy przyszłe dane wejściowe są nieznane.
  • Na małych zbiorach danych (poniżej około 500 sekwencji) przeucza się, a kontekst nie może być wiarygodnie wyodrębniony.
  • Przy bardzo małych próbkach (poniżej około 100) trenowanie BiLSTM/BiGRU nie ma sensu.
  • Dwa przejścia mniej więcej podwajają moc obliczeniową i pamięć jednokierunkowej sieci RNN.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Każda pozycja widzi zarówno przeszły, jak i przyszły kontekst, co jest standardowym, silnym wyborem do etykietowania sekwencji, takim jak NER.
  • Niewielkie założenia: brak wymogu normalności, działa bezpośrednio na tekście i danych ciągłych.
  • Naturalnie łączy się z komórkami LSTM lub GRU w celu obsługi zależności długoterminowych.
  • Dobrze ugruntowana w rozpoznawaniu mowy i innych zadaniach klasyfikacji ramkowej.

Zastosowania

  • Rozpoznawanie nazw własnych i etykietowanie sekwencji.
  • Tagowanie części mowy i inne adnotacje tekstowe na poziomie tokenów.
  • Rozpoznawanie mowy i fonemów.
  • Klasyfikacja tekstu i predykcja na danych sekwencyjnych lub podłużnych.

Jak to działa

Jak to działa

1

Jedna warstwa rekurencyjna odczytuje sekwencję od początku do końca, budując stan ukryty w każdej pozycji, który podsumowuje wszystko, co do tej pory zaobserwowano. Jest to to samo przejście od lewej do prawej, które wykonuje standardowa sieć RNN, LSTM lub GRU.

Wzór
\overrightarrow{h}_t = f(x_t, \overrightarrow{h}_{t-1})
2

Druga warstwa rekurencyjna odczytuje tę samą sekwencję w odwrotnej kolejności, od końca do początku, generując stan ukryty w każdej pozycji, który podsumowuje nadchodzący kontekst. To właśnie daje modelowi wiedzę o tym, co następuje po każdym tokenie.

Wzór
\overleftarrow{h}_t = f(x_t, \overleftarrow{h}_{t+1})
3

W każdej pozycji stany ukryte z przejścia w przód i w tył są łączone w jedną reprezentację, która wychwytuje pełny dwukierunkowy kontekst. Ten połączony wektor jest następnie przekazywany do warstwy wyjściowej w celu etykietowania, klasyfikacji lub predykcji.

Wzór
h_t = [\overrightarrow{h}_t ; \overleftarrow{h}_t]

Częste pułapki

  • Zastosowanie jej do zadań w czasie rzeczywistym lub generatywnych, gdzie przyszła część sekwencji nie jest jeszcze dostępna.
  • Trenowanie na zbyt małej ilości danych i ufanie wynikom pomimo przeuczenia.
  • Ignorowanie faktu, że podwojona reprezentacja ukryta zwiększa koszty obliczeniowe i pamięciowe.
  • Powrót do ciężkiego modelu dwukierunkowego, gdy na małych próbkach bezpieczniejszy byłby zespół drzew.

Najczęściej zadawane pytania

Czym dwukierunkowa sieć RNN różni się od zwykłej sieci RNN?

Zwykła sieć RNN odczytuje sekwencję w jednym kierunku, więc każda pozycja zna tylko przeszłość. Dwukierunkowa sieć RNN dodaje drugie przejście w odwrotnym kierunku i łączy oba, dzięki czemu każda pozycja jest informowana o kontekście przyszłym.

Kiedy nie mogę jej użyć?

Wymaga całej sekwencji naraz, więc nie nadaje się do zastosowań w czasie rzeczywistym lub generatywnych, gdzie przyszłe tokeny nie są jeszcze znane. W takich przypadkach wymagany jest model jednokierunkowy.

Ile danych potrzebuję?

Co najmniej około 100 sekwencji jako minimum, ale trenowanie jest wiarygodne dopiero przy znacznie większej liczbie – poniżej około 500 model ma tendencję do przeuczania, a kontekst nie może być wiarygodnie wyodrębniony. Na bardzo małych próbkach bezpieczniejszy jest zespół drzew, taki jak las losowy lub XGBoost.

Jaka jest różnica między BiLSTM a BiGRU?

Oba są dwukierunkowymi sieciami RNN; różnią się komórką rekurencyjną. BiLSTM używa komórek LSTM, a BiGRU używa komórek GRU, obie zaprojektowane do wychwytywania zależności długoterminowych lepiej niż zwykła sieć RNN.

Pokrewne metody

Źródła

  1. Schuster, M. & Paliwal, K.K. (1997). Bidirectional Recurrent Neural Networks. IEEE Transactions on Signal Processing, 45(11), 2673–2681.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Graves, A. & Schmidhuber, J. (2005). Framewise Phoneme Classification with Bidirectional LSTM Networks. IJCNN, 2047–2052.

    Otwórz odnośnik DOI
    Skopiowano.