Przejdź do treści
Wróć do wyników wyszukiwania

Jednostka bramkowana rekurencyjna (GRU)

Autor metody
Cho, K. et al.
Rok
2014
Typ
Gated recurrent neural network unit

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Jednostka bramkowana rekurencyjna (GRU) to komórka rekurencyjnej sieci neuronowej z bramkami, wprowadzona przez Cho i współpracowników w 2014 r., która wychwytuje długoterminowe zależności w danych sekwencyjnych za pomocą bramek aktualizacji i resetowania, osiągając wydajność porównywalną z LSTM przy mniejszej liczbie parametrów.

Intuicja stojąca za metodą

Zwykła sieć rekurencyjna ma trudności z zapamiętywaniem informacji w długich sekwencjach, ponieważ sygnał zanika lub eksploduje w miarę przekazywania go krok po kroku. GRU dodaje małe bramki, które uczą się na każdym kroku czasowym, ile z przeszłości zachować, a ile nowej informacji przyswoić. Mając tylko dwie bramki zamiast trzech w LSTM, przenosi użyteczną pamięć przez długie okresy, pozostając jednocześnie lżejsza i szybsza w trenowaniu.

Historia

GRU zostało wprowadzone przez Kyunghyun Cho i współpracowników w 2014 r. w ramach ram kodera-dekodera RNN do statystycznego tłumaczenia maszynowego. Później tego samego roku Chung, Gulcehre, Cho i Bengio empirycznie ocenili jednostki rekurencyjne z bramkami w porównaniu z LSTM w zadaniach modelowania sekwencji, pokazując, że prostsze GRU z dwiema bramkami mogło dorównać wydajności LSTM przy użyciu mniejszej liczby parametrów, co uczyniło je popularną, lżejszą alternatywą do modelowania sekwencji.

Kiedy stosować

Dobrze nadaje się do przewidywania, prognozowania i klasyfikacji danych sekwencyjnych — szeregów czasowych lub sekwencji podłużnych wartości ciągłych lub tekstu — gdy długoterminowe zależności są ważne i pożądane jest szybsze trenowanie niż w przypadku LSTM, przy co najmniej około 100 obserwacjach. Nie zakłada normalnego rozkładu danych. Przy mniej niż około 500 sekwencjach ryzyko przeuczenia jest wysokie, a prostszy model, taki jak Random Forest, jest bezpieczniejszy; poniżej około 100 trenowanie rekurencyjne nie ma sensu, a XGBoost jest preferowany.

Ograniczenia i uwagi

  • Wysokie ryzyko przeuczenia na małych zbiorach danych (mniej niż około 500 sekwencji).
  • Wymaga danych sekwencyjnych; nie ma sensu poniżej około 100 obserwacji.
  • Jako rekurencyjna czarna skrzynka nie oferuje jawnych współczynników do interpretacji.
  • Podobnie jak wszystkie modele rekurencyjne, może być wrażliwy na długość sekwencji i konfigurację trenowania.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Wychwytuje długoterminowe zależności w danych sekwencyjnych za pomocą nauczonych bramek aktualizacji i resetowania.
  • Porównywalna dokładność z LSTM przy mniejszej liczbie parametrów, więc trenuje się szybciej.
  • Niewielkie założenia: nie wymaga danych o normalnym rozkładzie.
  • Dobrze nadaje się do szeregów czasowych i sekwencji podłużnych wartości ciągłych lub tekstu.

Zastosowania

  • Prognozowanie i przewidywanie na szeregach czasowych i sekwencjach podłużnych.
  • Klasyfikacja sekwencji na podstawie danych ciągłych lub tekstowych.
  • Modelowanie długoterminowych zależności, gdzie potrzebna jest pojemność na poziomie LSTM przy niższych kosztach.
  • Szybsza rekurencyjna baza przed sięgnięciem po cięższe modele sekwencyjne.

Jak to działa

Jak to działa

1

Na każdym kroku czasowym jednostka oblicza dwie bramki z bieżącego wejścia i poprzedniego stanu ukrytego. Bramka aktualizacji decyduje, ile z poprzedniego stanu przenieść dalej, a ile odświeżyć, podczas gdy bramka resetowania decyduje, ile z przeszłości zignorować przy tworzeniu nowego kandydata na stan. Obie są ściskane przez sigmoidalną funkcję do wartości między zerem a jedynką.

Wzór
z_t = \sigma(W_z x_t + U_z h_{t-1}), \quad r_t = \sigma(W_r x_t + U_r h_{t-1})
2

Kandydat na stan ukryty jest proponowany z bieżącego wejścia połączonego z poprzednim stanem przefiltrowanym przez bramkę resetowania. Gdy bramka resetowania jest bliska zeru, jednostka skutecznie zapomina przeszłość i reaguje na nowe wejście; gdy jest bliska jedynki, miesza poprzedni kontekst z nowym kandydatem.

Wzór
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}))
3

Nowy stan ukryty jest bramkowaną interpolacją między poprzednim stanem a kandydatem, kontrolowaną przez bramkę aktualizacji. Ten pojedynczy krok mieszania pozwala jednostce albo zachować pamięć przez wiele kroków czasowych, albo szybko się aktualizować, co pozwala GRU wychwytywać długoterminowe zależności bez oddzielnej komórki pamięci.

Wzór
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t

Częste pułapki

  • Zastosowanie GRU do maleńkiego zbioru danych sekwencyjnych, gdzie po prostu zapamiętuje dane treningowe.
  • Zapominanie, że wejścia muszą tworzyć rzeczywiste sekwencje, a nie nieuporządkowane wiersze tabelaryczne.
  • Pomijanie prawidłowego podziału na zbiór treningowy i walidacyjny oraz poleganie na dopasowaniu sekwencji w próbie.
  • Sięganie po sieć rekurencyjną, gdy prostszy model lepiej generalizowałby na małych danych.

Najczęściej zadawane pytania

Czym GRU różni się od LSTM?

GRU używa dwóch bramek (aktualizacji i resetowania) i jednego stanu ukrytego, podczas gdy LSTM używa trzech bramek i oddzielnej komórki pamięci. GRU ma zatem mniej parametrów i trenuje się szybciej, osiągając porównywalną wydajność w wielu zadaniach sekwencyjnych.

Ile danych potrzebuje GRU?

Potrzebuje danych sekwencyjnych z co najmniej około 100 obserwacjami. Poniżej około 500 sekwencji ryzyko przeuczenia jest wysokie, więc bezpieczniejszy jest prostszy model, taki jak Random Forest; poniżej około 100 sieć rekurencyjna nie ma sensu, a preferowany jest XGBoost.

Czy GRU zakłada normalny rozkład danych?

Nie. Podobnie jak inne rekurencyjne sieci neuronowe, nie zakłada normalności; wymaga autentycznie sekwencyjnego wejścia, takiego jak szereg czasowy lub sekwencja podłużna.

Kiedy powinienem wybrać GRU zamiast cięższego modelu?

Wybierz GRU, gdy musisz wychwytywać długoterminowe zależności w sekwencjach, ale chcesz szybszego, lżejszego trenowania niż LSTM, i masz wystarczająco dużo danych sekwencyjnych, aby uniknąć przeuczenia.

Pokrewne metody

Źródła

  1. Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. EMNLP.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Chung, J., Gulcehre, C., Cho, K. & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop. arXiv:1412.3555

    Otwórz odnośnik do publikacji
    Skopiowano.