Przejdź do treści
Wróć do wyników wyszukiwania

Model sekwencyjny do sekwencyjnego (Seq2Seq)

Autor metody
Sutskever, I.; Cho, K.
Rok
2014
Typ
Encoder-decoder neural network (deep learning)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Model sekwencyjny do sekwencyjnego (Seq2Seq), wprowadzony przez Sutskevera, Vinyalsa i Le oraz przez Cho i współpracowników w 2014 roku, jest siecią neuronową typu enkoder-dekoder, która mapuje sekwencję wejściową o zmiennej długości na sekwencję wyjściową o zmiennej długości.

Stanowi on podstawę tłumaczenia maszynowego, streszczania tekstu, systemów dialogowych i generowania kodu.

Intuicja stojąca za metodą

Wiele zadań językowych polega na przekształceniu jednej sekwencji w inną, której długość jest różna i nieznana z góry — zdanie w języku angielskim staje się zdaniem o innej długości w języku francuskim. Pojedynczy klasyfikator nie jest w stanie tego zrobić. Seq2Seq dzieli zadanie na dwie części: jedna sieć odczytuje całe wejście i kompresuje jego znaczenie do reprezentacji kontekstowej, a druga sieć rozwija tę reprezentację w wyjście token po tokenie, przy czym każdy nowy token jest warunkowany tym, co już wygenerował.

Historia

Struktura enkoder-dekoder wyłoniła się w 2014 roku z dwóch niemal równoczesnych publikacji: 'Sequence to Sequence Learning with Neural Networks' Sutskevera, Vinyalsa i Le oraz 'RNN encoder-decoder for statistical machine translation' Cho i współpracowników. Oryginalne modele kompresowały źródło do jednego ustalonego wektora kontekstowego; późniejsze dodanie mechanizmu uwagi usunęło to wąskie gardło i dramatycznie poprawiło jakość tłumaczenia, torując drogę architekturze Transformer, która obecnie dominuje w modelowaniu sekwencji.

Kiedy stosować

Używaj Seq2Seq, gdy zadanie polega na transformacji jednej sekwencji o zmiennej długości w inną — tłumaczenie maszynowe, streszczanie, dialog lub generowanie kodu — i masz sparowane przykłady źródło-cel, idealnie co najmniej około 500. Nadaje się do tekstu i ciągłych sekwencji w formie szeregów czasowych lub przekrojowej i nie wymaga danych o rozkładzie normalnym. Zaleca się użycie GPU. Przy znacznie mniejszej liczbie niż 500 par struktura enkoder-dekoder nie może być dobrze nauczona, a prostsze modele, takie jak Random Forest lub XGBoost, są bezpieczniejsze.

Ograniczenia i uwagi

  • Wymaga obszernego korpusu sparowanych przykładów źródło-cel (około 500 lub więcej) do dobrego trenowania.
  • Zaleca się użycie GPU; trenowanie jest wymagające obliczeniowo.
  • Kompresja długiego wejścia do jednego ustalonego kontekstu może prowadzić do utraty informacji bez mechanizmu uwagi.
  • Na małych zbiorach danych struktura enkoder-dekoder nie może być nauczona, a model przeucza się.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Obsługuje wejścia i wyjścia o zmiennej długości, w przeciwieństwie do klasyfikatorów o stałym wyjściu.
  • Jedna, ogólna rama do tłumaczenia, streszczania, dialogu i generowania kodu.
  • Trenowany end-to-end na podstawie sparowanych przykładów źródło-cel bez ręcznie tworzonej aligmentacji.
  • Wydajność znacznie się poprawia po dodaniu mechanizmu uwagi.
  • Założenia są lekkie: brak wymogu normalności; działa na danych tekstowych i ciągłych sekwencjach.

Zastosowania

  • Tłumaczenie maszynowe między parami języków.
  • Streszczanie abstrakcyjne tekstu.
  • Generowanie odpowiedzi w dialogu i konwersacji.
  • Generowanie kodu z opisów w języku naturalnym.

Jak to działa

Jak to działa

1

Sieć enkoder odczytuje sekwencję wejściową token po tokenie i kompresuje całe źródło do reprezentacji kontekstowej, która podsumowuje jego znaczenie. Ponieważ enkoder przetwarza całe wejście przed wygenerowaniem jakiegokolwiek wyjścia, model może obsługiwać wejścia o dowolnej długości.

Wzór
c = \text{Encoder}(x_1, \dots, x_T)
2

Sieć dekoder generuje sekwencję wyjściową token po tokenie. Na każdym kroku warunkuje się kontekstem enkodera wraz z tokenami, które już wyemitował, przewidując rozkład prawdopodobieństwa dla następnego tokenu, aż do momentu, gdy symbol stop zakończy sekwencję. To właśnie pozwala na różnicę długości wyjścia w stosunku do wejścia.

Wzór
p(y_t \mid y_{<t}, c)
3

Enkoder i dekoder są trenowane wspólnie w celu maksymalizacji prawdopodobieństwa poprawnej sekwencji docelowej przy danym źródle — nadzór pochodzi z parowanych przykładów źródło-cel. Dodanie mechanizmu uwagi, który pozwala dekoderowi na przeglądanie wszystkich stanów enkodera zamiast jednego ustalonego kontekstu, poprawia wydajność, a do trenowania zaleca się użycie GPU.

Wzór
\max_{\theta} \sum \log p(y \mid x; \theta)

Częste pułapki

  • Trenowanie na zbyt małej liczbie par źródło-cel, gdzie model przeucza się i nie uczy się mapowania.
  • Pominięcie mechanizmu uwagi na długich sekwencjach i utrata odległego kontekstu.
  • Próba trenowania bez zasobów GPU i porzucenie przed zbieżnością.
  • Używanie Seq2Seq do zadania o stałym wyjściu, które prostszy klasyfikator lub regresor obsłużyłby lepiej.

Najczęściej zadawane pytania

Ile danych potrzebuje Seq2Seq?

Potrzebuje sparowanych przykładów źródło-cel — idealnie co najmniej około 500. Poniżej około 200 par model przeucza się i nie jest w stanie nauczyć się transformacji sekwencji; przy bardzo małej ilości danych prostszy model, taki jak Random Forest lub XGBoost, jest bezpieczniejszy.

Czy potrzebuję GPU?

Zaleca się użycie GPU. Trenowanie enkodera-dekodera na wielu parach sekwencji jest wymagające obliczeniowo, a trenowanie tylko na CPU jest często niepraktycznie powolne.

Co daje dodanie mechanizmu uwagi?

Mechanizm uwagi pozwala dekoderowi na przeglądanie wszystkich stanów enkodera na każdym kroku zamiast polegania na jednym ustalonej wektorze kontekstowym. Usuwa to wąskie gardło informacyjne długich sekwencji i znacznie poprawia jakość wyjścia.

Czym Seq2Seq różni się od klasyfikatora?

Klasyfikator generuje stałe wyjście, takie jak pojedyncza etykieta. Seq2Seq generuje sekwencję wyjściową o zmiennej długości, której długość jest ustalana podczas generowania, co czyni go odpowiednim do tłumaczenia, streszczania i podobnych zadań.

Pokrewne metody

Źródła

  1. Sutskever, I., Vinyals, O. & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H. & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP, 1724–1734.

    Otwórz odnośnik DOI
    Skopiowano.