Transformer (NLP)
- Autor metody
- Vaswani, A. et al.
- Rok
- 2017
- Typ
- Attention-based deep neural network
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Transformer to model głębokiego uczenia oparty na mechanizmie uwagi, wprowadzony przez Vaswani i współpracowników w 2017 roku, który wykonuje klasyfikację tekstu, rozpoznawanie jednostek nazwanych i modelowanie języka, pozwalając każdemu tokenowi w sekwencji na bezpośrednie zwrócenie uwagi na każdy inny token.
Zastąpił wcześniejsze rekurencyjne projekty mechanizmem samo-uwagi, który przetwarza całe sekwencje równolegle.
Intuicja stojąca za metodą
Wcześniejsze modele sekwencyjne czytały tekst słowo po słowie, mając trudności z połączeniem słów odległych od siebie w zdaniu. Transformer zamiast tego pozwala każdemu słowu na jednoczesne spojrzenie na każde inne słowo i zdecydowanie, które z nich są istotne dla jego znaczenia. Ten mechanizm uwagi pozwala modelowi uchwycić dalekosiężny kontekst w języku i nauczyć się bogatych, wielokrotnego użytku reprezentacji tekstu.
Historia
Transformer został wprowadzony przez Vaswani i współpracowników w artykule z 2017 roku „Attention Is All You Need”, który pokazał, że architektura zbudowana całkowicie na mechanizmie uwagi — bez rekurencji — mogła dorównać lub przewyższyć poprzednie modele sekwencyjne. Stał się on podstawą dla wstępnie wytrenowanych modeli językowych, takich jak BERT i GPT, które są obecnie standardowym punktem wyjścia dla większości zadań przetwarzania języka naturalnego.
Kiedy stosować
Dobry wybór do klasyfikacji tekstu, rozpoznawania jednostek nazwanych i modelowania języka na dużych zbiorach danych tekstowych — co najmniej około 500 dokumentów — gdzie głębokie kontekstowe rozumienie języka ma znaczenie. Nie wymaga danych o rozkładzie normalnym, ale zakłada duży korpus tekstowy, a zaleca się użycie wstępnie wytrenowanego modelu (takiego jak BERT lub GPT). Poniżej około 500 przykładów mechanizm uwagi nie jest w stanie nauczyć się wiarygodnych wzorców, a poniżej około 100 głęboki model jest bezcelowy; klasyczne uczenie maszynowe, takie jak Random Forest lub XGBoost, jest bezpieczniejszym wyborem.
Ograniczenia i uwagi
- Wymaga dużych zbiorów danych tekstowych (około 500 przykładów lub więcej), aby nauczyć się wiarygodnych wzorców.
- Poniżej około 100 przykładów trenowanie głębokiego modelu jest bezcelowe i wystarcza klasyczne uczenie maszynowe.
- Trenowanie jest kosztowne obliczeniowo i zazwyczaj opiera się na wstępnie wytrenowanych modelach.
- Jego wewnętrzne reprezentacje są trudne do zinterpretowania w porównaniu z modelami o jawnych współczynnikach.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Samo-uwaga wychwytuje dalekosiężne zależności w całej sekwencji, w przeciwieństwie do rekurencyjnych modeli przetwarzających słowo po słowie.
- Przetwarza sekwencje równolegle, co sprawia, że trenowanie na dużych korpusach tekstowych jest znacznie bardziej skalowalne.
- Wstępnie wytrenowane modele (BERT, GPT) mogą być dostrajane, przenosząc wiedzę na zadania z ograniczoną ilością oznakowanych danych.
- Obsługuje różnorodne zadania językowe — klasyfikację, NER i modelowanie języka — w ramach jednej architektury.
- Brak założeń dotyczących rozkładu: nie wymaga danych o rozkładzie normalnym.
Zastosowania
- Klasyfikacja tekstu, taka jak etykietowanie sentymentu lub tematu.
- Rozpoznawanie jednostek nazwanych (NER) w dokumentach.
- Modelowanie języka i przewidywanie następnego tokenu.
- Dostrajanie wstępnie wytrenowanych modeli językowych do specyficznych dla domeny zadań tekstowych.
Jak to działa
Jak to działa
Surowy tekst jest dzielony na tokeny, a każdy token jest zamieniany na wektor liczbowy (osadzenie). Ponieważ uwaga nie ma wbudowanego pojęcia porządku, do tych wektorów dodawane są informacje o pozycji, aby model wiedział, gdzie każdy token znajduje się w sekwencji.
Mechanizm samo-uwagi porównuje każdy token z każdym innym tokenem: zapytania są dopasowywane do kluczy w celu uzyskania wag uwagi, które następnie są używane do łączenia wektorów wartości. Stosowanie wielu takich warstw uwagi pozwala modelowi na budowanie kontekstowej reprezentacji, w której każdy token jest informowany przez całą sekwencję.
Wzór
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)VKontekstowe reprezentacje zasilają głowicę specyficzną dla zadania — etykietę do klasyfikacji tekstu, tagi dla każdego tokenu do rozpoznawania jednostek nazwanych lub prawdopodobieństwa następnego tokenu do modelowania języka. W praktyce model wstępnie wytrenowany na dużych korpusach tekstowych (takich jak BERT lub GPT) jest dostrajany do bieżącego zadania.
Częste pułapki
- Zastosowanie Transformera do małego zbioru danych tekstowych, gdzie uwaga nie może nauczyć się stabilnych wzorców.
- Trenowanie od zera zamiast dostrajania wstępnie wytrenowanego modelu, takiego jak BERT lub GPT.
- Ignorowanie progu liczby próbek i poleganie na głębokim modelu, gdzie klasyczne uczenie maszynowe poradziłoby sobie lepiej.
- Traktowanie wag uwagi jako ostatecznego wyjaśnienia rozumowania modelu.
Najczęściej zadawane pytania
Ile danych tekstowych potrzebuję?
Co najmniej około 500 przykładów, aby mechanizm uwagi mógł nauczyć się wiarygodnych wzorców. Poniżej około 100 przykładów trenowanie głębokiego modelu nie jest opłacalne, a klasyczne uczenie maszynowe, takie jak Random Forest lub XGBoost, jest lepszym wyborem.
Czy powinienem trenować Transformera od zera?
Zazwyczaj nie. Zaleca się użycie wstępnie wytrenowanego modelu, takiego jak BERT lub GPT, i dostrojenie go do swojego zadania, ponieważ przenosi on wiedzę zdobytą na dużych korpusach i wymaga znacznie mniej oznakowanych danych.
Jakie zadania obsługuje?
Klasyfikację tekstu, rozpoznawanie jednostek nazwanych i modelowanie języka, wszystko zbudowane na tej samej architekturze samo-uwagi.
Dlaczego mechanizm uwagi jest ważny?
Pozwala każdemu tokenowi w sekwencji na bezpośrednie zwrócenie uwagi na każdy inny token, wychwytując dalekosiężny kontekst, z którym wcześniejsze modele rekurencyjne przetwarzające słowo po słowie radziły sobie słabo.
Pokrewne metody
Źródła
Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.
Otwórz odnośnik do publikacjiSkopiowano.