Multi-Head Self-Attention
- Autor metody
- Vaswani, A. et al.
- Rok
- 2017
- Typ
- Attention mechanism (Transformer core)
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Mechanizm wielogłowicowej samoatencji (Multi-Head Self-Attention), wprowadzony przez Vaswani i współpracowników w 2017 roku, pozwala każdej pozycji w sekwencji na równoległe obliczanie jej relacji ze wszystkimi innymi pozycjami.
Jest to rdzeń architektury Transformer i podstawa modeli BERT, GPT i T5.
Intuicja stojąca za metodą
Wcześniejsze modele sekwencyjne przetwarzały tekst krok po kroku, co utrudniało uchwycenie długodystansowych zależności i spowalniało obliczenia. Samoatencja pozwala natomiast każdemu tokenowi na bezpośrednie spojrzenie na każdy inny token naraz i zdecydowanie, jaką wagę mu nadać, dzięki czemu znaczenie zależne od odległego kontekstu jest uchwytywane w jednym równoległym przebiegu.
Historia
Samoatencja została wprowadzona przez Vaswani i współpracowników w artykule z 2017 roku „Attention Is All You Need”, który zaproponował architekturę Transformer i całkowicie zrezygnował z rekurencji. Szybko stała się ona podstawą dużych wstępnie wytrenowanych modeli językowych: Devlin i współpracownicy zbudowali BERT na dwukierunkowych Transformerach w 2019 roku, a ten sam mechanizm leży u podstaw modeli GPT i T5.
Kiedy stosować
Należy stosować samoatencję przy modelowaniu tekstu lub innych danych sekwencyjnych, gdzie istotne są relacje między odległymi elementami i dysponujemy wystarczającą ilością danych do wytrenowania dużego modelu — co najmniej około 100 obserwacji, przy czym preferowane jest 500 lub więcej. Zalecana jest karta GPU, wymagane jest kodowanie pozycyjne, a należy pamiętać, że koszt obliczeniowy rośnie kwadratowo wraz z długością sekwencji. Na bardzo małych próbkach mechanizm ten nie jest w stanie nauczyć się wiarygodnych reprezentacji; prostsze modele uczenia maszynowego są tam bezpieczniejszym wyborem.
Ograniczenia i uwagi
- Koszt obliczeniowy i pamięciowy rośnie kwadratowo wraz z długością sekwencji, co czyni bardzo długie sekwencje kosztownymi.
- Praktyczne trenowanie wymaga efektywnie karty GPU.
- Wymaga kodowania pozycyjnego, ponieważ sama atencja jest niezależna od kolejności.
- Na małych zbiorach danych (n poniżej około 500) mechanizm przeucza się (overfits) i nie jest w stanie nauczyć się wiarygodnych reprezentacji.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Bezpośrednio wychwytuje długodystansowe zależności, bez wąskiego gardła rekurencji krok po kroku.
- W pełni równoległe obliczenia między pozycjami, które dobrze skalują się na nowoczesnym sprzęcie.
- Wiele głowic może jednocześnie uwzględniać różne wzorce relacji.
- Służy jako wspólny rdzeń dla modeli BERT, GPT i T5, z rozbudowanym wsparciem dla uczenia transferowego.
Zastosowania
- Klasyfikacja tekstu i inne nadzorowane zadania przetwarzania języka naturalnego.
- Predykcja i uczenie reprezentacji na danych sekwencyjnych.
- Wstępne trenowanie i dostrajanie (fine-tuning) dużych modeli językowych, takich jak BERT i GPT.
- Każde zastosowanie, w którym muszą być modelowane długodystansowe relacje między elementami sekwencji.
Jak to działa
Jak to działa
Każda pozycja wejściowa jest mapowana na trzy uczone wektory — zapytanie (query), klucz (key) i wartość (value) — za pomocą oddzielnych macierzy wag. Zapytanie reprezentuje to, czego szuka dany token, klucz to to, co oferuje każdy token, a wartość to treść, która jest przekazywana dalej.
Wzór
Q = XW_Q,\; K = XW_K,\; V = XW_V
Każde zapytanie jest porównywane ze wszystkimi kluczami za pomocą przeskalowanego iloczynu skalarnego (scaled dot product), przeskalowanego pierwiastkiem kwadratowym z wymiaru klucza w celu utrzymania stabilności wartości, a następnie przepuszczane przez funkcję softmax w celu uzyskania wag atencji. Wyjście każdej pozycji jest ważoną sumą wszystkich wektorów wartości, dzięki czemu miesza informacje z całej sekwencji naraz.
Wzór
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)VAtencja jest uruchamiana kilkukrotnie równolegle jako oddzielne głowice (heads), każda z własnymi projekcjami, dzięki czemu różne głowice mogą skupiać się na różnych rodzajach relacji. Ich wyjścia są konkatenowane i ponownie projektowane, a ponieważ pozycje są inaczej wymienne, dodawane jest kodowanie pozycyjne (positional encoding), aby zachować informację o kolejności.
Wzór
\text{MultiHead}(X) = \text{Concat}(\text{head}_1,\dots,\text{head}_h)W_OCzęste pułapki
- Trenowanie na zbyt małej ilości danych — poniżej około 500 przykładów mechanizm przeucza się zamiast uczyć użytecznych reprezentacji.
- Zapomnienie o kodowaniu pozycyjnym, co sprawia, że model jest ślepy na kolejność słów.
- Niedoszacowanie kwadratowego kosztu długich sekwencji i wyczerpanie pamięci.
- Sięganie po Transformer na maleńkich próbkach, gdzie prostszy model, taki jak las losowy (random forest) czy XGBoost, sprawdziłby się lepiej.
Najczęściej zadawane pytania
Dlaczego wynik atencji jest skalowany przez pierwiastek kwadratowy z wymiaru klucza?
Bez skalowania, iloczyny skalarne rosną wraz ze wzrostem wymiaru klucza, spychając funkcję softmax w rejony z zanikającymi gradientami. Dzielenie przez pierwiastek kwadratowy z wymiaru klucza utrzymuje wyniki w stabilnym zakresie.
Co dodają wielogłowicowe mechanizmy?
Każda głowica uczy własne projekcje zapytań, kluczy i wartości, dzięki czemu różne głowice mogą jednocześnie uwzględniać różne rodzaje relacji. Ich wyjścia są konkatenowane i ponownie projektowane w jedną reprezentację.
Dlaczego potrzebne jest kodowanie pozycyjne?
Samoatencja traktuje pozycje jako wymienne, więc sama w sobie nie ma pojęcia o kolejności. Kodowanie pozycyjne wprowadza informację o pozycji każdego tokenu, aby model mógł wykorzystać kolejność słów.
Ile danych jest potrzebnych?
Jest to mechanizm wymagający dużej ilości danych: przy mniej niż około 500 przykładach przeucza się i nie jest w stanie nauczyć się wiarygodnych reprezentacji, a poniżej około 100 trenowanie Transformera nie ma sensu. Dla małych próbek preferowane są prostsze modele, takie jak las losowy czy XGBoost.
Pokrewne metody
Źródła
Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.
Otwórz odnośnik do publikacjiSkopiowano.Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
Otwórz odnośnik do publikacjiSkopiowano.