Longformer / BigBird
- Autor metody
- Beltagy, Peters & Cohan (Longformer); Zaheer et al. (BigBird)
- Rok
- 2020
- Typ
- Sparse-attention Transformer for long sequences
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Transformery długosekwencyjne, takie jak Longformer (Beltagy, Peters & Cohan, 2020) i BigBird (Zaheer et al., 2020), zastępują standardową uwagę transformera o złożoności O(n²) rzadkimi wzorcami uwagi, które skalują się liniowo, O(n), wraz z długością sekwencji.
Pozwala to pojedynczemu modelowi przetwarzać tysiące tokenów — całe dokumenty, teksty prawne lub sekwencje genomowe — które nie zmieściłyby się w konwencjonalnym transformerze.
Intuicja stojąca za metodą
Standardowy Transformer porównuje każdy token z każdym innym tokenem, więc podwojenie tekstu z grubsza czterokrotnie zwiększa nakład pracy — dlatego większość modeli osiąga limit około 512 tokenów. Transformery długosekwencyjne zauważają, że większość użytecznych relacji jest lokalna, więc każdy token głównie patrzy na swoich bliskich sąsiadów przez przesuwne okno, podczas gdy kilka wyznaczonych tokenów może patrzeć na wszystko. Dzięki temu koszt rośnie proporcjonalnie do długości tekstu, zamiast eksplodować, co sprawia, że bardzo długie dokumenty stają się możliwe do przetworzenia.
Historia
Obie metody pojawiły się w 2020 roku jako odpowiedzi na kwadratowe wąskie gardło uwagi, które ograniczało Transformery do krótkich wejść. Longformer (Beltagy, Peters & Cohan) wprowadził uwagę z przesuwnym oknem plus uwagę globalną dla długich dokumentów, podczas gdy BigBird (Zaheer et al., NeurIPS) dodał losową uwagę do swojego rzadkiego wzorca i przedstawił teoretyczne wyniki dotyczące jego ekspresywności. Razem ustanowiły rzadką uwagę jako standardową drogę do przetwarzania długich sekwencji.
Kiedy stosować
Używaj Transformerów długosekwencyjnych, gdy masz tekst długiego dokumentu (zazwyczaj powyżej 512 tokenów) i potrzebujesz klasyfikacji lub wyjaśnienia dla całego dokumentu — długich raportów, tekstów prawnych lub sekwencji genomowych. Zakładają one, że dostępne są rzeczywiście długie wejścia, zdecydowanie zalecana jest karta graficzna (GPU), a pozycje tokenów globalnych muszą być wybrane rozsądnie. Potrzebują rozsądnej ilości danych: poniżej około 500 dokumentów model ma tendencję do przeuczenia, a poniżej około 100 dokumentów trening nie ma sensu i preferowane są klasyczne metody uczenia maszynowego, takie jak Random Forest lub XGBoost.
Ograniczenia i uwagi
- Karta graficzna (GPU) jest praktycznie wymagana; trening i wnioskowanie są kosztowne obliczeniowo.
- Przeucza się na małych zbiorach dokumentów — poniżej około 500 dokumentów wyniki są niewiarygodne.
- Poniżej około 100 dokumentów trening jest bezcelowy i należy stosować klasyczne metody uczenia maszynowego.
- Pozycje tokenów globalnych muszą być wybrane prawidłowo, w przeciwnym razie przepływ informacji dalekiego zasięgu ulega degradacji.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Przetwarza tysiące tokenów — całe dokumenty — które przekraczają okno standardowego Transformera.
- Liniowe skalowanie uwagi O(n) zamiast kwadratowego kosztu O(n²) gęstej uwagi.
- Łączy lokalny kontekst przesuwnego okna z tokenami globalnymi dla przepływu informacji dalekiego zasięgu.
- Dobrze nadaje się do klasyfikacji długich dokumentów w prawie, genomice i tekstach długoformatowych.
Zastosowania
- Klasyfikacja długich dokumentów, takich jak raporty i artykuły.
- Analiza tekstów prawnych, które przekraczają standardowe okna Transformera.
- Modelowanie długich sekwencji genomowych.
- Zadania wyjaśniania i klasyfikacji dla pełnowymiarowego tekstu, a nie skróconych fragmentów.
Jak to działa
Jak to działa
Kluczowym posunięciem jest porzucenie gęstej uwagi typu „wszystkie pary” standardowego Transformera — której koszt wynosi O(n²) w zależności od długości sekwencji n — i przybliżenie jej rzadkim wzorcem, którego koszt wynosi tylko O(n). Ponieważ uwaga jest wąskim gardłem, ta pojedyncza zmiana umożliwia przetwarzanie wejść składających się z tysięcy tokenów.
Wzór
O(n^2) \;\rightarrow\; O(n)
Większość uwagi jest ograniczona do przesuwnego okna wokół każdego tokenu, więc token zwraca uwagę na stałe pasmo pobliskich tokenów, a nie na całą sekwencję. Kontekst lokalny — słowa po obu stronach — niesie większość sygnału, a obliczanie tylko tego pasma sprawia, że koszt rośnie liniowo z długością.
Niewielki zestaw wyznaczonych tokenów globalnych może zwracać uwagę na całą sekwencję i być przez nią obserwowany, co daje modelowi ścieżkę przepływu informacji dalekiego zasięgu przez dokument. Prawidłowy wybór pozycji tych tokenów globalnych (na przykład token klasyfikacyjny lub tokeny zapytania) jest ważny, ponieważ stanowią one pomost między odległymi częściami tekstu.
Oprócz kodera z rzadką uwagą, głowica zadaniowa generuje ostateczny wynik — na przykład klasyfikację na poziomie dokumentu lub predykcję wyjaśniającą dla długiego wejścia. Rezultatem jest model, który może przetwarzać pełnowymiarowe dokumenty, które Transformer z 512 tokenami musiałby obciąć.
Częste pułapki
- Stosowanie go do krótkich tekstów, które mieszczą się w standardowym Transformerze z 512 tokenami, ponosząc złożoność bez korzyści.
- Niedbałe wybieranie pozycji tokenów globalnych, co przerywa ścieżki dalekiego zasięgu modelu.
- Trenowanie na małym zbiorze dokumentów (n poniżej kilkuset) i ufanie wynikowi przeuczenia.
- Próba trenowania bez karty graficznej (GPU) i rezygnacja z działającego modelu.
Najczęściej zadawane pytania
Czym różni się to od standardowego Transformera, takiego jak BERT?
Standardowy Transformer wykorzystuje gęstą uwagę, porównując każdy token z każdym innym tokenem kosztem O(n²), co w praktyce ogranicza wejścia do około 512 tokenów. Longformer i BigBird używają rzadkiej uwagi — głównie lokalnych przesuwnych okien plus kilku tokenów globalnych — dzięki czemu koszt rośnie liniowo, a wejścia składające się z kilku tysięcy tokenów stają się wykonalne.
Kiedy powinienem preferować Longformer lub BigBird zamiast klasycznego uczenia maszynowego?
Używaj ich, gdy Twój tekst jest rzeczywiście długi (powyżej 512 tokenów) i masz wystarczającą liczbę dokumentów. Przy mniej niż około 500 dokumentach model ma tendencję do przeuczenia, a poniżej około 100 dokumentów trening nie ma sensu — w takim przypadku bezpieczniejszym wyborem są metody klasyczne, takie jak Random Forest lub XGBoost.
Czym są tokeny globalne i dlaczego są ważne?
Tokeny globalne to niewielki zestaw pozycji, które mogą zwracać uwagę na całą sekwencję i być przez nią obserwowane. Stanowią one kanał, przez który informacje dalekiego zasięgu przemieszczają się przez dokument, dlatego prawidłowy wybór ich pozycji jest ważny dla wydajności.
Czy potrzebuję specjalnego sprzętu?
Zdecydowanie zalecana jest karta graficzna (GPU). Modele te nadal przetwarzają długie sekwencje za pomocą dużych sieci, więc trening i wnioskowanie są wymagające obliczeniowo, nawet przy liniowo skalującej się uwadze.
Pokrewne metody
Źródła
Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv.
Otwórz odnośnik do publikacjiSkopiowano.Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS.
Otwórz odnośnik do publikacjiSkopiowano.