Osadzenia BERT — kontekstowe reprezentacje tekstu
- Autor metody
- Devlin, Chang, Lee & Toutanova (Google AI)
- Rok
- 2019
- Typ
- Contextual transformer text-representation method
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Osadzenia tekstu oparte na BERT, wprowadzone przez Devlina i współpracowników z Google AI w 2019 roku, przekształcają tekst w gęste wektory wrażliwe na kontekst, wykorzystując dwukierunkowy enkoder Transformer.
Ponieważ znaczenie słowa zmienia się wraz z kontekstem, BERT generuje bogatsze reprezentacje niż metody statyczne, takie jak Word2Vec, czy modele tematyczne, jak LDA.
Intuicja stojąca za metodą
Słowo takie jak „bank” ma inne znaczenie nad rzeką niż w finansach, a jednak starsze metody osadzania przypisują mu jeden stały wektor, niezależnie od tego, gdzie się pojawia. BERT odczytuje każde słowo wraz z otaczającymi je słowami, więc to samo słowo otrzymuje inny wektor w zależności od zdania. To kontekstowe odczytywanie pozwala osadzeniom uchwycić znaczenie, które umyka statycznym wektorom słów.
Historia
BERT został wprowadzony przez Devlina, Changa, Lee i Toutanovą (2019), którzy wstępnie wytrenowali głęboki dwukierunkowy Transformer na dużych korpusach tekstowych i wykazali silne wyniki w wielu zadaniach rozumienia języka. Późniejsze prace badawcze Tenneya i współpracowników (2019) wykazały, że BERT wewnętrznie odtwarza etapy klasycznego potoku NLP, co pomaga wyjaśnić, dlaczego jego kontekstowe osadzenia niosą tak bogate informacje lingwistyczne.
Kiedy stosować
Osadzenia BERT pasują, gdy masz dane tekstowe i potrzebujesz reprezentacji uwzględniających kontekst, a także gdy wstępnie wytrenowany model pasuje do języka i domeny tego korpusu. Nadają się do celów wyjaśniających, klasyfikacyjnych i analizy relacji. Przy mniej niż około 100 dokumentach dostrajanie nie jest wykonalne — preferuj statyczne wstępnie wytrenowane osadzenia, takie jak GloVe — a jeśli w ogóle nie ma danych tekstowych, osadzeń BERT nie można wygenerować.
Ograniczenia i uwagi
- Należy wybrać odpowiedni model — wielojęzyczny lub specyficzny dla domeny — aby dopasować go do korpusu.
- Zaleca się użycie GPU dla dużych zbiorów danych, ponieważ kodowanie jest kosztowne obliczeniowo.
- Dostrajanie nie jest wykonalne na bardzo małych korpusach (poniżej ~100 dokumentów).
- Osadzenia są wysokowymiarowe i mniej bezpośrednio interpretowalne niż cechy oparte na częstotliwości lub leksykonie.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Wrażliwe na kontekst: to samo słowo otrzymuje różne wektory w zależności od otaczającego tekstu.
- Bogatsze reprezentacje niż metody statyczne, takie jak Word2Vec lub modele tematyczne, jak LDA.
- Dwukierunkowe kodowanie odczytuje każdy token w świetle pełnego kontekstu po obu stronach.
- Wstępnie wytrenowane modele obejmują wiele języków i specjalistycznych domen, dzięki czemu analiza może rozpocząć się bez trenowania od zera.
Zastosowania
- Klasyfikacja tekstu przy użyciu kontekstowych reprezentacji dokumentów.
- Pomiar podobieństwa semantycznego między dokumentami lub fragmentami.
- Analiza relacji i wyjaśniająca w odniesieniu do tekstu, gdzie znaczenie słów zależy od kontekstu.
- Generowanie cech dla modeli NLP niższego poziomu w badaniach nad zdrowiem, naukami społecznymi, ekonomią i biznesem.
Jak to działa
Jak to działa
Wybiera się odpowiedni wstępnie wytrenowany model BERT, aby dopasować go do korpusu — model wielojęzyczny dla tekstu nieanglojęzycznego lub mieszanego, lub model specyficzny dla domeny, gdy tekst pochodzi ze specjalistycznej dziedziny. Wybór modelu pasującego do języka i domeny korpusu jest decyzją, która najsilniej kształtuje jakość osadzeń.
Każdy dokument jest dzielony na tokeny podrzędne, których oczekuje wybrany model. Tokenizacja dzieli słowa na jednostki, na których model był wstępnie trenowany, tak aby można było reprezentować nawet nieznane lub złożone słowa.
Dwukierunkowy enkoder Transformer przechodzi przez tokeny i generuje wektor wrażliwy na kontekst dla każdego z nich, odczytując każdy token w świetle otaczającego tekstu. To samo słowo daje różne wektory w różnych kontekstach, co nadaje reprezentacji jej bogactwo.
Wynikowe osadzenia służą zadaniom niższego poziomu — klasyfikacji, analizie podobieństwa lub relacji — a w przypadku większych korpusów model można dostroić do zadania. Zaleca się użycie GPU dla dużych zbiorów danych, ponieważ kodowanie wielu dokumentów jest obliczeniowo kosztowne.
Częste pułapki
- Zastosowanie modelu angielskiego do tekstu w innym języku obniża jakość; wybierz model wielojęzyczny lub dopasowany.
- Dostrajanie BERT na małym zbiorze danych (poniżej ~100 dokumentów) nie działa — wróć do statycznych wstępnie wytrenowanych osadzeń, takich jak GloVe.
- Przy braku danych tekstowych osadzenia BERT nie mogą zostać wygenerowane — rozważ klasteryzację na danych strukturalnych.
- Kodowanie dużych korpusów bez GPU może być zaporowo powolne.
Najczęściej zadawane pytania
Czym BERT różni się od Word2Vec lub GloVe?
Word2Vec i GloVe przypisują każdemu słowu jeden statyczny wektor, niezależnie od kontekstu. BERT jest kontekstowy: odczytuje każde słowo wraz z otaczającym je tekstem i generuje inny wektor dla tego samego słowa w różnych zdaniach, co pozwala uchwycić znaczenie, które umyka statycznym osadzeniom.
Ile tekstu potrzebuję?
Generowanie osadzeń z wstępnie wytrenowanego modelu działa nawet na małych korpusach (około dziesięciu dokumentów i więcej). Dostrajanie modelu do zadania wymaga jednak większego zbioru — przy mniej niż około 100 dokumentach preferuj statyczne wstępnie wytrenowane osadzenia, takie jak GloVe.
Czy potrzebuję GPU?
Nie dla małych zbiorów danych, ale GPU jest zalecane dla dużych, ponieważ kodowanie wielu dokumentów za pomocą Transformera jest kosztowne obliczeniowo i może być bardzo powolne na CPU.
Czy BERT obsługuje języki inne niż angielski?
Tak, pod warunkiem wybrania modelu, który pasuje — modelu wielojęzycznego lub modelu wytrenowanego dla konkretnego języka lub domeny Twojego korpusu. Zastosowanie modelu wyłącznie angielskiego do tekstu w innym języku jest częstą przyczyną słabych wyników.
Pokrewne metody
Źródła
Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT, 4171-4186.
Otwórz odnośnik DOISkopiowano.Tenney, I., Das, D. & Pavlick, E. (2019). BERT Rediscovers the Classical NLP Pipeline. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), 4593-4601.
Otwórz odnośnik DOISkopiowano.