Przejdź do treści
Wróć do wyników wyszukiwania

Klasyfikacja oparta na BERT

Autor metody
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI Language)
Rok
2019
Typ
Pre-trained language model with fine-tuning
Rodzina
Deep learning / NLP / CV

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Klasyfikacja oparta na BERT polega na dostrajaniu modelu Google Bidirectional Encoder Representations from Transformers (BERT) na oznakowanym zbiorze danych tekstowych, zastępując ogólną, wstępnie wytrenowaną głowicę warstwą klasyfikacyjną specyficzną dla zadania.

Wykorzystuje ona głęboki kontekst dwukierunkowy z setek milionów wstępnie wytrenowanych parametrów, aby zapewnić najnowocześniejszą dokładność w zadaniach klasyfikacji tekstów krótkich i średniej długości, przy stosunkowo niewielkich ilościach oznakowanych danych.

Intuicja stojąca za metodą

BERT odczytuje każde słowo w zdaniu, mając pełną świadomość wszystkich otaczających słów w obu kierunkach jednocześnie – w przeciwieństwie do wcześniejszych modeli, które czytały od lewej do prawej lub od prawej do lewej. Przed dostrojeniem BERT już przyswoił bogate wzorce językowe z ogromnego korpusu. Aby sklasyfikować tekst, na górze umieszcza się cienką warstwę klasyfikacyjną, a cały model jest krótko ponownie trenowany na oznakowanych przykładach. Model dostosowuje swoje wewnętrzne reprezentacje do specyficznych kategorii, zachowując jednocześnie szeroką wiedzę językową, na której został wstępnie wytrenowany, co pozwala na silne wyniki nawet przy ograniczonych oznakowanych danych.

Historia

BERT został opublikowany przez Devlin et al. w Google AI Language w 2019 roku i natychmiast osiągnął nowe, najnowocześniejsze wyniki w 11 benchmarkach NLP, w tym GLUE i SQuAD. Jego kluczową innowacją było dwukierunkowe wstępne trenowanie za pomocą modelowania języka maskowanego i przewidywania następnego zdania. Od 2019 roku dał początek rodzinie pochodnych – RoBERTa, ALBERT, DistilBERT, wariantów specyficznych dla domen – i stał się podstawą nowoczesnego NLP stosowanego, w tym klasyfikacji tekstów w ustawieniach akademickich, przemysłowych i klinicznych.

Kiedy stosować

Używaj klasyfikacji opartej na BERT, gdy dysponujesz oznakowanymi danymi tekstowymi i chcesz uzyskać najnowocześniejszą dokładność w zadaniach takich jak analiza sentymentu, kategoryzacja tematów, wykrywanie intencji lub klasyfikacja tekstów klinicznych. Działa dobrze nawet przy kilkuset oznakowanych przykładach na klasę, co czyni go silnym wyborem, gdy brakuje dużych korpusów z adnotacjami. Preferuj go nad prostszymi modelami (TF-IDF + regresja logistyczna, CNN, LSTM), gdy niuanse językowe, kontekst długodystansowy lub subtelne rozróżnienia semantyczne są kluczowe dla zadania. Unikaj go, gdy sekwencje przekraczają 512 tokenów bez specjalnej obsługi, gdy brakuje zasobów obliczeniowych GPU lub są one zbyt kosztowne, gdy wymagana jest latencja wnioskowania w czasie rzeczywistym poniżej kilku milisekund, lub gdy domena jest wysoce specjalistyczna i istnieje bardzo mało danych wstępnie wytrenowanych w tej domenie – w takich przypadkach bardziej odpowiedni może być model specyficzny dla domeny (BioBERT, LegalBERT).

Ograniczenia i uwagi

  • Sztywny limit długości sekwencji 512 tokenów; dłuższe dokumenty wymagają przycinania, dzielenia lub podejść hierarchicznych.
  • Wysoki koszt obliczeniowy i pamięciowy w czasie wnioskowania w porównaniu z lżejszymi modelami, takimi jak DistilBERT lub regresja logistyczna.
  • Dostrajanie na bardzo małych zbiorach danych (mniej niż ~100 przykładów na klasę) grozi katastrofalnym zapominaniem lub przeuczeniem.
  • Wewnętrzne mechanizmy modelu pozostają w dużej mierze nieprzejrzyste; wyjaśnianie predykcji wymaga dodatkowych narzędzi, takich jak wizualizacja uwagi lub SHAP.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Dwukierunkowa uwaga własna wychwytuje bogate znaczenie kontekstowe, którego modele jednokierunkowe oparte na RNN nie potrafią reprezentować.
  • Wstępne trenowanie na dużych korpusach zapewnia silne priory językowe, umożliwiając dobre wyniki przy ograniczonej liczbie oznakowanych danych.
  • Dostrajanie jest szybkie – zazwyczaj tylko 3–5 epok – w porównaniu z trenowaniem dużego modelu od zera.
  • Jedna architektura obsługuje wiele zadań klasyfikacji NLP bez potrzeby inżynierii cech specyficznych dla zadania.
  • Szeroko dostępne wstępnie wytrenowane punkty kontrolne (BERT-base, BERT-large) i ich pochodne dla wielu języków i domen.

Zastosowania

  • Analiza sentymentu recenzji, postów w mediach społecznościowych i odpowiedzi ankietowych.
  • Klasyfikacja tematów i intencji dla obsługi klienta, chatbotów i moderacji treści.
  • Klasyfikacja tekstów klinicznych: kodowanie diagnoz, sortowanie notatek klinicznych i wykrywanie zdarzeń niepożądanych.
  • Kategoryzacja abstraktów naukowych i przegląd cytowań w przeglądach systematycznych.
  • Wykrywanie mowy nienawiści i dezinformacji na platformach społecznościowych.

Jak to działa

Jak to działa

1

Tekst wejściowy jest dzielony na tokeny WordPiece, a specjalny token [CLS] jest dodawany na początku. Token [SEP] oznacza granice zdań. Każdy token jest mapowany na identyfikator liczbowy i uzupełniany lub przycinany do ustalonej maksymalnej długości sekwencji, zazwyczaj 128 lub 512 tokenów.

2

Sekwencja tokenów przechodzi przez wszystkie warstwy transformatora BERT. Każda warstwa stosuje mechanizm wielogłowicowej uwagi własnej (multi-head self-attention), dzięki czemu każdy token może jednocześnie odnosić się do każdego innego tokenu w obu kierunkach, budując bogate, kontekstowo świadome reprezentacje na każdej pozycji.

Wzór
h = \text{BERT}([\texttt{[CLS]}, w_1, \ldots, w_n])
3

Stan ukryty odpowiadający tokenowi [CLS] w ostatniej warstwie BERT jest ekstrahowany jako wektor o stałej długości, reprezentujący całą sekwencję wejściową. Ta zagregowana reprezentacja przechwytuje ogólne znaczenie tekstu.

4

Liniowa głowica klasyfikacyjna – macierz wag i bias – mapuje wektor [CLS] na wynik dla każdej klasy. Funkcja softmax przekształca te wyniki na prawdopodobieństwa klas, a klasa z najwyższym prawdopodobieństwem jest predykcją.

Wzór
\hat{y} = \text{softmax}(W h_{\texttt{[CLS]}} + b)
5

Pełny model – warstwy BERT i głowica klasyfikacyjna – jest optymalizowany wspólnie na oznakowanym zbiorze treningowym przy użyciu funkcji straty entropii krzyżowej i małej szybkości uczenia (zazwyczaj 2e-5 do 5e-5 z AdamW) przez niewielką liczbę epok (zwykle 3–5). Harmonogram rozgrzewki szybkości uczenia zapobiega dużym wczesnym aktualizacjom gradientu, które mogłyby zniszczyć wstępnie wytrenowane wagi.

Częste pułapki

  • Użycie zbyt dużej szybkości uczenia, która niszczy wstępnie wytrenowane wagi i skutkuje brakiem poprawy w stosunku do losowej linii bazowej.
  • Przycinanie wszystkich danych wejściowych bez sprawdzenia, czy najbardziej istotny tekst znajduje się na początku czy na końcu sekwencji.
  • Pominięcie prawidłowego podziału na zbiory treningowy, walidacyjny i testowy oraz mierzenie wydajności tylko na zbiorze treningowym.
  • Ignorowanie niezbalansowania klas – raportowanie samej dokładności na niezbalansowanym zbiorze danych ukrywa słabe wyniki dla klas mniejszościowych.
  • Wybór BERT, gdy środowisko wdrożeniowe nie posiada zasobów GPU, co prowadzi do niedopuszczalnej latencji wnioskowania w produkcji.

Najczęściej zadawane pytania

Ile oznakowanych danych potrzebuję do dostrojenia BERT?

BERT może zapewnić użyteczne wyniki przy zaledwie kilkuset oznakowanych przykładach na klasę, ponieważ wstępne trenowanie już zaszczepiło bogate priory językowe. Wydajność znacząco poprawia się do kilku tysięcy przykładów; powyżej tego progu zyski maleją. Przy mniej niż około 100 przykładach na klasę istnieje realne ryzyko przeuczenia – rozważ augmentację danych lub lżejszy model.

Jakiej szybkości uczenia powinienem używać podczas dostrajania?

Szybkość uczenia między 2e-5 a 5e-5 z optymalizatorem AdamW jest standardowym zakresem zalecanym w oryginalnym artykule. Wyższe szybkości uczenia mają tendencję do niszczenia wstępnie wytrenowanych wag; niższe sprawiają, że zbieżność jest bardzo powolna. Użyj liniowego rozgrzewki przez pierwsze 10% kroków treningowych.

Moje teksty mają więcej niż 512 tokenów. Co powinienem zrobić?

Typowe strategie obejmują przycinanie do pierwszych lub ostatnich 512 tokenów, dzielenie dokumentu na nakładające się fragmenty i agregowanie reprezentacji [CLS], lub użycie modelu dla długich dokumentów, takiego jak Longformer lub BigBird, który może obsługiwać sekwencje tysięcy tokenów.

Czy powinienem używać BERT-base czy BERT-large?

BERT-base (110 mln parametrów) jest praktycznym domyślnym wyborem: trenuje się szybciej, zużywa mniej pamięci GPU, a jego dokładność jest wystarczająca dla większości zadań klasyfikacji. BERT-large (340 mln parametrów) może dodać kilka punktów procentowych w złożonych zadaniach, ale wymaga znacznie więcej zasobów obliczeniowych i jest podatny na przeuczenie na mniejszych zbiorach danych.

Jak mogę sprawiedliwie ocenić klasyfikator?

Podziel dane na zbiory treningowy, walidacyjny i testowy przed jakimkolwiek dostrajaniem. Raportuj makro F1 (nie tylko dokładność), aby widoczna była wydajność klas mniejszościowych. Użyj zbioru walidacyjnego do wyszukiwania hiperparametrów i wczesnego zatrzymywania, a wynik zbioru testowego zgłoś tylko raz na końcu.

Pokrewne metody

Źródła

  1. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? In China National Conference on Chinese Computational Linguistics (CCL 2019), Lecture Notes in Computer Science, vol 11856, pp. 194–206. Springer.

    Otwórz odnośnik DOI
    Skopiowano.