Przejdź do treści
Wróć do wyników wyszukiwania

Dostrajanie BERT

Autor metody
Devlin, J. et al.
Rok
2019
Typ
Transfer learning (fine-tuning a pre-trained transformer)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Dostrajanie BERT, bazujące na modelu BERT wprowadzonego przez Devlina i współpracowników w 2019 roku, polega na ponownym trenowaniu wstępnie wytrenowanego modelu BERT na małym zbiorze danych z etykietami dla określonego zadania, takiego jak klasyfikacja, rozpoznawanie jednostek nazwanych czy odpowiadanie na pytania.

Dzięki uczeniu transferowemu osiąga wysoką wydajność nawet przy stosunkowo niewielkiej ilości danych specyficznych dla zadania.

Intuicja stojąca za metodą

Trenowanie modelu językowego od zera wymaga ogromnych ilości tekstu i mocy obliczeniowej. BERT już nauczył się bogatych, ogólnych reprezentacji języka podczas wstępnego trenowania, więc zamiast zaczynać od nowa, bierze się ten model i delikatnie dostosowuje do swojego zadania. Mając tylko mały zbiór danych z etykietami, model dostosowuje swoją istniejącą wiedzę do problemu, dlatego dostrajanie działa tam, gdzie trenowanie modelu od zera by zawiodło.

Historia

BERT został wprowadzony przez Devlina i współpracowników w 2019 roku, demonstrując, że głębokie dwukierunkowe transformery wstępnie wytrenowane na dużych korpusach mogą być dostrajane w celu osiągnięcia najnowocześniejszych wyników w wielu zadaniach rozumienia języka. Praktyczne wskazówki, takie jak praca Sun i współpracowników z 2019 roku dotycząca dostrajania BERT do klasyfikacji tekstu, pomogły ustanowić dostrajanie jako standardowy przepis na adaptację dużych wstępnie wytrenowanych modeli językowych do specyficznych zadań.

Kiedy stosować

Używaj dostrajania BERT do zadań tekstowych — klasyfikacji, predykcji lub ekstrakcji relacji, takich jak NER i odpowiadanie na pytania — na zmiennych tekstowych, z co najmniej około 50 oznakowanymi przykładami i idealnie kilkuset lub więcej. Zakłada to dostępność wstępnie wytrenowanego modelu BERT i posiadanie oznakowanych danych zadania; zaleca się GPU. Poniżej około 500 oznakowanych przykładów model ma tendencję do przeuczenia, a poniżej około 50 dostrajanie nie jest opłacalne — bezpieczniejszym wyborem jest tam klasyczne uczenie maszynowe oparte na TF-IDF.

Ograniczenia i uwagi

  • Na małych zbiorach danych z etykietami (poniżej około 500 przykładów) dostrajanie prowadzi do przeuczenia, a wyniki stają się niewiarygodne.
  • Przy bardzo małej ilości danych z etykietami (poniżej około 50) dostrajanie jest w ogóle niewykonalne.
  • Zaleca się GPU, więc wymagania obliczeniowe są wyższe niż w przypadku klasycznych modeli tekstowych.
  • Zależy od dostępności odpowiedniego wstępnie wytrenowanego modelu BERT dla języka i domeny.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Uczenie transferowe zapewnia wysoką wydajność nawet przy stosunkowo niewielkiej ilości oznakowanych danych.
  • Przechwytuje dwukierunkowy kontekst, obsługując znaczenie słów zależne od otaczającego tekstu.
  • Jeden wstępnie wytrenowany rdzeń obsługuje wiele zadań: klasyfikację, NER, odpowiadanie na pytania.
  • Unika ogromnych kosztów danych i obliczeń związanych z trenowaniem modelu językowego od zera.

Zastosowania

  • Klasyfikacja tekstu, taka jak analiza sentymentu i etykietowanie tematów.
  • Rozpoznawanie jednostek nazwanych (NER) w tekście.
  • Odpowiadanie na pytania i ekstrakcja zakresów.
  • Adaptacja ogólnego, wstępnie wytrenowanego modelu językowego do specyficznej domeny z ograniczoną ilością danych z etykietami.

Jak to działa

Jak to działa

1

Zaczyna się od wstępnie wytrenowanego modelu BERT, który nauczył się dwukierunkowych reprezentacji języka z dużych korpusów tekstowych. Ten wstępnie wytrenowany model niesie ze sobą ogólną wiedzę lingwistyczną, która przenosi się na docelowe zadanie, więc nie uczy się struktury języka od zera.

2

Na wierzch BERT dodaje się specyficzną dla zadania warstwę wyjściową — na przykład głowicę klasyfikacyjną do etykietowania sentymentu, głowicę na poziomie tokenów do rozpoznawania jednostek nazwanych lub głowicę zakresu do odpowiadania na pytania. Ta głowica przekształca kontekstowe reprezentacje BERT w predykcje dla danego zadania.

3

Połączony model jest ponownie trenowany na małym zbiorze danych zadania z etykietami, aktualizując wagi tak, aby specjalizowały się w zadaniu. Zazwyczaj model trenuje się przez kilka epok; zaleca się użycie GPU, ponieważ bazowa sieć jest duża. Wynikiem jest model, który mapuje dane wejściowe tekstowe na predykcje zadania.

Wzór
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)

Częste pułapki

  • Dostrajanie na zbyt małej liczbie oznakowanych przykładów i ufanie wynikowym metrykom.
  • Pomijanie wydzielonego zbioru ewaluacyjnego, co powoduje, że przeuczenie na małym zbiorze danych pozostaje niezauważone.
  • Sięganie po BERT, gdy klasyczny model oparty na TF-IDF byłby bardziej niezawodny przy bardzo małych danych.
  • Trenowanie przez zbyt wiele epok na małym zbiorze danych, co potęguje przeuczenie.

Najczęściej zadawane pytania

Ile oznakowanych danych potrzebuję?

Dostrajanie jest opłacalne od około 50 oznakowanych przykładów, ale wydajność jest bardziej niezawodna przy kilkuset lub więcej. Poniżej około 500 przykładów model ma tendencję do przeuczenia, a poniżej około 50 dostrajanie nie jest wykonalne — bezpieczniejszy jest tam klasyczny model oparty na TF-IDF.

Czy potrzebuję GPU?

Zaleca się GPU, ponieważ sieć BERT jest duża, a trenowanie na CPU jest powolne. Dostrajanie zazwyczaj trwa tylko kilka epok, co sprawia, że obliczenia są zarządzalne na GPU.

Dlaczego dostrajać zamiast trenować od zera?

BERT już nauczył się ogólnych dwukierunkowych reprezentacji języka podczas wstępnego trenowania. Dostrajanie ponownie wykorzystuje tę wiedzę poprzez uczenie transferowe, dzięki czemu osiąga się wysoką wydajność przy znacznie mniejszej ilości oznakowanych danych i mocy obliczeniowej niż przy trenowaniu modelu od zera.

Jakie zadania może obsługiwać dostrajanie BERT?

Poprzez dodanie specyficznej dla zadania głowicy wyjściowej można użyć tego samego wstępnie wytrenowanego rdzenia do klasyfikacji, rozpoznawania jednostek nazwanych i odpowiadania na pytania, a także innych zadań tekstowych.

Pokrewne metody

Źródła

  1. Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Sun, C., Qiu, X., Xu, Y. & Huang, X. (2019). How to Fine-Tune BERT for Text Classification. CCL.

    Otwórz odnośnik DOI
    Skopiowano.