Klasyfikacja tekstów w schemacie małej liczby przykładów
- Typ
- NLP text-classification task (low-resource)
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Klasyfikacja tekstów w schemacie małej liczby przykładów (few-shot text classification) polega na przypisywaniu dokumentów do klas przy użyciu zaledwie kilku oznakowanych przykładów na klasę.
Opierając się na postępach Gao i in. (2021) oraz podejściu SetFit bez podpowiedzi (prompt-free) Tunstalla i in. (2022), metoda ta wykorzystuje sieci prototypowe, MAML lub dostrajanie (fine-tuning) dużego, wstępnie wytrenowanego modelu do uczenia się na podstawie skąpych etykiet.
Intuicja stojąca za metodą
Większość klasyfikatorów wymaga dużego, oznakowanego zbioru treningowego, jednak etykietowanie tekstów jest kosztowne i czasami dostępne są tylko nieliczne przykłady na klasę. Klasyfikacja tekstów w schemacie małej liczby przykładów omija ten problem, zaczynając od modelu, który już rozumie język — dużego, wstępnie wytrenowanego modelu — i kierując go w stronę docelowych klas przy użyciu zaledwie kilku przykładów dla każdej z nich. Zamiast uczyć się każdej klasy od zera, porównuje nowe dokumenty do małego zbioru oznakowanych prototypów lub lekko adaptuje wstępnie wytrenowany model, tak aby nawet jeden przykład na klasę mógł kierować decyzją.
Historia
Klasyfikacja tekstów w schemacie małej liczby przykładów wyłoniła się z badań nad uczeniem w schemacie małej liczby przykładów i meta-uczeniem zaadaptowanym do języka. Gao i in. (2021) pokazali, jak uczynić wstępnie wytrenowane modele językowe lepszymi w uczeniu w schemacie małej liczby przykładów, a Tunstall i in. (2022) wprowadzili SetFit do efektywnego uczenia w schemacie małej liczby przykładów bez podpowiedzi, czyniąc to podejście praktycznym przy małych, oznakowanych zbiorach i silnych, wstępnie wytrenowanych bazach.
Kiedy stosować
Używaj klasyfikacji tekstów w schemacie małej liczby przykładów, gdy masz teksty do sklasyfikowania, ale tylko kilka oznakowanych przykładów na klasę — znacznie mniej, niż potrzebowałby konwencjonalny klasyfikator nadzorowany. Zakłada ona istnienie co najmniej jednego przykładu dla każdej klasy i działa najlepiej, gdy dostępny jest duży, wstępnie wytrenowany model, który dostarcza brakującej wiedzy. Przy obfitości oznakowanych danych, zwykły nadzorowany klasyfikator tekstów jest prostszym wyborem.
Ograniczenia i uwagi
- Wymaga co najmniej jednego oznakowanego przykładu dla każdej klasy; klasy całkowicie nieznane nie mogą być przewidziane.
- Jakość zależy w dużej mierze od bazowego, wstępnie wytrenowanego modelu — słaby lub niedopasowany model ogranicza wydajność.
- Przy ekstremalnie małej liczbie przykładów, predykcje mogą być niestabilne i wrażliwe na to, które przykłady zostały wybrane.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Uczy się na podstawie bardzo niewielu oznakowanych przykładów — nawet jednego na klasę — tam, gdzie konwencjonalne klasyfikatory nadzorowane zawodzą.
- Wykorzystuje ponownie szeroką wiedzę o języku zawartą w dużym, wstępnie wytrenowanym modelu, dzięki czemu potrzeba niewiele danych specyficznych dla zadania.
- Elastyczność w zakresie strategii: sieci prototypowe, MAML lub lekkie dostrajanie pasują do tego samego potoku (pipeline); wszystkie trzy mieszczą się w tym samym potoku; bezpodpowiedziowe dostrajanie w stylu SetFit jest praktycznym domyślnym wyborem.
Zastosowania
- Klasyfikowanie tekstów, gdy etykietowanie jest kosztowne i dostępne są tylko nieliczne przykłady na kategorię.
- Uruchamianie klasyfikatora dla nowego obszaru lub zestawu etykiet przed zakończeniem etykietowania na dużą skalę.
- Szybkie prototypowanie kategoryzacji tekstów w ustawieniach badawczych i operacyjnych przy skąpych etykietach.
- Rozszerzanie istniejącego schematu o nowe, rzadko oznakowane klasy.
Jak to działa
Jak to działa
Zbiera się mały, oznakowany zbiór zawierający co najmniej jeden przykład na klasę — czasami tylko kilka na klasę. Jest to zbiór wsparcia (support set), z którego metoda się uczy; im mniejszy jest ten zbiór, tym bardziej metoda polega na wiedzy już zawartej we wstępnie wytrenowanym modelu.
Wybiera się duży, wstępnie wytrenowany model jako bazę (backbone), ponieważ koduje on już szeroką wiedzę o języku. Preferowany jest silny, wstępnie wytrenowany model — im więcej wie o języku z góry, tym mniej trzeba uczyć każdą klasę na podstawie dostarczonych nielicznych przykładów.
Baza jest kierowana w stronę docelowych klas przy użyciu jednej ze strategii uczenia w schemacie małej liczby przykładów: sieci prototypowe budują prototyp klasy z nielicznych przykładów i klasyfikują według najbliższego prototypu, MAML meta-uczy się parametrów początkowych, które szybko się adaptują, a dostrajanie lekko aktualizuje wstępnie wytrenowany model na małym zbiorze.
Każdy nowy dokument jest kodowany przez zaadaptowany model i przypisywany mu jest etykieta klasy — według najbliższego prototypu lub przez dostrojony nagłówek klasyfikatora — co daje jedną przewidywaną etykietę na dokument pomimo skąpych danych treningowych.
Częste pułapki
- Traktowanie klasy z zerową liczbą oznakowanych przykładów jako możliwej do nauczenia — każda klasa musi mieć co najmniej jeden przykład.
- Łączenie metody z małym lub źle dopasowanym, wstępnie wytrenowanym modelem, co usuwa wcześniejszą wiedzę, od której zależy schemat małej liczby przykładów.
- Nadmierne odczytywanie dokładności z maleńkiego zbioru wsparcia; przy tak niewielu przykładach, szacunki oceny są zaszumione.
Najczęściej zadawane pytania
Ile przykładów na klasę faktycznie potrzeba?
Wymagany jest co najmniej jeden oznakowany przykład na klasę, a metoda jest zaprojektowana do pracy z zaledwie kilkoma przykładami na klasę. Im mniej ich dostarczysz, tym bardziej polega ona na wcześniejszej wiedzy bazowego, wstępnie wytrenowanego modelu.
Którą strategię uczenia w schemacie małej liczby przykładów wybrać?
Sieci prototypowe budują prototyp na klasę z nielicznych przykładów i klasyfikują według najbliższego prototypu; MAML meta-uczy się parametrów, które szybko adaptują się do nowych zadań; dostrajanie lekko aktualizuje wstępnie wytrenowany model na małym zbiorze. Wszystkie trzy pasują do tego samego potoku; bezpodpowiedziowy styl dostrajania SetFit jest praktycznym domyślnym wyborem.
Dlaczego wstępnie wytrenowany model ma tak duże znaczenie?
Przy zaledwie kilku oznakowanych przykładach, większość wiedzy musi pochodzić z innego źródła. Duży, wstępnie wytrenowany model dostarcza szerokiego zrozumienia języka, więc silniejsza baza zazwyczaj daje lepsze wyniki w schemacie małej liczby przykładów.
Kiedy zamiast tego powinienem preferować zwykły klasyfikator nadzorowany?
Gdy masz obfitość oznakowanych danych. Metody uczenia w schemacie małej liczby przykładów istnieją dla reżimu niskiej liczby etykiet; przy dużym, zrównoważonym, oznakowanym zbiorze, standardowy nadzorowany klasyfikator tekstów jest prostszy i zazwyczaj silniejszy.
Pokrewne metody
Źródła
Gao, T., Fisch, A. & Chen, D. (2021). Making Pre-trained Language Models Better Few-shot Learners. ACL.
Otwórz odnośnik DOISkopiowano.Tunstall, L., Reimers, N., Jo, U.E.S., Bates, L., Korat, D., Wasserblat, M. & Pereg, O. (2022). Efficient Few-Shot Learning Without Prompts. arXiv.
Otwórz odnośnik DOISkopiowano.