Klasyfikacja zero-shot — klasyfikacja tekstu bez danych treningowych
- Autor metody
- Yin, Hay & Roth
- Rok
- 2019
- Typ
- NLP text-classification task
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Klasyfikacja zero-shot to zadanie z zakresu przetwarzania języka naturalnego, które przypisuje tekst do kategorii opisanych językiem naturalnym, bez potrzeby posiadania jakichkolwiek oznakowanych danych treningowych.
Sformalizowane jako problem wnioskowania przez Yin, Hay i Roth (2019), pozwala dużemu, wstępnie wytrenowanemu modelowi językowemu na rozpoznawanie nowych kategorii w locie, po prostu przez ich nazwanie, co umożliwia szybką adaptację do nowych zestawów etykiet.
Intuicja stojąca za metodą
Zazwyczaj klasyfikator musi zobaczyć wiele oznakowanych przykładów każdej kategorii, zanim będzie w stanie je rozpoznać. Klasyfikacja zero-shot pomija ten krok: podajesz nazwy kategorii jako zwykłe słowa — na przykład polityka, sport, nauka — a duży, wstępnie wytrenowany model językowy, który już rozumie język, ocenia, jak dobrze każda proponowana etykieta pasuje do tekstu. Ponieważ model wnosi własną, szeroką wiedzę o języku, możesz dodawać lub zmieniać kategorie natychmiast, bez zbierania i etykietowania nowych danych treningowych.
Historia
Klasyfikacja tekstu zero-shot została systematycznie poddana ocenie porównawczej i sformułowana jako problem wnioskowania tekstowego przez Yin, Hay i Roth (2019), którzy pokazali, że model wytrenowany na wnioskowaniu w języku naturalnym może klasyfikować tekst do niewidzianych wcześniej kategorii, traktując każdą etykietę jako hipotezę. Szerszą zdolność dużych modeli językowych do wykonywania zadań, których nigdy nie były specjalnie trenowane, spopularyzowali Brown i in. (2020) w pracy nad uczeniem z niewielką liczbą przykładów (few-shot learning) na przykładzie GPT-3.
Kiedy stosować
Klasyfikacja zero-shot sprawdza się, gdy masz tekst do kategoryzacji, ale brak oznakowanych danych treningowych, a także gdy kategorie mogą się zmieniać lub powiększać w czasie. Wymaga dużego, wstępnie wytrenowanego modelu językowego (takiego jak modele wnioskowania oparte na BART lub RoBERTa) oraz etykiet kandydujących, które są zdefiniowane jasno i rozłącznie. Jest dobrze przystosowana do szybkiego prototypowania i do zastosowań, gdzie zbieranie oznakowanych przykładów dla każdej klasy jest niepraktyczne.
Ograniczenia i uwagi
- Zależy od dużego, wstępnie wytrenowanego modelu językowego (BART, RoBERTa), co wiąże się z kosztami obliczeniowymi.
- Dokładność zależy od tego, jak jasno i rozłącznie sformułowane są etykiety kandydujące.
- Bez specyficznego dla zadania trenowania może być gorsza od klasyfikatora nadzorowanego, gdy dostępnych jest dużo oznakowanych danych.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Nie wymaga oznakowanych danych treningowych — kategorie są opisywane językiem naturalnym.
- Szybko adaptuje się do nowych kategorii: dodanie klasy oznacza jedynie dodanie jej nazwy do listy etykiet kandydujących.
- Wykorzystuje szeroką wiedzę lingwistyczną już zawartą w dużym, wstępnie wytrenowanym modelu.
Zastosowania
- Kategoryzacja dokumentów według zestawów etykiet, które często się zmieniają, bez ponownego trenowania.
- Szybkie prototypowanie zadań klasyfikacyjnych przed zebraniem jakichkolwiek oznakowanych danych.
- Routing lub tagowanie przychodzącego tekstu (tematy, intencje) przy użyciu jedynie nazw kategorii.
- Eksploracja pojawiających się kategorii w korpusach tekstowych badawczych i operacyjnych.
Jak to działa
Jak to działa
Opisujesz docelowe kategorie jako etykiety kandydujące w języku naturalnym — krótkie frazy, które model może bezpośrednio odczytać. Etykiety te muszą być jasno sformułowane i rozłączne, ponieważ model porównuje tekst z każdą etykietą w takiej postaci, w jakiej została podana; niejasne lub nakładające się etykiety zamazują decyzję.
Tekst i etykiety kandydujące są podawane do dużego, wstępnie wytrenowanego modelu językowego, takiego jak BART lub RoBERTa. Nie odbywa się żadne dopasowanie do własnych danych — model wykorzystuje wiedzę lingwistyczną nabytą podczas wstępnego trenowania do reprezentowania zarówno dokumentu, jak i każdej etykiety kandydującej.
Model ocenia, jak silnie każda etykieta kandydująca jest wspierana przez tekst, ujmując zadanie jako wnioskowanie w języku naturalnym: czy tekst implikuje hipotezę, że należy do tej etykiety? Każda etykieta otrzymuje ocenę zgodności od wstępnie wytrenowanego modelu.
Etykieta z najwyższą oceną jest przypisywana do tekstu (lub uszeregowany zestaw etykiet dla ustawień wieloetykietowych). Ponieważ ocena opiera się całkowicie na wstępnie wytrenowanym modelu, dodanie nowej kategorii jest tak proste, jak dodanie jej nazwy do listy kandydatów.
Częste pułapki
- Niejasne lub nakładające się etykiety kandydujące zamazują decyzje modelu; zdefiniuj każdą etykietę jasno i zachowaj ich rozłączność.
- Oczekiwanie, że dokładność zero-shot dorówna w pełni nadzorowanemu klasyfikatorowi, gdy dostępnych jest mnóstwo oznakowanych danych — w takim przypadku zamiast tego wytrenuj model nadzorowany.
- Użycie małego lub generycznego modelu zamiast dużego modelu zdolnego do wnioskowania obniża wyniki.
- Formułowanie etykiet w języku, którego wstępnie wytrenowany model nie obsługuje dobrze, obniża niezawodność.
Najczęściej zadawane pytania
Czy klasyfikacja zero-shot wymaga jakichkolwiek danych treningowych?
Nie. To jest jej cecha definiująca: opisujesz kategorie jako etykiety kandydujące w języku naturalnym, a duży, wstępnie wytrenowany model ocenia dopasowanie, więc nie są wymagane żadne oznakowane przykłady.
Na jakim modelu polega?
Polega na dużym, wstępnie wytrenowanym modelu językowym, zazwyczaj modelu wytrenowanym do wnioskowania, takim jak BART lub RoBERTa. Jakość wyniku zależy w dużej mierze od użycia wydajnego, wstępnie wytrenowanego modelu, a nie małego, generycznego.
Jak powinienem napisać etykiety kandydujące?
Zdefiniuj je jasno i zachowaj ich rozłączność. Model porównuje tekst z każdą etykietą w takiej postaci, w jakiej została podana, więc niejasne lub nakładające się etykiety zamazują decyzję i obniżają dokładność.
Czy jest tak dokładna jak klasyfikator nadzorowany?
Niekoniecznie. Gdy masz dużo oznakowanych danych, klasyfikator nadzorowany wytrenowany na tych danych może przewyższać klasyfikację zero-shot. Klasyfikacja zero-shot błyszczy, gdy oznakowane dane są rzadkie lub zestaw kategorii ciągle się zmienia.
Pokrewne metody
Źródła
Yin, W., Hay, J. & Roth, D. (2019). Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach. EMNLP, 3914-3923.
Otwórz odnośnik DOISkopiowano.Brown, T. et al. (2020). Language Models are Few-Shot Learners. NeurIPS.
Otwórz odnośnik do publikacjiSkopiowano.