Klasyfikacja Tekstu — Kategoryzacja Tekstu
- Typ
- Supervised NLP classification task
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Klasyfikacja tekstu, zwana również kategoryzacją tekstu, to zadanie nadzorowanego przetwarzania języka naturalnego, które automatycznie przypisuje dokumenty do predefiniowanych kategorii.
Opierając się na podejściu maszyn wektorów nośnych (support-vector-machine) do kategoryzacji tekstu, ustanowionym przez Joachims (1998) i skonsolidowanym w literaturze eksploracji tekstu przez Aggarwal i Zhai (2012), zasila ono zadania takie jak wykrywanie spamu i klasyfikacja tematyczna poprzez uczenie się na podstawie oznakowanych przykładów.
Intuicja stojąca za metodą
Gdy dysponujemy wieloma dokumentami, z których każdy należy do jednego z ustalonego zbioru kategorii, sortowanie ich ręcznie jest nieefektywne. Klasyfikacja tekstu uczy się wzorców, które odróżniają jedną kategorię od drugiej, na podstawie zbioru już oznakowanych przykładów, a następnie stosuje te wzorce do automatycznego etykietowania nowych, niewidzianych dokumentów — podobnie jak uczy się sortującego, pokazując mu wstępnie posortowane stosy i pozwalając mu uporządkować resztę.
Historia
Klasyfikacja tekstu stała się benchmarkowym problemem uczenia maszynowego dzięki Joachims (1998), który wykazał, że maszyny wektorów nośnych dobrze radzą sobie z wieloma istotnymi cechami kategoryzacji tekstu. Aggarwal i Zhai (2012) później skonsolidowali tę dziedzinę w szerszej literaturze eksploracji tekstu, a zadanie to pozostaje kluczowym elementem stosowanego przetwarzania języka naturalnego.
Kiedy stosować
Użyj klasyfikacji tekstu, gdy masz dane tekstowe posortowane w predefiniowane kategorie i oznakowany zbiór treningowy, z którego można się uczyć. Wymaga to co najmniej około 100 oznakowanych dokumentów, a preferowany jest zrównoważony rozkład klas, aby klasyfikator mógł nauczyć się każdej kategorii. Przy mniej niż około 100 dokumentach klasyfikator ma tendencję do przeuczenia, dlatego bezpieczniejsze jest podejście zero-shot; przy braku jakichkolwiek danych tekstowych metoda nie może działać, a alternatywą jest ogólna klasyfikacja na zmiennych kategorycznych.
Ograniczenia i uwagi
- Wymaga oznakowanych danych treningowych, których wytworzenie może być kosztowne.
- Preferowany jest zrównoważony rozkład klas; klasy o skośnym rozkładzie utrudniają uczenie się niektórych kategorii.
- Wymaga rozsądnej wielkości korpusu (około 100 dokumentów lub więcej), aby uniknąć przeuczenia.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Automatyzuje etykietowanie dużych zbiorów dokumentów, których ręczne sortowanie byłoby niepraktyczne.
- Dostosowuje się do wielu zadań — wykrywania spamu, klasyfikacji tematycznej i podobnych problemów kategoryzacji — za pomocą tego samego nadzorowanego potoku.
- Uczy się wzorców specyficznych dla domeny bezpośrednio z oznakowanych przykładów, zamiast polegać na stałych regułach.
Zastosowania
- Wykrywanie spamu — oddzielanie niechcianych wiadomości od legalnych.
- Klasyfikacja tematyczna — kierowanie dokumentów lub artykułów do kategorii tematycznych.
- Organizowanie i priorytetyzacja dużych zbiorów dokumentów według kategorii.
- Zadania przewidywania i klasyfikacji w korpusach tekstowych z dziedzin zdrowia, nauk społecznych, edukacji, inżynierii, nauk przyrodniczych i biznesu.
Jak to działa
Jak to działa
Zaczynamy od korpusu dokumentów, gdzie każdy przykład posiada już jedną z predefiniowanych etykiet kategorii. Te oznakowane dane treningowe stanowią podstawę zadania nadzorowanego; im bardziej zrównoważony jest rozkład klas, tym bardziej niezawodnie klasyfikator uczy się każdej kategorii.
Surowy tekst jest czyszczony i standaryzowany, aby dokumenty stały się porównywalne: usuwany jest szum, a treść jest normalizowana i segmentowana na jednostki poddające się analizie. Pominięcie tego kroku sprawia, że zaszumione tokeny degradują wszystko w dalszych etapach.
Oczyszczony tekst jest przekształcany w cechy numeryczne, które klasyfikator może odczytać — na przykład reprezentacje częstości terminów, które wychwytują, które słowa wyróżniają kategorie. Konwertuje to słowa na liczby, na których operuje algorytm uczenia się.
Nadzorowany klasyfikator jest dopasowywany do oznakowanych, zwektoryzowanych danych treningowych, ucząc się związku między cechami tekstu a etykietami kategorii, aby mógł przypisać etykietę każdemu nowemu dokumentowi.
Wytrenowany model jest oceniany na wydzielonych, oznakowanych danych, a jego błędne klasyfikacje są analizowane przed wdrożeniem. Ponieważ niezrównoważone klasy sprawiają, że surowa dokładność jest myląca, wydajność ocenia się na podstawie kategorii, które model ma rozdzielać.
Częste pułapki
- Trenowanie na zbyt małej liczbie dokumentów (poniżej ~100) powoduje przeuczenie na małym zbiorze treningowym; zamiast tego preferuj podejście do klasyfikacji zero-shot.
- Pominięcie wstępnego przetwarzania tekstu sprawia, że zaszumione tokeny degradują cechy i model.
- Niezrównoważone klasy sprawiają, że zwykła dokładność jest myląca; analizuj wydajność dla każdej kategorii, zamiast ufać pojedynczej wartości dokładności.
- Stosowanie metody, gdy w ogóle nie ma danych tekstowych — należy wrócić do ogólnej klasyfikacji na zmiennych kategorycznych.
Najczęściej zadawane pytania
Ile oznakowanych danych potrzebuję?
Zaplanuj co najmniej około 100 oznakowanych dokumentów. Poniżej tej liczby klasyfikator ma tendencję do przeuczenia na małym zbiorze treningowym, dlatego bezpieczniejszym wyborem jest podejście do klasyfikacji zero-shot.
Czy równowaga klas ma znaczenie?
Tak. Preferowany jest zrównoważony rozkład klas, aby klasyfikator mógł niezawodnie nauczyć się każdej kategorii. W przypadku klas o skośnym rozkładzie, oceniaj wydajność dla każdej kategorii, zamiast polegać na ogólnej dokładności.
Co jeśli nie mam danych tekstowych?
Klasyfikacja tekstu nie może działać bez tekstu. Jeśli zamiast tego Twoje zmienne są kategoryczne, użyj ogólnych metod klasyfikacji na tych ustrukturyzowanych danych.
Czym różni się od grupowania dokumentów?
Klasyfikacja tekstu jest nadzorowana: przypisuje dokumenty do predefiniowanych kategorii nauczonych na podstawie oznakowanych przykładów. Grupowanie dokumentów jest nienadzorowane i grupuje podobne dokumenty bez predefiniowanych etykiet.
Pokrewne metody
Źródła
Joachims, T. (1998). Text Categorization with Support Vector Machines: Learning with Many Relevant Features. ECML 1998. Lecture Notes in Computer Science, vol 1398. Springer.
Otwórz odnośnik DOISkopiowano.Aggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.
ISBN: 978-1-4614-3222-7Skopiowano.