Identyfikacja języka (LID)
- Typ
- NLP text-classification task
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Identyfikacja języka to zadanie z zakresu przetwarzania języka naturalnego, które automatycznie wykrywa, w jakim języku napisano dany tekst.
Opierając się na gotowych narzędziach, takich jak langid.py (Lui & Baldwin, 2012) i wydajnych klasyfikatorach Joulin et al. (2017), jest szeroko stosowana do wstępnego przetwarzania i filtrowania wielojęzycznych zbiorów danych.
Intuicja stojąca za metodą
Różne języki pozostawiają charakterystyczne ślady w swoich wzorcach liter i słów: sekwencje znaków występujące w języku tureckim wyglądają inaczej niż te w języku angielskim czy japońskim. Zamiast angażować człowieka do odczytania i rozpoznania każdego dokumentu, identyfikacja języka uczy się tych statystycznych wzorców i przypisuje każdemu tekstowi etykietę językową, dzięki czemu wielojęzyczny zbiór można automatycznie posortować według języka.
Historia
Automatyczna identyfikacja języka dojrzała do niezawodnych, gotowych narzędzi, takich jak langid.py (Lui & Baldwin, 2012), samodzielne narzędzie obejmujące wiele języków. Joulin et al. (2017) pokazali następnie, że proste, wydajne modele klasyfikacji tekstu mogą wykonywać to zadanie na bardzo dużą skalę, co zostało spopularyzowane przez modele identyfikacji języka fastText.
Kiedy stosować
Używaj identyfikacji języka, gdy masz dane tekstowe o nieznanym lub mieszanym języku i potrzebujesz je posortować lub przefiltrować według języka przed dalszą analizą. Każdy dokument powinien być wystarczająco długi – co najmniej około 20 znaków – aby nieść wiarygodny sygnał. Pasuje do wielojęzycznych korpusów, które muszą być czyszczone lub kierowane według języka; jeśli cały tekst jest już znany jako należący do jednego języka, krok ten jest zbędny.
Ograniczenia i uwagi
- Bardzo krótkie teksty niosą zbyt mało sygnału; dokumenty krótsze niż około 20 znaków są niewiarygodne.
- Mieszanie języków (code-switching) – mieszanie dwóch języków w jednym dokumencie – jest rzeczywiście trudne do poprawnego oznaczenia.
- Dokładność może spaść w przypadku języków o niskich zasobach i w przypadku tekstu mieszającego skrypty.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Gotowe narzędzia sprawiają, że wdrożenie jest szybkie i nie wymaga własnych danych z etykietami.
- Przekształca nieposortowany wielojęzyczny zbiór w czyste, oznaczone etykietami językowymi podzbiory gotowe do dalszego przetwarzania.
- Wprowadzająca metoda o niskim poziomie trudności, która skaluje się do dużych korpusów.
Zastosowania
- Wstępne przetwarzanie wielojęzycznych zbiorów danych poprzez oznaczanie każdego dokumentu jego językiem.
- Filtrowanie korpusu w celu zachowania tylko dokumentów w docelowym języku przed dalszą analizą.
- Kierowanie przychodzącego tekstu do specyficznych dla języka potoków w badaniach społecznych, humanistycznych i biznesowych.
- Czyszczenie kolekcji zebranych z sieci, które mieszają wiele języków.
Jak to działa
Jak to działa
Zbierany jest tekst do analizy i sprawdzana jest jego użyteczna długość. Bardzo krótkie fragmenty niosą zbyt mało sygnału, dlatego każdy dokument powinien mieć co najmniej około 20 znaków, zanim będzie można go wiarygodnie oznaczyć.
Każdy dokument jest przekształcany w sygnał statystyczny, który odróżnia jeden język od drugiego – zazwyczaj są to wzorce n-gramów znaków, które wychwytują, jak litery mają tendencję do następstwa w danym języku. Te wzorce są tym, co odczytuje klasyfikator.
Wytrenowany model przypisuje najbardziej prawdopodobną etykietę językową do każdego dokumentu, korzystając z narzędzi zbudowanych do tego zadania, takich jak langid.py lub klasyfikatory typu fastText. Wynikiem jest przewidywany język dla każdego tekstu.
Przewidywane etykiety są wykorzystywane w dalszych etapach: wielojęzyczny zbiór jest sortowany według języka, a dokumenty w niepożądanych językach są filtrowane przed dalszym przetwarzaniem tekstu. Tutaj identyfikacja języka znajduje swoje miejsce jako krok wstępnego przetwarzania.
Częste pułapki
- Uruchamianie na bardzo krótkich fragmentach i mimo to ufanie etykiecie – najpierw wymusić minimalną długość.
- Zakładanie jednej etykiety na dokument, gdy tekst jest mieszany między językami; pojedyncza przewidywana etykieta będzie myląca.
- Traktowanie przewidywanego języka jako prawdy bez wyrywkowego sprawdzania, zwłaszcza w przypadku blisko spokrewnionych języków.
Najczęściej zadawane pytania
Ile tekstu potrzebuje identyfikacja języka?
Każdy dokument powinien mieć co najmniej około 20 znaków. Krótsze fragmenty niosą zbyt mało sygnału statystycznego, a przewidywany język staje się niewiarygodny.
Co się dzieje z tekstem, który miesza dwa języki?
Mieszanie języków (code-switching) jest znanym problemem: gdy dwa języki pojawiają się w jednym dokumencie, narzędzie zwracające pojedynczą etykietę nie może reprezentować obu, a wynik jest często mylący. Segmentuj lub oznaczaj takie teksty, zamiast ufać jednej etykiecie.
Czy potrzebuję danych treningowych z etykietami?
Zazwyczaj nie. Gotowe narzędzia, takie jak langid.py i klasyfikatory typu fastText, są dostarczane z pre-trenowanymi modelami dla wielu języków, więc można wykryć język bez przygotowywania własnego zbioru z etykietami.
Dlaczego identyfikować język przed inną analizą tekstu?
Większość metod dalszego przetwarzania – tokenizery, leksykony, modele językowe – zakłada jeden znany język. Identyfikacja i filtrowanie według języka najpierw utrzymuje tę zasadę, zapobiegając stosowaniu narzędzi stworzonych dla jednego języka do innego.
Pokrewne metody
Źródła
Lui, M. & Baldwin, T. (2012). langid.py: An Off-the-shelf Language Identification Tool. Proceedings of the ACL 2012 System Demonstrations.
Otwórz odnośnik do publikacjiSkopiowano.Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. (2017). Bag of Tricks for Efficient Text Classification. Proceedings of the EACL 2017.
Otwórz odnośnik do publikacjiSkopiowano.