Normalizacja tekstu — standaryzacja zaszumionych danych tekstowych
- Typ
- NLP preprocessing pipeline
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Normalizacja tekstu to potok przetwarzania wstępnego w przetwarzaniu języka naturalnego (NLP), który przekształca zaszumiony, skrócony lub błędnie napisany tekst — taki jak wiadomości SMS, posty w mediach społecznościowych i dane wyjściowe OCR — w czystą, znormalizowaną formę.
Jest to krok wstępny dla praktycznie każdego zadania NLP, zapewniający, że niespójne formy powierzchniowe nie pogarszają tokenizacji, parsowania ani klasyfikacji. Metoda zyskała systematyczne ujęcie akademickie dzięki Baldwinowi i Li (2015) oraz Sproatowi i Jaitly (2017).
Intuicja stojąca za metodą
Maszyna wytrenowana na czystym tekście prasowym nie rozpoznaje „gr8”, „u” ani „tmrw” jako słów „great”, „you” lub „tomorrow”. Zanim będzie można przeprowadzić głębszą analizę, surowy, zaszumiony tekst musi zostać doprowadzony do spójnej formy powierzchniowej. Normalizacja tekstu robi właśnie to: identyfikuje rodzaj występującego szumu — skróty, błędy pisowni, slang, emoji, znaki specjalne — i stosuje ukierunkowane reguły lub nauczone modele do przekształcenia każdego niestandardowego tokenu w jego kanoniczny odpowiednik, tak aby wszystkie późniejsze narzędzia widziały jednolity, przewidywalny słownik.
Historia
Systematyczne badanie normalizacji tekstu dla treści generowanych przez użytkowników zostało zapoczątkowane przez wzrost Twittera i SMS-ów jako korpusów badawczych pod koniec lat 2000. Baldwin i Li (2015) przeprowadzili jedną z najbardziej dogłębnych analiz empirycznych wpływu strategii normalizacji na dokładność zadań pochodnych NLP dla tekstu z Twittera, ustanawiając punkty odniesienia, na których opierała się późniejsza praca. Równolegle Sproat i Jaitly (2017) ujęli normalizację tekstu jako problem uczenia sekwencja-do-sekwencji i udostępnili dane wyzwaniowe, napędzając przyjęcie podejść neuronowych. Wcześniejsze prace traktowały normalizację jako zadanie korekty pisowni lub wyszukiwania w słowniku; ujęcie neuronowe połączyło te wątki i otworzyło drzwi do potoków uczenia się od początku do końca.
Kiedy stosować
Normalizację tekstu należy stosować zawsze, gdy tekst źródłowy zawiera niestandardowe tokeny, które pochodny potok NLP błędnie zinterpretowałby: dane z mediów społecznościowych, korpusy SMS, dokumenty historyczne zdigitalizowane przez OCR i nieformalne logi czatów są typowymi przypadkami. Muszą być spełnione dwa założenia: rodzaj szumu musi być możliwy do zidentyfikowania z góry, a słownik języka docelowego lub model językowy dla zamierzonej formy standardowej musi być dostępny. Jeśli tekst jest już czysty i standardowy, normalizacja nie przynosi korzyści i może wprowadzić błędy przez nadmierną korektę zamierzonych wyborów stylistycznych.
Ograniczenia i uwagi
- Wymaga wcześniejszej wiedzy o rodzaju szumu: zestaw reguł lub model zaprojektowany dla skrótów SMS może działać słabo w przypadku błędów OCR lub slangu specyficznego dla domeny.
- Musi istnieć leksykon języka docelowego lub model językowy dla zamierzonej formy standardowej; języki o niskich zasobach mogą nie mieć tych zasobów.
- Nadmierna normalizacja może zniszczyć znaczącą wariację — zamierzony nieformalny styl, przełączanie kodu lub nazwy własne mogą zostać błędnie przepisane.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Zwiększa jakość zadań pochodnych NLP we wszystkich obszarach — tokenizacja, tagowanie części mowy, rozpoznawanie nazw własnych i analiza sentymentu korzystają z czystych, spójnych danych wejściowych.
- Elastyczna implementacja: proste tabele przeglądowe oparte na regułach dobrze sprawdzają się w przypadku przewidywalnego szumu, podczas gdy neuronowe modele sekwencja-do-sekwencji radzą sobie z nowymi lub niejednoznacznymi formami.
- Nie wymaga specjalnych założeń dystrybucyjnych dotyczących danych, co czyni go stosowalnym do bardzo małych korpusów (minimum ~10 dokumentów).
Zastosowania
- Przetwarzanie wstępne korpusów mediów społecznościowych (Twitter, Reddit, Instagram) przed analizą sentymentu, modelowaniem tematów lub detekcją zdarzeń.
- Czyszczenie danych wyjściowych OCR z zdigitalizowanych dokumentów historycznych przed ekstrakcją informacji.
- Standaryzacja tekstu SMS i logów czatów do badań klinicznych lub socjologicznych.
- Konwersja nieformalnych recenzji generowanych przez użytkowników na czysty tekst przed podaniem ich do klasyfikatora lub podsumowania.
Jak to działa
Jak to działa
Profil szumu korpusu jest charakteryzowany przed podjęciem jakiejkolwiek próby korekty. Typowe rodzaje szumu obejmują nieformalne skróty (np. „lol”, „brb”), błędy pisowni fonetycznej lub oparte na literówkach, kontrakcje, emoji, hashtagi, adresy URL i artefakty OCR. Identyfikacja obecnych rodzajów szumu określa, które reguły lub modele normalizacji zostaną aktywowane w dalszym etapie.
Tekst jest dzielony na poszczególne tokeny — słowa, znaki interpunkcyjne, emoji lub inne jednostki — za pomocą tokenizera dostosowanego do kanału źródłowego. Na przykład tokenizer tweetów zachowuje hashtagi i wzmianki jako pojedyncze jednostki, zamiast dzielić je na znaku „@” lub „#”. Poprawna tokenizacja jest niezbędna, ponieważ późniejsza normalizacja działa token po tokenie.
Każdy niestandardowy token jest mapowany na swoją formę kanoniczną. Podejścia oparte na regułach wykorzystują ręcznie tworzone tabele przeglądowe lub wzorce wyrażeń regularnych; podejścia statystyczne i neuronowe (w tym modele sekwencja-do-sekwencji, takie jak T5 lub BART) uczą się mapowania z danych treningowych. Wybór zależy od rodzaju szumu, dostępnych zasobów i tego, czy istnieją oznakowane pary normalizacyjne dla docelowej domeny.
Znormalizowane dane wyjściowe są porównywane z leksykonem języka docelowego lub oceniane w zadaniu pochodnym w celu zmierzenia wpływu normalizacji. Jeśli pewne typy tokenów są systematycznie błędnie korygowane, reguły lub wagi modelu są dostosowywane. Ta pętla sprzężenia zwrotnego chroni przed nadmierną normalizacją — przekształcaniem zamierzonego slangu lub nazw własnych w nieprawidłowe formy standardowe.
Częste pułapki
- Pomijanie identyfikacji rodzaju szumu i stosowanie generycznego normalizatora: każdy rodzaj szumu wymaga innego traktowania, więc pojedynczy zestaw reguł rzadko poprawnie obsługuje wszystkie przypadki.
- Normalizacja nazw własnych, takich jak nazwy marek, hashtagi lub nazwy użytkowników: zazwyczaj powinny być one zachowane lub obsługiwane oddzielnie, a nie wymuszane na standardowe formy słownikowe.
- Traktowanie normalizacji jako niezależnej od języka: mapowanie z formy niestandardowej na standardową jest specyficzne dla języka, a normalizator zbudowany dla jednego języka zepsuje tekst w innym.
- Ocena wyłącznie na podstawie dokładności na poziomie tokenów bez sprawdzania wydajności zadania pochodnego: normalizator może wyglądać dobrze w izolacji, podczas gdy w rzeczywistości szkodzi metryce, która ma znaczenie.
Najczęściej zadawane pytania
Czy normalizacja tekstu jest tym samym co sprawdzanie pisowni?
Sprawdzanie pisowni jest podzbiorem. Normalizacja obejmuje szerszy zakres niestandardowych form — skrótów, slangu, emoji, kontrakcji i artefaktów OCR — których konwencjonalny sprawdzacz pisowni nie jest w stanie obsłużyć. Sprawdzacz pisowni oznacza „recieve” jako błąd; normalizator przekształca również „u” na „you” i „gr8” na „great”.
Czy powinienem normalizować przed czy po tokenizacji?
Te dwa kroki oddziałują na siebie: odpowiedni dla danego kanału tokenizator powinien zostać uruchomiony najpierw, aby tokeny wieloznakowe, takie jak emoji, hashtagi lub adresy URL, były zachowane jako jednostki przed normalizacją, która je mapuje. Niektóre potoki przeplatają kroki, ale ogólną konwencją jest najpierw tokenizacja za pomocą tokenizera dostosowanego do kanału źródłowego, a następnie normalizacja token po tokenie.
Jak wybrać między normalizacją opartą na regułach a neuronową?
Metody oparte na regułach są szybkie, przejrzyste i skuteczne, gdy szum jest przewidywalny i można skonstruować tabelę przeglądową. Neuronowe modele sekwencja-do-sekwencji lepiej generalizują na nieznane formy, ale wymagają oznakowanych par treningowych i większej mocy obliczeniowej. W przypadku większości zadań przetwarzania wstępnego mediów społecznościowych z ograniczonym budżetem na adnotacje, podejście hybrydowe — reguły dla częstych wzorców, model neuronowy dla długiego ogona — działa najlepiej.
Czy normalizacja tekstu szkodzi rozpoznawaniu nazw własnych?
Może tak, jeśli nazwy własne są błędnie przepisane. Normalizator, który przekształca hashtag „#AppleEvent” na „apple event”, traci informacje o wielkości liter i granicach, na których polega model NER. Najlepszą praktyką jest wykrycie i wyłączenie nazw własnych (lub najpierw uruchomienie NER i ochrona tych zakresów) przed zastosowaniem ogólnych reguł normalizacji.
Pokrewne metody
Źródła
Baldwin, T. & Li, Y. (2015). An In-depth Analysis of the Effect of Text Normalization in Twitter. NAACL-HLT 2015.
Otwórz odnośnik do publikacjiSkopiowano.Sproat, R. & Jaitly, N. (2017). RNN Approaches to Text Normalization: A Challenge. arXiv:1611.00068.
Otwórz odnośnik do publikacjiSkopiowano.