Przejdź do treści
Wróć do wyników wyszukiwania

Analiza częstości występowania tekstu — Liczba słów i n-gramów

Autor metody
George K. Zipf (frequency-distribution foundation)
Rok
1949
Typ
Descriptive text-mining analysis

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Analiza częstości występowania tekstu jest opisową metodą eksploracji danych tekstowych (text mining), która zlicza, jak często słowa, n-gramy i frazy pojawiają się w korpusie, aby ujawnić wzorce treści i dominujące tematy.

Opiera się na spostrzeżeniu dotyczącym rozkładu częstości, sformalizowanym przez George’a K. Zipfa (1949), że niewiele terminów pojawia się bardzo często, podczas gdy większość jest rzadka. Jest to jeden z najbardziej podstawowych i szeroko stosowanych punktów wyjścia do ilościowej analizy tekstu.

Intuicja stojąca za metodą

Kiedy czytasz zbiór tekstów, słowa, które pojawiają się raz po raz, mówią ci, o czym on jest. Analiza częstości występowania tekstu czyni tę intuicję jawną i powtarzalną: zamiast przeglądać tekst pobieżnie, zliczasz każdy token, każdą sekwencję dwu- lub trzywyrazową oraz każdą powtarzającą się frazę, a następnie szeregujesz je według częstości występowania. Wynikiem jest tabela częstości, która na pierwszy rzut oka, bez subiektywnej interpretacji, ujawnia dominujące słownictwo i tematy korpusu.

Historia

Analiza częstości występowania tekstu opiera się na obserwacji Zipfa (1949) z pracy Human Behavior and the Principle of Least Effort, że częstości występowania słów podlegają charakterystycznemu rozkładowi, w którym niewiele słów pojawia się bardzo często, a większość jest rzadka. Manning i Schütze (1999) w Foundations of Statistical Natural Language Processing ustanowili zliczanie częstości jako podstawowe narzędzie statystycznego przetwarzania języka naturalnego (NLP), na którym opierają się bogatsze metody, takie jak TF-IDF i modelowanie tematów.

Kiedy stosować

Używaj analizy częstości występowania tekstu, gdy masz dane tekstowe i chcesz uzyskać opisowy lub eksploracyjny pierwszy wgląd w dominujące słownictwo, n-gramy lub frazy. Nadaje się do korpusów przekrojowych i podłużnych i wymaga jedynie umiarkowanej ilości tekstu (około 10 dokumentów lub więcej). Należy najpierw przeprowadzić odpowiednie przetwarzanie wstępne — tokenizację, usuwanie słów-stop i lematyzację — i należy pamiętać, że wielkość korpusu i zróżnicowanie językowe wpływają na wiarygodność częstości.

Ograniczenia i uwagi

  • Wielkość korpusu i zróżnicowanie językowe wpływają na wiarygodność częstości.
  • Surowe liczby odzwierciedlają powierzchowne słownictwo, ale nie kontekst, znaczenie ani sentyment.
  • Wyniki silnie zależą od wyborów dotyczących przetwarzania wstępnego, takich jak listy słów-stop i lematyzacja.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Prosta, przejrzysta i łatwa do zinterpretowania — jest to najbardziej podstawowy punkt wyjścia do ilościowej analizy tekstu.
  • Ujawnia wzorce treści i dominujące tematy bezpośrednio z surowych danych, bez potrzeby etykietowania danych treningowych.
  • Działa zarówno na słowach, n-gramach, jak i frazach, dzięki czemu dostosowuje się do różnych jednostek znaczeniowych.

Zastosowania

  • Identyfikacja dominującego słownictwa i tematów kolekcji dokumentów.
  • Eksploracja wzorców n-gramów i fraz w odpowiedziach na ankiety lub transkrypcjach wywiadów.
  • Profilowanie treści w korpusach społecznych, zdrowotnych, edukacyjnych, inżynieryjnych i biznesowych.
  • Służenie jako opisowy pierwszy krok przed bardziej zaawansowanymi metodami eksploracji danych tekstowych.

Jak to działa

Jak to działa

1

Surowy tekst jest przygotowywany przed jakimkolwiek zliczaniem: jest tokenizowany na słowa, usuwane są słowa-stop (często występujące słowa funkcyjne, takie jak 'the' lub 'and'), a pozostałe tokeny są lematyzowane do wspólnej formy bazowej. Spójne przetwarzanie wstępne sprawia, że ostateczne liczby są porównywalne i znaczące, a nie zdominowane przez gramatyczne wypełniacze.

2

Każda jednostka zainteresowania jest zliczana w całym korpusie. Pojedyncze tokeny są zliczane dla częstości słów, sekwencje sąsiednich tokenów są zliczane dla częstości n-gramów (bigramów, trigramów), a powtarzające się wyrażenia wielowyrazowe są zliczane jako frazy. Wynikiem tego etapu jest surowa liczba dla każdego odrębnego terminu.

3

Zliczone terminy są uporządkowane od najczęstszych do najrzadszych, zazwyczaj prezentowane jako lista najczęściej występujących. Ten uszeregowany widok ujawnia charakterystyczny rozkład — niewielką grupę bardzo częstych terminów i długi ogon rzadkich, zgodnie z prawem Zipfa.

4

Uszeregowane częstości są odczytywane pod kątem wzorców treści i dominujących tematów. Wielkość korpusu i jego zróżnicowanie językowe wpływają na wiarygodność liczebności, dlatego interpretacja uwzględnia skalę korpusu i długi ogon rzadkich słów, zamiast nadmiernie interpretować pojedyncze liczby.

Częste pułapki

  • Pominięcie przetwarzania wstępnego powoduje, że często występujące słowa funkcyjne i odmiany tego samego słowa dominują w tabeli i przesłaniają rzeczywistą treść.
  • Odczytywanie częstości z korpusu, który jest zbyt mały lub zbyt wąski, daje niestabilne liczby, które nie generalizują.
  • Nadmierna interpretacja długiego ogona — rzadkie terminy (ogon Zipfa) niosą niewielki sygnał częstości i łatwo można je pomylić z szumem lub znaczeniem.
  • Porównywanie surowych liczebności między korpusami o różnych rozmiarach bez normalizacji prowadzi do mylących wniosków.

Najczęściej zadawane pytania

Co właściwie zlicza analiza częstości występowania tekstu?

Zlicza, jak często poszczególne słowa, sekwencje sąsiednich słów (n-gramy, takie jak bigramy i trigramy) oraz powtarzające się frazy pojawiają się w korpusie, a następnie je szereguje. Wynikiem jest tabela częstości, która ujawnia dominujące terminy i tematy.

Dlaczego najpierw muszę przetworzyć tekst?

Bez tokenizacji, usuwania słów-stop i lematyzacji, często występujące słowa funkcyjne i odmiany tego samego słowa dominują w liczebnościach i ukrywają rzeczywistą treść. Spójne przetwarzanie wstępne sprawia, że częstości są porównywalne i znaczące.

Czym jest prawo Zipfa i dlaczego ma tu znaczenie?

Prawo Zipfa opisuje typowy wzorzec, w którym niewielka liczba słów występuje bardzo często, podczas gdy większość słów jest rzadka, tworząc długi ogon. Wyjaśnia kształt uszeregowanej listy częstości i ostrzega przed nadmierną interpretacją ogona rzadkich słów.

Ile tekstu potrzebuję?

Niewielki korpus, składający się z około dziesięciu dokumentów lub więcej, jest wystarczający, ale wielkość korpusu i zróżnicowanie językowe wpływają na wiarygodność częstości — większe i bardziej reprezentatywne korpusy dają bardziej stabilne liczby.

Pokrewne metody

Źródła

  1. Zipf, G. K. (1949). Human Behavior and the Principle of Least Effort. Addison-Wesley.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Manning, C. D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.

    ISBN: 9780262133609
    Skopiowano.