Analiza kolokacji — kojarzenie słów
- Autor metody
- Church & Hanks
- Rok
- 1990
- Typ
- Statistical text-mining technique
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Analiza kolokacji jest statystyczną techniką eksploracji tekstu, która identyfikuje pary słów lub wyrażenia często występujące razem, wykorzystując miary powiązania zamiast przypadkowego współwystępowania.
Wprowadzona w pracach leksykograficznych Churcha i Hanksa (1990), jest stosowana do ekstrakcji terminologii i analizy językowej, ujawniając wielowyrazowe jednostki niosące znaczenie w korpusie.
Intuicja stojąca za metodą
Niektóre słowa po prostu do siebie pasują — 'mocna herbata' brzmi naturalnie, podczas gdy 'potężna herbata' nie, nawet jeśli znaczenie jest podobne. Analiza kolokacji wykracza poza surową częstość i pyta, które pary słów występują razem znacznie częściej, niż przewidywałoby na to przypadek. Statystycznie oceniając współwystępowanie, wydobywa znaczące frazy i utrwalone wyrażenia ukryte w tekście, zamiast tylko wymieniać popularne słowa.
Historia
Analiza kolokacji jako technika statystyczna została ustanowiona przez Churcha i Hanksa (1990), którzy wprowadzili normy kojarzenia słów i wzajemną informację dla leksykografii, pokazując, jak statystyki współwystępowania mogą ujawniać znaczące pary słów. Podejście to zostało skonsolidowane w szerszym polu statystycznego przetwarzania języka naturalnego przez Manninga i Schütze (1999).
Kiedy stosować
Analiza kolokacji sprawdza się, gdy dysponujemy stosunkowo dużym korpusem tekstowym (około 50 lub więcej dokumentów) i chcemy znaleźć znaczące wielowyrazowe jednostki, a nie częstości pojedynczych słów. Nadaje się do prac eksploracyjnych i opisowych w zakresie ekstrakcji terminologii i analizy lingwistycznej. Zakłada wystarczającą ilość tekstu dla stabilnych statystyk współwystępowania i wcześniejsze usunięcie stop-words; przy bardzo małej ilości tekstu wyniki powiązań stają się niewiarygodne.
Ograniczenia i uwagi
- Wymaga wystarczająco dużego korpusu, aby statystyki współwystępowania były stabilne.
- Wyniki silnie zależą od przetwarzania wstępnego — pozostałe stop-words zniekształcają powiązania.
- Miary takie jak PMI mogą nadmiernie nagradzać rzadkie pary słów, które przypadkowo współwystępują kilka razy.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Ujawnia znaczące wielowyrazowe wyrażenia i utrwalone frazy, których brakuje w licznikach częstości pojedynczych słów.
- Statystyczne miary powiązania oddzielają prawdziwe powiązania słów od przypadkowego sąsiedztwa.
- Koncepcyjnie prosta i łatwa do zastosowania w ekstrakcji terminologii i analizie językowej.
Zastosowania
- Ekstrakcja terminologii — identyfikacja specyficznych dla dziedziny wielowyrazowych terminów w korpusie.
- Leksykografia i budowa słowników, ujawnianie charakterystycznych powiązań słów.
- Analiza lingwistyczna i dyskursywna sposobu łączenia się słów w tekście.
- Przygotowanie kandydackich fraz do dalszych zadań eksploracji tekstu i ekstrakcji informacji.
Jak to działa
Jak to działa
Korpus jest tokenizowany i czyszczony, ze stop-words (słów pomijanych) usuniętymi, aby często występujące słowa funkcyjne nie przyćmiły znaczących powiązań. Spójne przetwarzanie wstępne zapewnia porównywalność liczników współwystępowania i zrozumiałość uzyskanych kolokacji.
Tworzone są kandydackie pary słów (zazwyczaj bigramy), a ich liczniki współwystępowania są zbierane w całym korpusie, wraz z indywidualnymi częstościami każdego słowa. Te liczniki stanowią surowiec, na którym budowana jest każda miara powiązania.
Każda kandydacka para jest oceniana za pomocą statystycznej miary powiązania — takiej jak punktowa wzajemna informacja (PMI) — która porównuje, jak często słowa występują razem, z tym, jak często oczekiwano by ich niezależnego współwystępowania. Wysoki wynik oznacza prawdziwe powiązanie, a nie przypadkowe sąsiedztwo.
Kandydackie kolokacje są szeregowane według ich wyników powiązania, a najsilniejsze pary są wybierane (na przykład, top-N według PMI). Wynikiem jest uszeregowana lista znaczących par słów i wielowyrazowych wyrażeń do ekstrakcji terminologii lub analizy językowej.
Częste pułapki
- Pominięcie usuwania stop-words pozwala często występującym słowom funkcyjnym dominować i zagrzebywać prawdziwe kolokacje.
- Przeprowadzenie analizy na zbyt małej ilości tekstu daje niestabilne, niewiarygodne wyniki powiązań.
- PMI zawyża wyniki bardzo rzadkich par, dlatego przed szeregowaniem należy zastosować minimalny licznik współwystępowania.
- Traktowanie często występującej pary jako kolokacji bez testu powiązania myli powszechność ze znaczącym powiązaniem.
Najczęściej zadawane pytania
Czym dokładnie jest kolokacja?
Kolokacja to para lub sekwencja słów, która współwystępuje częściej, niż przewidywałby przypadek — nawykowe powiązanie słów, takie jak 'mocna herbata' lub 'podjąć decyzję'. Analiza kolokacji znajduje je, oceniając współwystępowanie statystycznie, zamiast odczytywać je z listy częstości.
Czym analiza kolokacji różni się od analizy częstości?
Analiza częstości liczy, jak często występują słowa lub n-gramy. Analiza kolokacji idzie dalej: pyta, czy dwa słowa występują razem częściej, niż oczekiwano by na to na podstawie przypadku, używając miary powiązania, dzięki czemu ujawnia znaczące pary, a nie tylko te powszechne.
Czym jest PMI i dlaczego jest używany?
Punktowa wzajemna informacja (PMI) porównuje, jak często dwa słowa występują razem, z tym, jak często oczekiwano by ich niezależnego współwystępowania. Wysokie PMI oznacza silne powiązanie. Ponieważ PMI może nadmiernie nagradzać rzadkie pary, przed szeregowaniem zazwyczaj stosuje się minimalny licznik współwystępowania.
Ile tekstu potrzebuję?
Technika ta wymaga stosunkowo dużego korpusu — rzędu 50 lub więcej dokumentów — aby liczniki współwystępowania były stabilne. Przy zbyt małej ilości tekstu wyniki powiązań fluktuują, a wyodrębnione kolokacje stają się niewiarygodne.
Pokrewne metody
Źródła
Church, K.W. & Hanks, P. (1990). Word Association Norms, Mutual Information, and Lexicography. Computational Linguistics, 16(1), 22-29.
Otwórz odnośnik do publikacjiSkopiowano.Manning, C.D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.
ISBN: 9780262133609Skopiowano.