Chunking — Shallow Parsing
- Autor metody
- Steven Abney
- Rok
- 1991
- Typ
- NLP partial-parsing task
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Chunking, zwane również shallow parsing, jest zadaniem przetwarzania języka naturalnego wprowadzonym przez Stevena Abneya w 1991 roku, które dzieli tekst na fragmenty gramatyczne — takie jak frazy rzeczownikowe i frazy czasownikowe — przy użyciu znaczników części mowy (part-of-speech tags).
Pozwala szybko wydobyć użyteczną strukturę składniową bez budowania pełnego drzewa składniowego zdania.
Intuicja stojąca za metodą
Pełne parsowanie składniowe opisuje, jak każde słowo odnosi się do każdego innego słowa, co jest kosztowne i często stanowi nadmiar dla aplikacji. Chunking stanowi skrót: zaczynając od słów już oznaczonych ich częściami mowy, grupuje sąsiednie znaczniki w płaskie, niepokrywające się frazy. Uczymy się, że „mały pies” jest frazą rzeczownikową, a „szczeka” jest frazą czasownikową, bez rozstrzygania pełnego drzewa gramatycznego, co zapewnia szybki wgląd strukturalny przy niskim koszcie.
Historia
Chunking został wprowadzony przez Stevena Abneya (1991) w pracy „Parsing by Chunks”, która przedstawiła parsowanie częściowe oparte na chunkach jako wydajną alternatywę dla pełnej analizy składniowej. Zadanie zostało później ustandaryzowane i spopularyzowane przez wspólne zadanie CoNLL-2000 dotyczące chunkingu (Tjong Kim Sang & Buchholz, 2000), które ustanowiło wspólny zbiór danych i ewaluację problemu.
Kiedy stosować
Używaj chunkingu, gdy masz tekst oznaczony częściami mowy i potrzebujesz struktury na poziomie fraz szybko, bez kosztów pełnego parsowania składniowego. Nadaje się do eksploracyjnej i opisowej analizy tekstu i wymaga tylko skromnej ilości danych (około dziesięciu jednostek). Muszą być spełnione dwa warunki: parsowanie POS musi być już zakończone, a dla docelowego języka musi istnieć gramatyka chunkingu lub model.
Ograniczenia i uwagi
- Wymaga wcześniejszego zakończenia parsowania części mowy; błędy w znacznikach przenoszą się na chunki.
- Wymaga gramatyki chunkingu lub modelu dopasowanego do docelowego języka.
- Produkuje tylko płaskie, niepokrywające się frazy — nie odzyskuje pełnej zagnieżdżonej struktury składniowej.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Wydobywa użyteczną strukturę składniową szybko, bez kosztów budowania pełnego drzewa składniowego.
- Działa na znacznikach POS z prostymi, przejrzystymi regułami wzorców, które są łatwe do inspekcji i dostosowania.
- Dostarcza bloki konstrukcyjne na poziomie fraz (frazy rzeczownikowe i czasownikowe) dla zadań niższego poziomu, takich jak ekstrakcja informacji.
Zastosowania
- Ekstrakcja informacji — izolowanie fraz rzeczownikowych i czasownikowych jako kandydatów na encje i relacje.
- Preprocesowanie dla rozpoznawania nazw własnych poprzez ujawnianie granic fraz rzeczownikowych.
- Szybka analiza strukturalna dużych korpusów tekstowych, gdzie pełne parsowanie jest zbyt kosztowne.
- Eksploracyjne i opisowe badanie wzorców fraz gramatycznych w korpusie.
Jak to działa
Jak to działa
Metoda rozpoczyna się od tekstu, który został już oznaczony częściami mowy — każdy token niesie etykietę, taką jak określnik, przymiotnik, rzeczownik lub czasownik. Ukończone parsowanie POS jest warunkiem wstępnym, ponieważ chunker działa na tych znacznikach, a nie na surowych słowach.
Dla docelowego języka definiuje się gramatykę chunkingu, zazwyczaj jako wzorce na znacznikach POS (na przykład fraza rzeczownikowa jako opcjonalny określnik, dowolne przymiotniki, a następnie rzeczownik). Aby to się powiodło, musi być dostępny zestaw reguł lub wytrenowany model dla danego języka.
Gramatyka jest stosowana do oznaczonej sekwencji, grupując sąsiednie znaczniki pasujące do wzorca w płaskie, niepokrywające się chunki. W przeciwieństwie do pełnego parsowania, chunki nie są zagnieżdżone w pełnym drzewie — parsowanie pozostaje płytkie.
Zidentyfikowane chunki fraz — frazy rzeczownikowe, frazy czasownikowe i tym podobne — są odczytywane jako wynik. Te płytkie struktury zasilają zadania niższego poziomu, takie jak ekstrakcja informacji lub rozpoznawanie nazw własnych.
Częste pułapki
- Uruchamianie chunkingu na nieoznaczonym lub źle oznaczonym tekście — parsowanie POS musi być wykonane najpierw, a błędy parsowania przenoszą się prosto do chunków.
- Ponowne użycie gramatyki chunkingu zbudowanej dla jednego języka na innym; reguły wzorców muszą pasować do docelowego języka.
- Oczekiwanie zagnieżdżonej lub pełnej struktury składniowej od płytkiego parsera — chunki są z założenia płaskie, więc używaj pełnego parsowania, gdy wymagana jest głęboka struktura.
Najczęściej zadawane pytania
Czym chunking różni się od pełnego parsowania?
Pełne parsowanie buduje kompletne drzewo składniowe pokazujące, jak każde słowo odnosi się do każdego innego słowa. Chunking to płytkie parsowanie: grupuje sąsiednie słowa w płaskie, niepokrywające się frazy, takie jak frazy rzeczownikowe i czasownikowe, bez zagnieżdżania ich w pełne drzewo. To sprawia, że jest znacznie szybszy i często wystarczający dla zadań wymagających jedynie struktury na poziomie fraz.
Czy potrzebuję parsowania części mowy przed chunkingiem?
Tak. Chunking działa na znacznikach POS, a nie na surowych słowach, więc parsowanie musi być zakończone najpierw. Ponieważ chunker opiera się na tych znacznikach, wszelkie błędy w parsowaniu przenoszą się bezpośrednio do chunków.
Czy chunking działa dla każdego języka?
Działa tylko tam, gdzie istnieje gramatyka chunkingu lub wytrenowany model dla docelowego języka. Reguły wzorców są specyficzne dla języka, więc gramatyka napisana dla jednego języka nie powinna być stosowana do innego.
Co produkuje chunking?
Produkuje płaskie, niepokrywające się chunki fraz — zazwyczaj frazy rzeczownikowe i czasownikowe — odczytywane z oznaczonej sekwencji. Te płytkie struktury są powszechnie wykorzystywane jako dane wejściowe do ekstrakcji informacji i rozpoznawania nazw własnych.
Pokrewne metody
Źródła
Abney, S. (1991). Parsing by Chunks. In Principle-Based Parsing. Kluwer Academic Publishers.
ISBN: 978-0-7923-1173-4Skopiowano.Tjong Kim Sang, E.F. & Buchholz, S. (2000). Introduction to the CoNLL-2000 Shared Task: Chunking. Proceedings of CoNLL-2000.
Otwórz odnośnik do publikacjiSkopiowano.