Przejdź do treści
Wróć do wyników wyszukiwania

Model językowy n-gramowy

Typ
Statistical language model

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Model językowy n-gramowy to model statystyczny, który przewiduje prawdopodobieństwo następnego słowa, analizując jedynie poprzednie n−1 słów.

Opisany szczegółowo przez Jurafsky'ego i Martina (Speech and Language Processing), stanowi podstawową infrastrukturę dla generowania tekstu, korekty pisowni i rozpoznawania mowy.

Intuicja stojąca za metodą

Język jest sekwencyjny: słowa, które właśnie zobaczyliśmy, silnie ograniczają to, co nastąpi. Zamiast analizować całe zdanie naraz, model n-gramowy dokonuje upraszczającego założenia — że tylko ostatnia garść słów ma znaczenie dla przewidywania następnego. Zlicza, jak często sekwencje słów pojawiają się w korpusie treningowym, i przekształca te liczby w prawdopodobieństwa, dzięki czemu fraza taka jak 'dziękuję bardzo' sprawia, że 'dużo' jest prawdopodobną kontynuacją.

Historia

Podejście n-gramowe jest od dawna kamieniem węgielnym statystycznego przetwarzania języka naturalnego, traktowanym jako fundamentalne w pracy Jurafsky'ego i Martina 'Speech and Language Processing'. Kluczową praktyczną kwestią zawsze było wygładzanie: empiryczne badanie Chena i Goodmana (1999) porównało techniki wygładzania i ustanowiło metody takie jak Kneser-Ney jako silne wybory do obsługi niewidzianych sekwencji. Modele n-gramowe długo służyły jako standard, zanim stały się dominujące modele neuronowe.

Kiedy stosować

Użyj modelu n-gramowego, gdy masz stosunkowo duży korpus tekstowy (źródło sugeruje co najmniej około 100 dokumentów) i zadanie ujęte jako przewidywanie lub wyjaśnianie sekwencji słów — autouzupełnianie, korekta pisowni lub jako model językowy bazowy. Potrzebuje wystarczającej ilości tekstu treningowego do oszacowania wiarygodnych liczb, a wygładzanie musi być zastosowane do obsługi rzadkości niewidzianych sekwencji.

Ograniczenia i uwagi

  • Obejmuje tylko kontekst krótkiego zasięgu (poprzednie n−1 słów) i nie potrafi modelować zależności długodystansowych.
  • Cierpi na rzadkość danych: większość sekwencji słów jest niewidziana, więc wygładzanie jest obowiązkowe.
  • Rozmiar modelu i zużycie pamięci szybko rosną wraz ze wzrostem n, podczas gdy n-gramy wyższego rzędu stają się coraz rzadsze.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Prosty, szybki i interpretowalny — prawdopodobieństwa pochodzą bezpośrednio z obserwowanych liczb.
  • Silny, przejrzysty punkt odniesienia dla generowania tekstu, korekty pisowni i rozpoznawania mowy.
  • Niski koszt obliczeniowy w porównaniu z neuronowymi modelami językowymi, bez potrzeby specjalistycznego sprzętu.

Zastosowania

  • Generowanie tekstu i autouzupełnianie na podstawie nauczonego rozkładu sekwencji słów.
  • Korekta pisowni i gramatyki poprzez ocenę prawdopodobieństwa kandydackich sekwencji.
  • Rozpoznawanie mowy, gdzie model językowy szereguje konkurencyjne hipotezy transkrypcji.
  • Lekkie modele bazowe dla każdego zadania, które korzysta z szacowania prawdopodobieństw sekwencji.

Jak to działa

Jak to działa

1

Korpus treningowy jest segmentowany na tokeny, a zdania są uzupełniane (padding), aby początki i końce sekwencji były modelowane jawnie. Każde nakładające się okno n kolejnych tokenów staje się jednym n-gramem, który jest jednostką, którą model będzie zliczał i oceniał.

2

Model zlicza, jak często każdy n-gram i jego (n−1)-słowy prefiks występują w korpusie. Podzielenie liczby wystąpień n-gramu przez liczbę wystąpień jego prefiksu daje warunkowe prawdopodobieństwo ostatniego słowa przy danych poprzedzających n−1 słowach — podstawowe oszacowanie modelu.

3

Ponieważ większość możliwych sekwencji słów nigdy nie pojawia się w żadnym skończonym korpusie, surowe liczby przypisują zerowe prawdopodobieństwo niewidzianym n-gramom (problem rzadkości danych). Metody wygładzania, takie jak Laplace add-one czy Kneser-Ney, redystrybuują masę prawdopodobieństwa, tak aby niewidziane, ale prawdopodobne sekwencje otrzymały małe, niezerowe prawdopodobieństwo. Ten krok jest niezbędny — bez niego model załamuje się na rzeczywistym tekście.

4

Mając dany kontekst n−1 słów, model zwraca rozkład prawdopodobieństwa dla następnego słowa, z którego można wybrać najbardziej prawdopodobną kontynuację lub wygenerować tekst. Ta sama mechanika ocenia, jak prawdopodobne jest zaobserwowane zdanie, co napędza korektę pisowni i rozpoznawanie mowy.

Częste pułapki

  • Pominięcie wygładzania pozostawia niewidziane n-gramy z zerowym prawdopodobieństwem, co powoduje załamanie się modelu na rzeczywistym, niewidzianym tekście.
  • Trenowanie na zbyt małym korpusie (poniżej około 100 dokumentów) daje niewiarygodne liczby.
  • Wybór zbyt dużego n sprawia, że liczby stają się rzadkie, a model kruchy; wybór zbyt małego n powoduje utratę użytecznego kontekstu.
  • Niewłaściwe uzupełnianie granic zdań powoduje błędne traktowanie początku i końca sekwencji.

Najczęściej zadawane pytania

Co oznacza 'n' w n-gramie?

Jest to liczba kolejnych słów rozpatrywanych razem. Bigram (n=2) uzależnia następne słowo od pojedynczego poprzedniego słowa, trigram (n=3) od dwóch poprzednich. Większe n obejmuje więcej kontekstu, ale wymaga znacznie więcej danych treningowych i staje się rzadkie.

Dlaczego wygładzanie jest konieczne?

Skończony korpus nigdy nie może zawierać każdej prawdopodobnej sekwencji słów, więc wiele prawidłowych n-gramów ma liczbę wystąpień zero i otrzymałoby zerowe prawdopodobieństwo. Metody wygładzania, takie jak Laplace add-one czy Kneser-Ney, przypisują niewielkie prawdopodobieństwo niewidzianym sekwencjom, aby model nie załamał się na nowym tekście.

Ile danych treningowych potrzebuję?

Źródło sugeruje co najmniej około 100 dokumentów jako minimum. Więcej tekstu daje bardziej wiarygodne liczby; n-gramy wyższego rzędu w szczególności potrzebują znacznie więcej danych, aby uniknąć rzadkości.

Czym model n-gramowy różni się od neuronowego modelu językowego?

Model n-gramowy szacuje prawdopodobieństwa następnego słowa bezpośrednio z liczb dla ustalonego okna poprzednich słów, co czyni go prostym, szybkim i interpretowalnym. Modele neuronowe uczą się rozproszonych reprezentacji i obejmują dłuższy kontekst, przy wyższych kosztach obliczeniowych. N-gramy pozostają użytecznym, przejrzystym punktem odniesienia.

Pokrewne metody

Źródła

  1. Jurafsky, D. & Martin, J.H. (2023). Speech and Language Processing, 3rd ed.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Chen, S.F. & Goodman, J. (1999). An Empirical Study of Smoothing Techniques for Language Modeling. Computer Speech & Language, 13(4), 359-394.

    Otwórz odnośnik DOI
    Skopiowano.