Lingwistyka korealna
- Autor metody
- John Sinclair
- Rok
- 1980
- Typ
- Empirical process pipeline
- Rodzina
- Empirical Linguistics
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Lingwistyka korealna to badanie języka oparte na dużych, reprezentatywnych zbiorach tekstów (korpusach) przetwarzanych komputerowo.
Zapoczątkowana przez Johna Sinclaira i innych, metoda ta wykorzystuje analizę statystyczną, konkordancję i narzędzia obliczeniowe do badania wzorców rzeczywistego użycia języka. Lingwistyka korealna zrewolucjonizowała nasze rozumienie języka angielskiego i innych języków, ujawniając wzorce częstości, preferencje kolokacyjne i zmienność rejestrów, które były wcześniej ukryte. Służy lingwistyce teoretycznej, stosowanej nauczaniu języków i przetwarzaniu języka naturalnego.
Intuicja stojąca za metodą
Korpus językowy jest jak duża biblioteka rzeczywistej mowy i pisma, starannie dobrana i zorganizowana. Zamiast polegać na wymyślonych zdaniach lub odosobnionych obserwacjach, lingwiści korealni proszą komputer o znalezienie wszystkich wystąpień słowa lub frazy, zliczenie częstości, zmierzenie, które słowa mają tendencję do pojawiania się razem, i porównanie wzorców w różnych typach tekstów (gazety kontra powieści, mowa formalna kontra potoczna). Wzorce, które wyłaniają się z milionów słów, często obalają założenia teoretyczne lub potwierdzają przewidywania z ilościową rygorem.
Historia
John Sinclair był pionierem lingwistyki korealnej w latach 60-80 XX wieku, tworząc Survey of English Usage, a później projekt COBUILD. Cyfrowe przechowywanie danych i moc obliczeniowa umożliwiły wykładniczy wzrost w latach 90-2000. Główne korpusy, takie jak British National Corpus, Corpus of Contemporary American English i zbiór danych Google Books Ngram, zrewolucjonizowały dziedzinę. Obecnie metody korealne są standardem w lingwistyce, stosowanych naukach o języku i NLP.
Kiedy stosować
Wykorzystanie lingwistyki korealnej do badania rzeczywistych wzorców użycia języka, do testowania hipotez teoretycznych za pomocą danych empirycznych, do zrozumienia zmienności między rejestrami i dialektami lub do opracowania zasobów językowych dla zastosowań NLP. Korpusy są niezbędne do badania zjawisk o wysokiej częstości, zmienności dialektalnej, zmian językowych i semantyki leksykalnej. Uzupełniają one metody eksperymentalne i introspektywne.
Ograniczenia i uwagi
- Korpusy są próbkami skończonymi; zjawiska o niskiej częstości mogą nie być odpowiednio reprezentowane, a brak w korpusie nie dowodzi, że forma jest niemożliwa.
- Anotacje (tagowanie części mowy, parsowanie) wprowadzają błędy, które propagują się dalej. Anotacja ręczna jest kosztowna; anotacja automatyczna jest niedoskonała.
- Wyniki odzwierciedlają skład korpusu (np. korpusy pisane mogą nie reprezentować języka mówionego w równym stopniu); błędy w doborze wpływają na wyniki.
- Wzorce częstości nie ujawniają bezpośrednio kompetencji; wysoka częstość może odzwierciedlać czynniki wykonania, takie jak konwencje dyskursywne, a nie strukturę gramatyczną.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Dostarcza dowodów empirycznych na wzorce językowe oparte na rzeczywistym użyciu, zmniejszając zależność od introspekcji i wymyślonych zdań.
- Umożliwia ilościową analizę częstości, kolokacji i zmienności w dużych, zróżnicowanych zbiorach danych.
- Ułatwia porównania międzyjęzykowe i międzyrejestrowe poprzez wykorzystanie standaryzowanych, porównywalnych korpusów.
- Wspiera odkrywanie wzorców (np. preferencji semantycznych, markerów rejestru), które byłyby trudne do przewidzenia bez danych.
Zastosowania
- Badanie wzorców częstości i użycia angielskich czasowników frazowych (np. 'put up with', 'run into') w celu opracowania materiałów dydaktycznych stopniowanych według częstości.
- Analiza wzorców kolokacji w celu ulepszenia tłumaczenia maszynowego poprzez zapewnienie, że wyniki uwzględniają naturalne preferencje współwystępowania słów.
- Badanie zmian językowych w czasie poprzez porównanie częstości słów i kolokacji w korpusach diachronicznych (np. Google Books Ngram Viewer).
- Dokumentowanie języków zagrożonych poprzez tworzenie małych, specjalistycznych korpusów i ich analizę w celu tworzenia słowników i gramatyk.
- Badanie zmienności rejestrów w języku angielskim (akademickim, prasowym, konwersacyjnym) w celu zrozumienia, jak słownictwo i składnia różnią się w zależności od kontekstów społecznych.
Jak to działa
Jak to działa
Skompilowanie dużego, reprezentatywnego zbioru tekstów (zazwyczaj milionów słów) w formie cyfrowej, zapewniając różnorodność gatunków, rejestrów i mówiących/piszących.
Tokenizacja (podział na słowa), anotacja tagami części mowy i opcjonalnie dodanie anotacji składniowych lub semantycznych (parsowanie, rozpoznawanie jednostek nazwanych).
Użycie oprogramowania do konkordancji w celu wyodrębnienia wszystkich wystąpień docelowych słów lub fraz, zliczenia częstości, obliczenia kolokacji i wygenerowania list częstości oraz rozkładów.
Zastosowanie metod statystycznych (analiza częstości, testy chi-kwadrat, metryki kolokacji) do identyfikacji wzorców, pomiaru siły powiązań i modelowania zmienności językowej.
Wyciągnięcie wniosków na temat struktury języka, wzorców użycia, zmienności dialektalnej i rejestrowej oraz walidacja przewidywań teoretycznych na podstawie dowodów empirycznych.
Częste pułapki
- Zakładanie, że częstość w korpusie bezpośrednio odzwierciedla akceptowalność gramatyczną. Brakujące wzorce mogą być oznaczone pragmatycznie, a nie jako niegramatyczne; niska częstość może odzwierciedlać kontekst dyskursywny, a nie niemożliwość językową.
- Ignorowanie błędów anotacji i traktowanie automatycznie oznakowanych danych jako złotego standardu. Ręczna walidacja anotacji, zwłaszcza w przypadku krytycznych analiz.
- Nadmierne uogólnianie z jednego korpusu na język w ogóle. Skład korpusu ma znaczenie; wyniki z British National Corpus mogą nie uogólniać się na mówiony angielski w innych regionach.
- Mylenie korelacji z przyczynowością we wzorcach kolokacji. Dwa słowa mogą często współwystępować z powodu tematu (np. 'śnieg' i 'zima'), a nie zależności semantycznej lub gramatycznej.
Najczęściej zadawane pytania
Jak duży musi być korpus?
Zależy to od pytania badawczego. W przypadku zjawisk o wysokiej częstości (częste słowa, podstawowe typy zdań) wystarczy dziesiątki tysięcy słów. W przypadku rzadkich zjawisk lub szczegółowej zmienności potrzebne mogą być miliony słów. Dobra zasada: powinno się mieć co najmniej 30-50 wystąpień docelowego zjawiska do podstawowej analizy statystycznej. Jednak nawet małe, specjalistyczne korpusy (tysiące słów) są cenne do dokumentowania języków zagrożonych.
Czym jest konkordancja?
Konkordancja to lista wszystkich wystąpień docelowego słowa lub frazy, zazwyczaj pokazana w kontekście (zazwyczaj jeden lub dwa wersy po każdej stronie). Cel jest wyśrodkowany dla łatwego skanowania. Konkordancje ujawniają kolokacje (słowa, które regularnie pojawiają się w pobliżu celu), zmienność rejestru i wzorce składniowe. Nowoczesne oprogramowanie korpusowe generuje konkordancje z licznikiem częstości i opcjami sortowania.
Jak zmierzyć siłę kolokacji?
Kilka metryk kwantyfikuje siłę kolokacji (związek). Informacja Wzajemna (MI) mierzy odchylenie od losowego współwystępowania; Stosunek Logarytmiczno-Prawdopodobieństwa (LLR) jest testem statystycznym; T-score i Delta-P mierzą związek inaczej. Żadna pojedyncza metryka nie jest uniwersalnie najlepsza; różne metryki pasują do różnych pytań badawczych. Należy sprawdzić surowe częstości obok metryk, aby uniknąć artefaktów, gdzie kolokacje o niskiej częstości wykazują wysoki związek przez przypadek.
Czy dowody z korpusu mogą udowodnić, że zdanie jest niegramatyczne?
Nie. Brak w korpusie pokazuje, że jest ono rzadkie lub nieobecne w tym konkretnym zbiorze, a nie że jest niemożliwe w języku. Zdania mogą być rzadkie z powodu ograniczeń pragmatycznych lub dyskursywnych, a nie gramatyczności. Połącz dowody z korpusu z ocenami akceptowalności, danymi eksperymentalnymi i rozumowaniem teoretycznym, aby wyciągnąć wnioski na temat gramatyczności.
Pokrewne metody
Źródła
Sinclair, J. M. (1991). Corpus, Concordance, Collocation. Oxford: Oxford University Press.
Otwórz odnośnik do publikacjiSkopiowano.McEnery, T., & Hardie, A. (2012). Corpus Linguistics: Method, Theory and Practice. Cambridge: Cambridge University Press.
Otwórz odnośnik DOISkopiowano.Biber, D., Conrad, S., & Reppen, R. (2006). Corpus Linguistics: Investigating Language Structure and Use. Cambridge: Cambridge University Press.
Otwórz odnośnik do publikacjiSkopiowano.