Przejdź do treści
Wróć do wyników wyszukiwania

Różnorodność leksykalna — pomiar bogactwa słownictwa

Typ
Text quantification / lexical richness measurement

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Analiza różnorodności leksykalnej kwantyfikuje, jak zróżnicowane jest słownictwo tekstu — jak bogaty jest dobór słów autora — przy użyciu miar takich jak wskaźnik typu do tokenu (TTR), MTLD, vocd-D i K Yule'a.

Miary MTLD i vocd-D zostały zweryfikowane przez McCarthy'ego i Jarvisa (2010), opierając się na wcześniejszych pracach Tweediego i Baayena (1998) dotyczących stabilności miar bogactwa leksykalnego.

Intuicja stojąca za metodą

Jeśli policzymy, ile odrębnych słów tekst wykorzystuje w stosunku do całkowitej liczby słów, uzyskamy obraz jego bogactwa słownictwa: tekst, w którym powtarza się kilka tych samych słów, jest mniej zróżnicowany niż tekst, który sięga po wiele różnych słów. Problem polega na tym, że ten prosty stosunek maleje wraz ze wzrostem długości tekstu, dlatego metoda wykorzystuje miary odporne na długość i wyrównuje długości tekstów przed porównaniem jednego tekstu z drugim.

Historia

Kwantyfikacja bogactwa słownictwa ma długą historię w stylometrii i lingwistyce korpusowej. Tweedie i Baayen (1998) zbadali, jak stabilne są różne miary bogactwa leksykalnego w zależności od długości tekstu, ujawniając ograniczenia miar wrażliwych na długość. McCarthy i Jarvis (2010) następnie zweryfikowali bardziej wyrafinowane podejścia — MTLD, vocd-D i HD-D — ustanawiając miary odporne na długość jako standard oceny różnorodności.

Kiedy stosować

Używaj różnorodności leksykalnej, gdy masz przetokenizowany tekst i chcesz opisać lub porównać bogactwo jego słownictwa — między autorami, dokumentami lub grupami. Nadaje się do celów opisowych i porównawczych i wymaga jedynie umiarkowanej ilości tekstu (minimum około dziesięciu tokenów), ale dla uczciwego porównania porównywane teksty muszą być postawione na równej stopie długości i dopasowane pod względem języka i gatunku.

Ograniczenia i uwagi

  • Długość tekstu wpływa na obliczenie TTR; surowy TTR jest niewiarygodny przy porównywaniu tekstów o różnej wielkości.
  • Analiza porównawcza wymaga wyrównania długości tekstów (standardowe fragmenty lub rzadkość), aby była ważna.
  • Język i gatunek wpływają na wyniki różnorodności, dlatego niekontrolowane porównania mogą być mylące.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Przekształca bogactwo słownictwa tekstu w jedną porównywalną liczbę przy użyciu dobrze zweryfikowanych miar (TTR, MTLD, vocd-D, K Yule'a).
  • Miary MTLD i vocd-D są zaprojektowane tak, aby były bardziej odporne na długość tekstu niż surowy wskaźnik typu do tokenu.
  • Intuicyjne w zastosowaniu i użyteczne zarówno do profilowania opisowego, jak i porównania między autorami lub grupami.

Zastosowania

  • Profilowanie bogactwa słownictwa autora w badaniach stylometrycznych i badaniach autorstwa.
  • Porównywanie różnorodności leksykalnej między pisarzami, dokumentami lub gatunkami w naukach humanistycznych.
  • Ocena rozwoju słownictwa w badaniach nad nauką języków i edukacją.
  • Charakteryzacja koncentracji użycia słów w korpusach tekstów nauk społecznych i biznesowych.

Jak to działa

Jak to działa

1

Tekst jest dzielony na tokeny (słowa). Liczenie odrębnych typów słów w stosunku do całkowitej liczby tokenów stanowi podstawę, na której opiera się każda miara różnorodności, dlatego spójna tokenizacja we wszystkich porównywanych tekstach jest pierwszym wymogiem.

2

Oblicza się jedną lub więcej miar różnorodności leksykalnej. Wskaźnik typu do tokenu (TTR) dzieli liczbę odrębnych typów słów przez całkowitą liczbę tokenów; MTLD i vocd-D szacują różnorodność w sposób mniej wrażliwy na długość tekstu; a K Yule'a charakteryzuje koncentrację powtarzających się słów. Razem opisują one bogactwo słownictwa z różnych perspektyw.

3

Ponieważ TTR maleje wraz ze wzrostem długości tekstu, surowe wyniki nie są bezpośrednio porównywalne między tekstami o różnej wielkości. MTLD i vocd-D są z założenia bardziej niezależne od długości, ale dla jakiegokolwiek porównania teksty powinny być postawione na równej stopie — na przykład poprzez wyrównanie długości za pomocą fragmentów o standardowej wielkości lub rzadkości — tak aby różnice odzwierciedlały słownictwo, a nie długość dokumentu.

4

Znormalizowane wyniki są porównywane między tekstami, autorami lub grupami. Ponieważ język i gatunek również wpływają na różnorodność, te czynniki są utrzymywane jako stałe lub kontrolowane, tak aby porównanie izolowało sygnał bogactwa słownictwa, a nie czynniki zakłócające.

Częste pułapki

  • Porównywanie surowego TTR między tekstami o różnej długości — dłuższe teksty nieuchronnie wykazują niższy TTR, więc porównanie odzwierciedla długość, a nie słownictwo; użyj MTLD lub vocd-D lub najpierw wyrównaj długości.
  • Niewyrównanie długości tekstów w porównaniu (brak standardowego fragmentu lub rzadkości) sprawia, że różnica w różnorodności jest nieinterpretowalna.
  • Ignorowanie różnic językowych i gatunkowych podczas porównywania tekstów zaciemnia sygnał bogactwa słownictwa czynnikami stylistycznymi.

Najczęściej zadawane pytania

Dlaczego nie używać po prostu wskaźnika typu do tokenu (TTR)?

TTR jest intuicyjny, ale maleje wraz ze wzrostem tekstu, ponieważ każdy tekst ostatecznie ponownie wykorzystuje powszechne słowa. To sprawia, że surowy TTR jest niewiarygodny do porównywania tekstów o różnej długości. Miary MTLD i vocd-D są zaprojektowane tak, aby były znacznie mniej wrażliwe na długość tekstu, dlatego są preferowane do porównań.

Ile tekstu potrzebuję?

Metoda działa na umiarkowanej ilości tekstu — minimum około dziesięciu tokenów — ale więcej tekstu daje bardziej stabilne oszacowania. Do porównania najważniejsze jest to, aby teksty były postawione na równej stopie długości, a nie to, aby pojedynczy tekst był bardzo długi.

Czy mogę bezpośrednio porównać różnorodność dwóch różnych tekstów?

Tylko po postawieniu ich na równej stopie. Wyrównaj ich długości za pomocą standardowych fragmentów lub rzadkości i kontroluj język i gatunek, ponieważ wszystkie trzy czynniki wpływają na wyniki różnorodności niezależnie od bogactwa słownictwa.

Którą miarę powinienem zgłosić?

MTLD i vocd-D to zweryfikowane, odporne na długość opcje i są zazwyczaj preferowane. K Yule'a opisuje, jak skoncentrowane są powtarzające się słowa, a TTR pozostaje użyteczny jako prosta liczba opisowa, gdy teksty są dopasowane długościowo. Zgłoszenie więcej niż jednej miary daje pełniejszy obraz.

Pokrewne metody

Źródła

  1. McCarthy, P. M. & Jarvis, S. (2010). MTLD, vocd-D, and HD-D: A validation study of sophisticated approaches to lexical diversity assessment. Behavior Research Methods, 42(2), 381-392.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Tweedie, F. J. & Baayen, R. H. (1998). How Variable May a Constant Be? Measures of Lexical Richness in Perspective. Computers and the Humanities, 32(5), 323-352.

    Otwórz odnośnik DOI
    Skopiowano.