تنوع واژگانی — سنجش غنای واژگان
- نوع
- Text quantification / lexical richness measurement
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
تحلیل تنوع واژگانی، میزان گوناگونی واژگان یک متن را میسنجد — یعنی غنای انتخاب واژگان توسط نویسنده — با استفاده از معیارهایی مانند نسبت نوع به کل واژگان (TTR)، MTLD، vocd-D و K یول. معیارهای MTLD و vocd-D توسط مککارتی و جارویس (2010) اعتبارسنجی شدند و بر اساس کار پیشین تویدی و بایین (1998) در مورد پایداری معیارهای غنای واژگانی بنا شدهاند.
شهود پشت روش
اگر تعداد واژگان متمایز یک متن را در برابر کل واژگان آن بشمارید، درکی از غنای واژگان آن به دست میآورید: متنی که در آن چند واژه تکرار میشود، کمتر از متنی که از واژگان متنوعی استفاده میکند، متنوع است. نکته اینجاست که این نسبت ساده با طولانیتر شدن متن کاهش مییابد، بنابراین روش از معیارهای مقاوم در برابر طول استفاده میکند و طول متنها را قبل از مقایسه یک متن با متن دیگر برابر میسازد.
تاریخ
کمیسازی غنای واژگان، تاریخچهای طولانی در سبکسنجی و زبانشناسی پیکره دارد. تویدی و بایین (1998) بررسی کردند که معیارهای مختلف غنای واژگانی تا چه حد به عنوان تابعی از طول متن پایدار هستند و محدودیتهای نسبتهای حساس به طول را آشکار ساختند. سپس مککارتی و جارویس (2010) رویکردهای پیچیدهتری — MTLD، vocd-D و HD-D — را اعتبارسنجی کردند و معیارهای مقاوم در برابر طول را به عنوان استاندارد ارزیابی تنوع تعیین نمودند.
چه زمانی استفاده شود
هنگامی که متن توکنسازی شده دارید و میخواهید غنای واژگان آن را توصیف یا مقایسه کنید — در میان نویسندگان، اسناد یا گروهها — از تنوع واژگانی استفاده کنید. این روش برای اهداف توصیفی و مقایسهای مناسب است و تنها به مقدار کمی متن (حداقل حدود ده توکن) نیاز دارد، اما برای مقایسه منصفانه، متون مورد مقایسه باید در شرایط طول برابر قرار گیرند و از نظر زبان و ژانر مطابقت داده شوند.
محدودیتها و ملاحظات
- طول متن بر محاسبه TTR تأثیر میگذارد؛ TTR خام هنگام مقایسه متون با اندازههای مختلف غیرقابل اعتماد است.
- تحلیل مقایسهای نیازمند برابر کردن طول متنها (قطعههای استاندارد یا کمیابی) برای اعتبار است.
- زبان و ژانر، امتیازات تنوع را تغییر میدهند، بنابراین مقایسههای کنترل نشده میتوانند گمراهکننده باشند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- غنای واژگان یک متن را با استفاده از معیارهای معتبر (TTR، MTLD، vocd-D، K یول) به یک عدد قابل مقایسه تبدیل میکند.
- MTLD و vocd-D به گونهای طراحی شدهاند که نسبت به نسبت خام نوع به کل واژگان، در برابر طول متن مقاومتر باشند.
- کاربرد مقدماتی و مفید برای هر دو نوع پروفایلسازی توصیفی و مقایسه در میان نویسندگان یا گروهها.
کاربردها
- پروفایلسازی غنای واژگان یک نویسنده در مطالعات سبکسنجی و نویسندگی.
- مقایسه تنوع واژگانی در میان نویسندگان، اسناد یا ژانرها در علوم انسانی.
- ارزیابی توسعه واژگان در تحقیقات زبانآموزی و آموزشی.
- مشخصهسازی تمرکز استفاده از واژگان در پیکرههای متنی علوم اجتماعی و تجاری.
چگونه کار میکند
چگونه کار میکند
متن به توکنها (واژگان) تقسیم میشود. شمارش انواع واژگان متمایز در برابر کل تعداد توکنها، اساس هر معیار تنوعی است که بر آن بنا میشود، بنابراین توکنسازی سازگار در میان متونی که قصد مقایسه آنها را دارید، اولین پیشنیاز است.
یک یا چند معیار تنوع واژگانی محاسبه میشوند. نسبت نوع به کل واژگان (TTR) تعداد انواع واژگان متمایز را بر کل توکنها تقسیم میکند؛ MTLD و vocd-D تنوع را به گونهای تخمین میزنند که حساسیت کمتری به طول متن داشته باشند؛ و K یول، تمرکز واژگان تکراری را مشخص میکند. این معیارها در مجموع، غنای واژگان را از زوایای مختلف توصیف میکنند.
از آنجایی که TTR با رشد طول متن کاهش مییابد، امتیازات خام در متون با اندازههای مختلف قابل مقایسه مستقیم نیستند. MTLD و vocd-D به دلیل طراحی، مستقلتر از طول متن هستند، اما برای هر مقایسهای، متنها باید در شرایط برابر قرار گیرند — برای مثال با برابر کردن طولها با قطعههای استاندارد یا با استفاده از روش کمیابی (rarefaction) — تا تفاوتها منعکسکننده واژگان باشند، نه طول سند.
امتیازات نرمالشده در میان متون، نویسندگان یا گروهها مقایسه میشوند. از آنجایی که زبان و ژانر نیز تنوع را تغییر میدهند، آن عوامل ثابت نگه داشته میشوند یا کنترل میشوند تا مقایسه، سیگنال غنای واژگانی را جدا از عوامل مخدوشکننده، ایزوله کند.
دامهای رایج
- مقایسه TTR خام در میان متون با طولهای مختلف — متون طولانیتر به ناچار TTR پایینتری نشان میدهند، بنابراین مقایسه، طول را منعکس میکند، نه واژگان؛ از MTLD یا vocd-D استفاده کنید یا ابتدا طولها را برابر کنید.
- عدم برابر کردن طول متنها در یک مقایسه (بدون قطعه استاندارد یا کمیابی) باعث میشود تفاوت تنوع غیرقابل تفسیر باشد.
- نادیده گرفتن تفاوتهای زبان و ژانر هنگام مقایسه متون، سیگنال غنای واژگانی را با عوامل سبکی مخدوش میکند.
پرسشهای متداول
چرا فقط از نسبت نوع به کل واژگان (TTR) استفاده نکنیم؟
TTR شهودی است اما با رشد متن کاهش مییابد، زیرا هر متنی در نهایت واژگان رایج را تکرار میکند. این امر باعث میشود TTR خام برای مقایسه متون با طولهای مختلف غیرقابل اعتماد باشد. MTLD و vocd-D به گونهای طراحی شدهاند که بسیار کمتر به طول متن حساس باشند، به همین دلیل برای مقایسه ترجیح داده میشوند.
به چه مقدار متن نیاز دارم؟
این روش بر روی مقدار کمی متن اجرا میشود — حداقل حدود ده توکن — اما متن بیشتر، تخمینهای پایدارتری ارائه میدهد. برای مقایسه، مهمترین چیز این است که متنها در شرایط طول برابر قرار گیرند، نه اینکه هر متن به تنهایی بسیار طولانی باشد.
آیا میتوانم تنوع دو متن مختلف را مستقیماً مقایسه کنم؟
فقط پس از قرار دادن آنها در شرایط برابر. طول آنها را با قطعههای استاندارد یا کمیابی برابر کنید و زبان و ژانر را کنترل کنید، زیرا هر سه عامل، امتیازات تنوع را مستقل از غنای واژگان تغییر میدهند.
کدام معیار را باید گزارش کنم؟
MTLD و vocd-D گزینههای معتبر و مقاوم در برابر طول هستند و معمولاً ترجیح داده میشوند. K یول توصیف میکند که واژگان تکراری چقدر متمرکز هستند، و TTR به عنوان یک رقم توصیفی ساده زمانی مفید باقی میماند که متنها از نظر طول مطابقت داده شده باشند. گزارش بیش از یک معیار، تصویر کاملتری ارائه میدهد.
روشهای مرتبط
منابع
McCarthy, P. M. & Jarvis, S. (2010). MTLD, vocd-D, and HD-D: A validation study of sophisticated approaches to lexical diversity assessment. Behavior Research Methods, 42(2), 381-392.
باز کردن مرجع DOIکپی شد.Tweedie, F. J. & Baayen, R. H. (1998). How Variable May a Constant Be? Measures of Lexical Richness in Perspective. Computers and the Humanities, 32(5), 323-352.
باز کردن مرجع DOIکپی شد.