مدل زبانی اِنگرام
- نوع
- Statistical language model
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
مدل زبانی اِنگرام یک مدل آماری است که با بررسی تنها n-1 کلمه قبلی، احتمال کلمه بعدی را پیشبینی میکند. این مدل که توسط جورافسکی و مارتین (پردازش گفتار و زبان) به تفصیل شرح داده شده است، زیرساخت اساسی برای تولید متن، تصحیح املایی و بازشناسی گفتار را فراهم میکند.
شهود پشت روش
زبان ماهیتی ترتیبی دارد: کلماتی که به تازگی دیدهاید، به شدت آنچه را که در ادامه میآید محدود میکنند. یک مدل اِنگرام به جای استدلال بر روی کل یک جمله به طور همزمان، یک فرض سادهکننده را مطرح میکند — اینکه تنها چند کلمه آخر برای پیشبینی کلمه بعدی اهمیت دارند. این مدل تعداد دفعات ظاهر شدن توالی کلمات را در یک پیکره آموزشی میشمارد و این شمارشها را به احتمالات تبدیل میکند، به طوری که عبارتی مانند «thank you very» باعث میشود «much» یک ادامه محتمل باشد.
تاریخ
رویکرد اِنگرام یک سنگ بنای دیرینه در پردازش آماری زبان طبیعی است که در کتاب پردازش گفتار و زبان جورافسکی و مارتین به عنوان یک مفهوم بنیادی مطرح شده است. یک نگرانی عملی کلیدی همیشه هموارسازی بوده است: مطالعه تجربی چن و گودمن (1999) تکنیکهای هموارسازی را مقایسه کرد و روشهایی مانند کنسر-نی را به عنوان گزینههای قوی برای مدیریت توالیهای دیده نشده معرفی نمود. مدلهای اِنگرام برای مدت طولانی قبل از تسلط مدلهای زبانی عصبی، به عنوان استاندارد عمل میکردند.
چه زمانی استفاده شود
از مدل اِنگرام زمانی استفاده کنید که یک پیکره متنی نسبتاً بزرگ (منبع حداقل حدود 100 سند را پیشنهاد میکند) و یک وظیفه که به صورت پیشبینی یا توضیح توالی کلمات تعریف شده است — تکمیل خودکار، تصحیح املایی، یا به عنوان یک مدل زبانی پایه — دارید. این مدل به متن آموزشی کافی برای تخمین شمارشهای قابل اعتماد نیاز دارد و هموارسازی باید برای مدیریت پراکندگی توالیهای دیده نشده اعمال شود.
محدودیتها و ملاحظات
- فقط زمینه کوتاهبرد (n-1 کلمه قبلی) را در بر میگیرد و نمیتواند وابستگیهای دوربرد را مدلسازی کند.
- از پراکندگی داده رنج میبرد: بیشتر توالیهای کلمات دیده نشدهاند، بنابراین هموارسازی اجباری است.
- اندازه مدل و حافظه با افزایش n به سرعت رشد میکنند، در حالی که اِنگرامهای مرتبه بالاتر به طور فزایندهای پراکنده میشوند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- ساده، سریع و قابل تفسیر — احتمالات مستقیماً از شمارشهای مشاهده شده به دست میآیند.
- یک پایه قوی و شفاف برای تولید متن، تصحیح املایی و بازشناسی گفتار.
- هزینه محاسباتی پایین در مقایسه با مدلهای زبانی عصبی، بدون نیاز به سختافزار تخصصی.
کاربردها
- تولید متن و تکمیل خودکار از یک توزیع توالی کلمات آموخته شده.
- تصحیح املایی و گرامری با امتیازدهی به احتمال توالیهای کاندید.
- بازشناسی گفتار، که در آن یک مدل زبانی فرضیههای رونویسی رقیب را رتبهبندی میکند.
- پایههای سبکوزن برای هر وظیفهای که از تخمین احتمالات توالی بهره میبرد.
چگونه کار میکند
چگونه کار میکند
پیکره آموزشی به توکنها تقسیم میشود و جملات با پدگذاری (padding) تکمیل میشوند تا آغاز و پایان توالیها به صراحت مدلسازی شوند. هر پنجره همپوشان از n توکن متوالی به یک اِنگرام تبدیل میشود که واحدی است که مدل آن را میشمارد و امتیاز میدهد.
مدل تعداد دفعات وقوع هر اِنگرام و پیشوند n-1 کلمهای آن را در پیکره میشمارد. تقسیم شمارش اِنگرام بر شمارش پیشوند آن، احتمال شرطی کلمه نهایی را با توجه به n-1 کلمه قبلی میدهد — که برآورد اصلی مدل است.
از آنجا که بیشتر توالیهای کلماتی ممکن هرگز در هیچ پیکره محدودی ظاهر نمیشوند، شمارشهای خام به اِنگرامهای دیده نشده احتمال صفر اختصاص میدهند (مشکل پراکندگی). روشهای هموارسازی مانند لاپلاس افزودن یک (Laplace add-one) یا کنسر-نی (Kneser-Ney) جرم احتمال را بازتوزیع میکنند تا توالیهای دیده نشده اما محتمل، احتمال غیرصفر کوچکی دریافت کنند. این مرحله ضروری است — بدون آن مدل در متن واقعی از کار میافتد.
با توجه به یک زمینه از n-1 کلمه، مدل یک توزیع احتمال بر روی کلمه بعدی را بازمیگرداند که از آن میتوان محتملترین ادامه را انتخاب کرد یا متن را تولید نمود. همین سازوکار احتمال یک جمله مشاهده شده را امتیاز میدهد، که اساس تصحیح املایی و بازشناسی گفتار است.
دامهای رایج
- نادیده گرفتن هموارسازی، اِنگرامهای دیده نشده را با احتمال صفر باقی میگذارد، که مدل را در متن واقعی و دیده نشده از کار میاندازد.
- آموزش بر روی پیکرهای بسیار کوچک (کمتر از تقریباً 100 سند) منجر به شمارشهای غیرقابل اعتماد میشود.
- انتخاب n بسیار بزرگ باعث پراکندگی شمارشها و شکنندگی مدل میشود؛ انتخاب n بسیار کوچک زمینه مفید را از دست میدهد.
- عدم پدگذاری مرزهای جمله، شروع و پایان توالیها را به درستی مدیریت نمیکند.
پرسشهای متداول
«n» در اِنگرام به چه معناست؟
این عدد، تعداد کلمات متوالی است که با هم در نظر گرفته میشوند. یک بایگرام (n=2) کلمه بعدی را بر اساس یک کلمه قبلی شرطی میکند، یک ترایگرام (n=3) بر اساس دو کلمه قبلی. n بزرگتر زمینه بیشتری را در بر میگیرد اما به دادههای آموزشی بسیار بیشتری نیاز دارد و پراکنده میشود.
چرا هموارسازی ضروری است؟
یک پیکره محدود هرگز نمیتواند شامل هر توالی کلمه محتمل باشد، بنابراین بسیاری از اِنگرامهای معتبر شمارش صفر دارند و احتمال صفر دریافت میکنند. روشهای هموارسازی مانند لاپلاس افزودن یک یا کنسر-نی یک احتمال کوچک را به توالیهای دیده نشده اختصاص میدهند تا مدل در متن جدید از کار نیفتد.
به چه مقدار داده آموزشی نیاز دارم؟
منبع حداقل حدود 100 سند را به عنوان حداقل پیشنهاد میکند. متن بیشتر شمارشهای قابل اعتمادتر را فراهم میکند؛ اِنگرامهای مرتبه بالاتر به ویژه برای جلوگیری از پراکندگی به دادههای به مراتب بیشتری نیاز دارند.
مدل اِنگرام چه تفاوتی با مدل زبانی عصبی دارد؟
مدل اِنگرام احتمالات کلمه بعدی را مستقیماً از شمارشها بر روی یک پنجره ثابت از کلمات قبلی تخمین میزند، که آن را ساده، سریع و قابل تفسیر میکند. مدلهای عصبی نمایشهای توزیعشده را یاد میگیرند و زمینه طولانیتری را با هزینه محاسباتی بالاتر در بر میگیرند. اِنگرامها یک پایه شفاف و مفید باقی میمانند.
روشهای مرتبط
منابع
Jurafsky, D. & Martin, J.H. (2023). Speech and Language Processing, 3rd ed.
باز کردن مرجع انتشارکپی شد.Chen, S.F. & Goodman, J. (1999). An Empirical Study of Smoothing Techniques for Language Modeling. Computer Speech & Language, 13(4), 359-394.
باز کردن مرجع DOIکپی شد.