Skip to content
بازگشت به نتایج جست‌وجو

بررسی املایی و گرامری — تصحیح خودکار متن

معرفی‌شده توسط
Daniel Naber (rule-based checker); Peter Norvig (statistical spelling correction)
سال
2003
نوع
Text-mining preprocessing / quality-assessment task

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

بررسی املایی و گرامری یک وظیفه در داده‌کاوی متنی است که اشتباهات املایی و خطاهای گرامری را در متن شناسایی کرده و اصلاحاتی را پیشنهاد می‌دهد. این روش که بر اساس بررسی‌کننده سبک و گرامر مبتنی بر قاعده نابر (Naber) (۲۰۰۳) و تصحیح‌کننده املای آماری نورویگ (Norvig) (۲۰۰۹) بنا شده است، برای ارزیابی کیفیت داده‌ها و نرمال‌سازی متن پیش از تحلیل‌های بیشتر به کار می‌رود.

شهود پشت روش

هنگامی که متنی را می‌خوانید، به طور غریزی متوجه کلمه اشتباه املایی یا جمله ناقص می‌شوید و می‌دانید چگونه آن را اصلاح کنید. یک بررسی‌کننده خودکار این قضاوت را در مقیاس بزرگ تقلید می‌کند: هر کلمه را با یک فرهنگ لغت یا مدل زبانی مقایسه می‌کند تا آنچه را که اشتباه به نظر می‌رسد علامت‌گذاری کند، سپس محتمل‌ترین جایگزین را ارائه می‌دهد. به جای تصحیح دستی یک پیکره، به خط لوله اجازه می‌دهید تا خطاهای احتمالی و اصلاحات پیشنهادی را برای تأیید شما نمایش دهد.

تاریخ

تصحیح خودکار دو ریشه مکمل دارد. نابر (۲۰۰۳) یک بررسی‌کننده سبک و گرامر مبتنی بر قاعده را رسمی کرد که الگوهای قابل تنظیم را با متن مطابقت می‌دهد، رویکردی که به ابزارهای گسترده بررسی گرامر تبدیل شد. نورویگ (۲۰۰۹) یک تصحیح‌کننده املای آماری فشرده را رایج کرد که کلمات کاندید را بر اساس احتمال و فاصله ویرایشی رتبه‌بندی می‌کند. این دو با هم دو استراتژی اصلی این حوزه را شکل می‌دهند — قواعد صریح و مدل‌های زبانی احتمالی.

چه زمانی استفاده شود

هنگامی که داده‌های متنی دارید و یک فرهنگ لغت یا مدل زبانی برای زبان آن وجود دارد، از بررسی املایی و گرامری استفاده کنید. این روش برای ارزیابی کیفیت داده‌ها و نرمال‌سازی متن پیش از تحلیل‌های بعدی بسیار مناسب است و روی پیکره‌های کوچک (حدود ده سند به بالا) کار می‌کند. فرض بر این است که منبعی برای زبان هدف در دسترس است؛ عملکرد به شدت بر اساس زبان متفاوت است و برای زبان‌های کم‌منبع محدود است.

محدودیت‌ها و ملاحظات

  • به یک فرهنگ لغت یا مدل زبانی برای زبان هدف نیاز دارد.
  • خطاهای وابسته به بافت را نمی‌توان با روش‌های مبتنی بر قاعده تشخیص داد و به یک مدل زبانی نیاز دارند.
  • عملکرد به شدت بر اساس زبان متفاوت است و برای زبان‌های کم‌منبع محدود است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • تکنیک ساده و مقدماتی که کیفیت متن را پیش از هرگونه تحلیل بعدی بهبود می‌بخشد.
  • خطاها را شناسایی می‌کند و اصلاحات مشخصی را پیشنهاد می‌دهد، نه اینکه فقط مشکلات را علامت‌گذاری کند.
  • هم برای ارزیابی کیفیت داده‌ها و هم برای نرمال‌سازی متن در یک مرحله مفید است.

کاربردها

  • ارزیابی کیفیت یک پیکره متنی پیش از تحلیل.
  • نرمال‌سازی فیلدهای متن آزاد به گونه‌ای که داده‌کاوی متنی بعدی ورودی تمیزتری دریافت کند.
  • تصحیح اسناد، پاسخ‌های نظرسنجی، یا محتوای تولید شده توسط کاربر در مقیاس بزرگ.
  • پاکسازی متن پر سر و صدا جمع‌آوری شده برای تحقیق در علوم انسانی، علوم اجتماعی و کسب و کار.

چگونه کار می‌کند

چگونه کار می‌کند

1

متن به واحدهای قابل تحلیل — کلمات، علائم نگارشی و جملات — تقسیم می‌شود. توکن‌سازی تمیز چیزی است که به بررسی‌کننده امکان می‌دهد هر کلمه را به صورت مجزا و هر جمله را در بافت آن بررسی کند.

2

هر توکن برای یافتن خطاها بررسی می‌شود. یک فرهنگ لغت یا مدل املایی کلماتی را که شناسایی نمی‌شوند علامت‌گذاری می‌کند، در حالی که الگوهای مبتنی بر قاعده خطاهای گرامری مانند مشکلات تطابق یا ترتیب کلمات را تشخیص می‌دهند. خطاهای وابسته به بافت برای روش‌های مبتنی بر قاعده دشوار هستند و ممکن است به یک مدل زبانی نیاز داشته باشند.

3

برای هر مورد علامت‌گذاری شده، بررسی‌کننده اصلاحاتی را پیشنهاد می‌دهد و جایگزین‌های کاندید را بر اساس میزان احتمال آن‌ها رتبه‌بندی می‌کند — برای مثال بر اساس فاصله ویرایشی تا کلمات شناخته شده یا آنچه یک مدل زبانی در آن موقعیت انتظار دارد.

4

خطاهای علامت‌گذاری شده و پیشنهادات آن‌ها برای تأیید ارائه می‌شوند و اصلاحات پذیرفته شده اعمال می‌شوند تا متنی نرمال‌شده و تمیزتر تولید شود. این مرحله با دخالت انسان از تصحیح بیش از حد عبارات معتبر اما غیرمعمول جلوگیری می‌کند.

دام‌های رایج

  • خطاهای وابسته به بافت (کلمه‌ای که به درستی نوشته شده اما اشتباه است) از بررسی‌کننده‌های مبتنی بر قاعده عبور می‌کنند؛ برای تشخیص آن‌ها به یک مدل زبانی نیاز است.
  • اعمال یک بررسی‌کننده ساخته شده برای یک زبان بر روی متنی به زبان دیگر، نتایج غیرقابل اعتمادی تولید می‌کند — فرهنگ لغت یا مدل را با زبان پیکره مطابقت دهید.
  • پذیرش کورکورانه هر پیشنهاد می‌تواند منجر به تصحیح بیش از حد نام‌های معتبر، اصطلاحات تخصصی، یا عبارات غیرمعمول اما عمدی شود.
  • انتظار نتایج قوی در یک زبان کم‌منبع، جایی که فرهنگ لغت‌ها و مدل‌ها کمیاب هستند.

پرسش‌های متداول

تفاوت بین بررسی املایی و بررسی گرامری چیست؟

بررسی املایی هر کلمه را با یک فرهنگ لغت یا مدل املایی مقایسه می‌کند و کلماتی را که شناسایی نمی‌کند علامت‌گذاری می‌کند. بررسی گرامری ساختار — تطابق، ترتیب کلمات و الگوهای مشابه — را معمولاً با استفاده از قواعد یا یک مدل زبانی بررسی می‌کند. این دو مکمل یکدیگر هستند و اغلب با هم اجرا می‌شوند.

آیا یک بررسی‌کننده مبتنی بر قاعده می‌تواند هر خطایی را تشخیص دهد؟

خیر. روش‌های مبتنی بر قاعده اشتباهات املایی و خطاهای گرامری مبتنی بر الگو را به خوبی مدیریت می‌کنند، اما خطاهای وابسته به بافت — کلمه‌ای که به درستی نوشته شده اما برای جمله اشتباه است — برای تشخیص نیاز به یک مدل زبانی دارند.

آیا برای هر زبانی کار می‌کند؟

فقط در صورتی که یک فرهنگ لغت یا مدل زبانی برای آن زبان وجود داشته باشد و منبع باید با زبان پیکره مطابقت داشته باشد. عملکرد به شدت در زبان‌ها متفاوت است و برای زبان‌های کم‌منبع محدود است.

آیا باید اصلاحات پیشنهادی را به صورت خودکار اعمال کنم؟

ابتدا آن‌ها را بررسی کنید. پذیرش خودکار می‌تواند منجر به تصحیح بیش از حد نام‌های معتبر، اصطلاحات فنی، یا عبارات عمدتاً غیرمعمول شود، بنابراین یک مرحله تأیید با دخالت انسان توصیه می‌شود.

روش‌های مرتبط

منابع

  1. Naber, D. (2003). A Rule-Based Style and Grammar Checker. Diploma Thesis.

    باز کردن مرجع انتشار
    کپی شد.
  2. Norvig, P. (2009). How to Write a Spelling Corrector.

    باز کردن مرجع انتشار
    کپی شد.