تحلیل صرفی — ریشهیابی و لماتایزیشن
- معرفیشده توسط
- M.F. Porter (Porter stemmer)
- سال
- 1980
- نوع
- Text-normalisation preprocessing task
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
تحلیل صرفی کلمات را به ریشهها و وابستههایشان تقسیم میکند تا اشکال سطحی مختلف یک کلمه به عنوان یکسان در نظر گرفته شوند. این روش شامل دو رویکرد مکمل است — ریشهیابی مبتنی بر قاعده، مانند الگوریتمهای Porter (1980) و Snowball، و لماتایزیشن آگاه از واژهنامه — و یک مرحله حیاتی نرمالسازی متن برای زبانهای پیوندی مانند ترکی و عربی است.
شهود پشت روش
خواننده میداند که running، runs و ran همگی به فعل run اشاره دارند، اما برای ماشین اینها سه رشته نامرتبط هستند. تحلیل صرفی پایانههای دستوری را از کلمه حذف میکند تا شکل زیربنایی آن بازیابی شود، بنابراین راههای متعددی که یک کلمه میتواند ظاهر شود به یک توکن واحد فرو میریزد. ریشهیابی با حذف پسوندها بر اساس قاعده انجام میشود؛ لماتایزیشن کلمه را جستجو میکند تا شکل واقعی واژهنامهای آن را برگرداند. در هر صورت، هدف این است که یک مفهوم به عنوان چندین کلمه مختلف شمارش نشود.
تاریخ
ریشهیابی مبتنی بر قاعده توسط الگوریتم حذف پسوند Porter (1980) محبوب شد، که همچنان یک نقطه مرجع است و بعداً به خانواده ریشهیابهای Snowball تکامل یافت. تحلیل صرفی احتمالی و مبتنی بر مدل به دنبال آن آمد، با برچسبگذار جزء کلام Schmid (1994) مبتنی بر درخت تصمیم که نشاندهنده حرکت به سمت رویکردهای آماری است که لماتایزیشن مدرن را آگاه میسازد.
چه زمانی استفاده شود
هنگامی که متن توکنبندی شده و قواعد صرفی یا مدلی برای زبان آن دارید، از تحلیل صرفی به عنوان یک مرحله نرمالسازی استفاده کنید. این روش به ویژه برای زبانهای پیوندی مانند ترکی و عربی، که در آنها یک ریشه واحد اشکال سطحی متعددی تولید میکند، ارزشمند است. این روش نیاز دارد که متن ابتدا توکنبندی شود و یک منبع صرفی برای زبان هدف وجود داشته باشد؛ بدون آنها نمیتواند به طور قابل اعتماد اجرا شود.
محدودیتها و ملاحظات
- مستلزم وجود قواعد صرفی یا مدلی برای زبان هدف است.
- متن باید قبل از شروع تحلیل توکنبندی شود.
- ریشهیابی مبتنی بر قاعده میتواند بیش از حد ریشهیابی کند (ترکیب کلمات نامرتبط) یا کمتر از حد ریشهیابی کند (از دست دادن اشکال معتبر).
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- اشکال صرفی یک کلمه را به یک فرم واحد فرو میریزد و واژگان را برای تحلیلهای بعدی کاهش میدهد.
- طیفی از ریشهیابی سریع مبتنی بر قاعده (Porter, Snowball) تا لماتایزیشن دقیق واژهنامهای را ارائه میدهد.
- برای زبانهای پیوندی مانند ترکی و عربی، که در آنها اشکال متعدد یک ریشه مشترک دارند، بسیار قدرتمند است.
کاربردها
- نرمالسازی متن قبل از نمایهسازی، جستجو یا بازیابی اطلاعات.
- کاهش اندازه واژگان قبل از طبقهبندی متن یا مدلسازی موضوع.
- پیشپردازش پیکرههای زبانهای پیوندی (ترکی، عربی) که در آنها اشکال سطحی تکثیر میشوند.
- پاکسازی و استانداردسازی ویژگیهای متن برای خطوط لوله استخراج متن بعدی.
چگونه کار میکند
چگونه کار میکند
ابتدا متن به توکنهای کلمه مجزا تقسیم میشود. تحلیل صرفی بر روی کلمات عمل میکند، بنابراین قبل از استخراج هر ریشه یا لمات، پیکره باید توکنبندی شده باشد؛ این یک پیششرط بیان شده برای این روش است.
هر توکن در برابر صرف زبان هدف بررسی میشود تا ریشه از وابستههای آن (پیشوندها، پسوندها، صرفها) جدا شود. این مرحله مستلزم وجود قواعد صرفی یا مدلی برای زبان مورد نظر است، که بیشترین اهمیت را در زبانهای با صرف غنی و پیوندی دارد.
کلمه به یک شکل متعارف کاهش مییابد. یک رویکرد ریشهیابی (Porter, Snowball) پسوندها را بر اساس قاعده حذف میکند تا ریشهای تولید کند که لزوماً یک کلمه واقعی نیست، در حالی که یک رویکرد لماتایزیشن لمای واقعی واژهنامه را برمیگرداند، که به صورت اختیاری با جزء کلام کلمه هدایت میشود.
فرمهای کاهشیافته دوباره در پیکره نوشته میشوند تا اشکال سطحی متغیر به یک توکن نگاشت شوند. این نرمالسازی واژگان را کاهش میدهد و به مراحل بعدی استخراج متن اجازه میدهد تا اشکال صرفی یک کلمه را به عنوان یک ویژگی یکسان در نظر بگیرند.
دامهای رایج
- ریشهیابی میتواند ریشههایی تولید کند که کلمات واقعی نیستند؛ هنگامی که لمای واقعی مورد نیاز است، ریشه را به عنوان یک فرم واژهنامهای در نظر نگیرید.
- اعمال ریشهیاب انگلیسی بر روی متنی به زبان دیگر نتایج بیمعنی میدهد — منبع صرفی باید با زبان پیکره مطابقت داشته باشد.
- نادیده گرفتن توکنبندی، توکنهای بدشکل را به تحلیلگر تغذیه میکند و خروجی را خراب میکند.
- بیش از حد ریشهیابی کردن کلمات متمایز را در یک ریشه ادغام میکند و کمتر از حد ریشهیابی کردن اشکال متغیر را جدا نگه میدارد؛ برای تناسب با میزان دقت مورد نیاز وظیفه بعدی خود، بین ریشهیابی و لماتایزیشن انتخاب کنید.
پرسشهای متداول
تفاوت بین ریشهیابی و لماتایزیشن چیست؟
ریشهیابی پسوندها را بر اساس قاعده حذف میکند (مانند الگوریتمهای Porter یا Snowball) تا ریشهای تولید کند که لزوماً یک کلمه واقعی نیست و سریع است. لماتایزیشن کلمه را جستجو میکند — اغلب با استفاده از جزء کلام آن — تا لمای واقعی واژهنامه را برگرداند، که دقیقتر اما سنگینتر است.
چرا این برای زبانهایی مانند ترکی و عربی بیشترین اهمیت را دارد؟
اینها زبانهای پیوندی هستند که در آنها یک ریشه واحد میتواند تعداد زیادی پسوند بگیرد و تعداد زیادی شکل سطحی تولید کند. تحلیل صرفی آن اشکال را به ریشه برمیگرداند، که برای نرمالسازی متن در چنین زبانهایی ضروری است.
آیا باید ابتدا متن را توکنبندی کنم؟
بله. تحلیل صرفی بر روی کلمات منفرد عمل میکند، بنابراین پیکره باید از قبل توکنبندی شده باشد. توکنبندی یک پیششرط بیان شده برای این روش است.
اگر منبع صرفی با زبان مطابقت نداشته باشد چه اتفاقی میافتد؟
خروجی بیمعنی میشود. قواعد یا مدل باید برای زبان هدف ساخته شوند؛ اعمال، به عنوان مثال، یک ریشهیاب انگلیسی بر روی متن غیر انگلیسی، ریشههای نادرستی تولید میکند.
روشهای مرتبط
منابع
Porter, M.F. (1980). An Algorithm for Suffix Stripping. Program, 14(3), 130-137.
باز کردن مرجع DOIکپی شد.Schmid, H. (1994). Probabilistic Part-of-Speech Tagging Using Decision Trees. Proceedings of the International Conference on New Methods in Language Processing (NEMLAP).
باز کردن مرجع انتشارکپی شد.