برچسبگذاری اجزای کلام (Part-of-Speech Tagging / POS Tagging)
- نوع
- NLP sequence-labelling task
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
برچسبگذاری اجزای کلام، یک دستهٔ دستوری مانند اسم، فعل، صفت و غیره را به هر کلمه در یک متن اختصاص میدهد. این یک وظیفهٔ بنیادین در پردازش زبان طبیعی است که توسط Ratnaparkhi (1996) به صورت یک مدل آماری فرمولبندی شده و در مجموعههای ابزار پرکاربرد مانند Stanford CoreNLP (Manning et al., 2014) بستهبندی شده است و به عنوان یک مرحلهٔ مقدماتی برای تحلیل نحوی و استخراج اطلاعات عمل میکند.
شهود پشت روش
هنگامی که جملهای را میخوانید، به طور غریزی میدانید کدام کلمات اسم و کدام فعل هستند، و این دانش نحوهٔ درک شما از جمله را شکل میدهد. ماشین چنین غریزهای ندارد، بنابراین برچسبگذاری اجزای کلام به آن یکی میبخشد: برای هر توکن در متن، این روش محتملترین دستهٔ دستوری را با استفاده از کلمات اطراف به عنوان زمینه انتخاب میکند. هنگامی که هر کلمه یک برچسب حمل میکند، وظایف پاییندستی میتوانند به جای رفتار با متن به عنوان یک کیسهٔ کلمات تفکیکنشده، دربارهٔ ساختار جمله استدلال کنند.
تاریخ
برچسبگذاری اجزای کلام توسط Ratnaparkhi (1996) بر پایهٔ آماری محکمی قرار گرفت، که مدل حداکثر آنتروپی او نشان داد چگونه میتوان از زمینه برای اختصاص احتمالی برچسبها استفاده کرد. این وظیفه بعداً در خطوط لولهٔ عمومی مانند مجموعه ابزار Stanford CoreNLP (Manning et al., 2014) ادغام شد و برچسبگذاری اجزای کلام را به یک مرحلهٔ اول روتین در گردش کارهای مدرن پردازش متن تبدیل کرد.
چه زمانی استفاده شود
هنگامی که دادههای متنی و یک مدل اجزای کلام آموزشدیده برای زبان آن متن دارید و متن قبلاً توکنسازی شده است، از برچسبگذاری اجزای کلام استفاده کنید. این روش برای کارهای اکتشافی و توصیفی که در آن نیاز دارید نقش دستوری هر کلمه را قبل از تجزیه یا استخراج اطلاعات بدانید، مناسب است. یک پیکرهٔ کوچک کافی است (حدود ده واحد یا بیشتر)؛ الزام اصلی در دسترس بودن یک مدل مطابق با زبان است، نه اندازهٔ پیکره.
محدودیتها و ملاحظات
- نیازمند یک مدل اجزای کلام آموزشدیده برای زبان هدف است؛ بدون آن، روش نمیتواند به طور قابل اعتماد اجرا شود.
- به توکنسازی قبلی وابسته است — مرزهای ضعیف توکن به برچسبهای ضعیف سرایت میکنند.
- خطاهای برچسبگذاری به پاییندست سرایت میکنند و کیفیت هرگونه تجزیه یا استخراج ساختهشده بر روی برچسبها را محدود میکنند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- مرحلهٔ بنیادین و کمدشواری که تجزیهٔ نحوی، قطعهبندی و استخراج اطلاعات را ممکن میسازد.
- بر روی پیکرههای کوچک کار میکند — الزام، یک مدل آموزشدیده برای زبان است، نه یک مجموعه دادهٔ بزرگ.
- از زمینهٔ اطراف برای رفع ابهام کلماتی که میتوانند به بیش از یک دسته تعلق داشته باشند استفاده میکند.
کاربردها
- آمادهسازی متن برای تجزیهٔ نحوی با برچسبگذاری نقش دستوری هر کلمه.
- تغذیهٔ قطعهبندی و تجزیهٔ سطحی، که توکنهای برچسبگذاریشده را به عبارات گروهبندی میکنند.
- پشتیبانی از استخراج اطلاعات، که در آن دستهٔ دستوری به شناسایی موجودیتها و روابط کمک میکند.
- تحلیل اکتشافی و توصیفی از نحوهٔ استفاده از زبان در سراسر یک پیکره.
چگونه کار میکند
چگونه کار میکند
متن ابتدا به توکنها — کلمات منفرد و علائم نگارشی که هر کدام برچسبی دریافت میکنند — تقسیم میشود. توکنسازی باید قبل از اجرای برچسبگذاری انجام شود، زیرا برچسبگذار توکن به توکن را برچسبگذاری میکند و مرزهای واحدی که در اینجا میبیند تعیین میکند چه چیزی برچسبگذاری میشود.
یک مدل آموزشدیدهٔ اجزای کلام برای زبان هدف، محتملترین دستهٔ دستوری را به هر توکن اختصاص میدهد — اسم، فعل، صفت و غیره — با خواندن توکنهای اطراف به عنوان زمینه برای رفع ابهام. این مرحله نیازمند یک مدل آموزشدیده برای زبان متن است؛ بدون آن، برچسبها قابل تولید قابل اعتماد نیستند.
دنبالهٔ برچسب حاصل به وظایف پاییندستی تحویل داده میشود. برچسبهای اجزای کلام ورودی هستند که مراحل تجزیهٔ نحوی، قطعهبندی و استخراج اطلاعات بر اساس آنها ساخته میشوند، بنابراین کیفیت برچسبگذاری مستقیماً میزان موفقیت آن مراحل بعدی را محدود میکند.
دامهای رایج
- اعمال یک مدل آموزشدیده برای یک زبان بر روی متن زبانی دیگر، برچسبهای غیرقابل اعتماد تولید میکند.
- نادیده گرفتن یا مدیریت نادرست توکنسازی در بالادست، به طور خاموش کیفیت تمام برچسبها را کاهش میدهد.
- رفتار با برچسبها به عنوان حقیقت مطلق بدون بررسی خطاها، اشتباهات ابهام را به تجزیه و استخراج پاییندستی سرایت میدهد.
پرسشهای متداول
برچسبگذاری اجزای کلام در عمل چه چیزی تولید میکند؟
این یک برچسب دستهٔ دستوری — مانند اسم، فعل یا صفت — را به هر توکن در متن پیوست میکند، بنابراین خروجی یک برچسب برای هر کلمه است.
آیا برای اجرای آن به یک پیکرهٔ بزرگ نیاز دارم؟
خیر. یک پیکرهٔ کوچک تقریباً ده واحد یا بیشتر کافی است. الزام واقعی یک مدل اجزای کلام آموزشدیده برای زبان متن شما و متنی است که قبلاً توکنسازی شده است.
چرا توکنسازی باید اول انجام شود؟
برچسبگذار توکن به توکن را برچسبگذاری میکند، بنابراین توکنهایی که میبیند تعیین میکنند چه چیزی برچسب دریافت میکند. اگر توکنسازی اشتباه باشد، مرزها اشتباه هستند و برچسبها نیز اشتباه خواهند بود.
اگر مدل با زبان من مطابقت نداشته باشد چه اتفاقی میافتد؟
اعمال یک مدل آموزشدیده برای یک زبان بر روی زبان دیگر، برچسبهای غیرقابل اعتماد تولید میکند. برچسبگذاری اجزای کلام فرض میکند که یک مدل آموزشدیده برای زبان هدف در دسترس است.
روشهای مرتبط
منابع
Ratnaparkhi, A. (1996). A Maximum Entropy Model for Part-Of-Speech Tagging. EMNLP.
باز کردن مرجع انتشارکپی شد.Manning, C.D. et al. (2014). The Stanford CoreNLP Natural Language Processing Toolkit. ACL.
باز کردن مرجع DOIکپی شد.