تشخیص هممرجعی
- معرفیشده توسط
- Hobbs (1978); Lee et al. (2017, neural end-to-end)
- سال
- 1978
- نوع
- NLP information-extraction task
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
تشخیص هممرجعی یک وظیفه پردازش زبان طبیعی است که تشخیص میدهد عبارات مختلف در یک متن به یک موجودیت واحد اشاره دارند — به عنوان مثال، یک نام، یک ضمیر بعدی، و یک عبارت توصیفی همگی به یک شخص اشاره میکنند. این روش که ریشه در کارهای اولیه زبانشناسی Hobbs (1978) دارد و با مدل عصبی سرتاسری Lee et al. (2017) پیشرفت کرده است، کیفیت استخراج اطلاعات و درک مطلب را بهبود میبخشد.
شهود پشت روش
هنگامی که ما میخوانیم، به طور خودکار میدانیم که «او»، «نویسنده» و «ماری کوری» همگی میتوانند یک شخص باشند. اما ماشین این را نمیداند. تشخیص هممرجعی به یک سیستم میآموزد که این پیوندها را برقرار کند: هر عبارتی را که میتواند به یک موجودیت (یک ذکر) اشاره کند، شناسایی میکند، تصمیم میگیرد کدام ذکرها به یک چیز اشاره دارند و آنها را گروهبندی میکند تا بقیه خط لوله پردازش، متن را همانطور که یک انسان میخواند، درک کنند.
تاریخ
تشخیص هممرجعی از زبانشناسی محاسباتی اولیه، به ویژه Hobbs (1978)، که نحوه تفکیک مراجع ضمیر بر اساس ساختار نحوی را فرموله کرد، نشأت میگیرد. این حوزه بعداً از چنین سیستمهای مبتنی بر قاعده و مبتنی بر ویژگی به سمت مدلهای آموخته شده حرکت کرد، که در آن Lee et al. (2017) یک رویکرد عصبی سرتاسری معرفی کردند که مستقیماً ذکرها و پیوندهای آنها را بدون یک خط لوله دستساز از مراحل میانی، امتیازدهی میکند.
چه زمانی استفاده شود
تشخیص هممرجعی زمانی مناسب است که متن به زبان انگلیسی یا زبان پشتیبانی شده دیگری دارید و میخواهید موجودیتها را در سراسر یک سند ردیابی کنید — معمولاً به عنوان یک بلوک ساختمانی برای استخراج اطلاعات یا درک عمیقتر متن. یک مرحله NER قبلی کمک میکند. هدف آن توصیفی و توضیحی است و برای معنادار بودن به حداقل مقدار متوسطی از متن (حدود 20 واحد) نیاز دارد؛ بدون داده متنی نمیتواند اجرا شود.
محدودیتها و ملاحظات
- فقط برای انگلیسی یا سایر زبانهای پشتیبانی شده کار میکند؛ پوشش خارج از این موارد محدود است.
- دقت به مراحل بالادستی قابل اعتماد بستگی دارد — تشخیص ضعیف ذکر یا عدم وجود NER، خوشهها را تخریب میکند.
- مراجع مبهم یا دوربرد همچنان دشوار هستند، بنابراین برخی از پیوندها اشتباه خواهند بود.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- ذکرها (نامها، ضمایر و عبارات توصیفی) را به یک موجودیت واحد پیوند میدهد که استخراج اطلاعات را دقیقتر میکند.
- با تفکیک اینکه هر عبارت به چه کسی یا چه چیزی اشاره دارد، کیفیت وظایف درک مطلب پاییندستی را بهبود میبخشد.
- از رویکردهای زبانشناختی مبتنی بر قاعده و مدلهای عصبی مدرن سرتاسری پشتیبانی میکند.
کاربردها
- استخراج اطلاعات — تجمیع تمام مراجع یک موجودیت در سراسر یک سند.
- بهبود پرسش و پاسخ و درک مطلب با تفکیک ضمایر به مراجع آنها.
- ساخت نمودارهای دانش و خلاصههای موجودیتمحور از متن.
- پاکسازی متن برای تجزیه و تحلیل پاییندستی در مجموعههای تحقیقاتی بهداشت، علوم اجتماعی، اقتصادی، مهندسی و کسبوکار.
چگونه کار میکند
چگونه کار میکند
متن برای تجزیه و تحلیل آماده میشود: به جملات و توکنها تقسیم شده و از طریق خط لوله پشتیبان زبان اجرا میشود. مرحله تشخیص موجودیت نامگذاری شده (NER) یک پیشنیاز مفید در اینجا است، زیرا دانستن محل موجودیتها، تشخیص ذکرها را در مراحل بعدی قابل اطمینانتر میکند.
ذکرهای کاندید شناسایی میشوند — بخشهایی از متن که میتوانند به یک موجودیت اشاره کنند، مانند نامهای خاص، عبارات اسمی و ضمایر. این امر مجموعهای از عبارات را تولید میکند که روش باید مراجع آنها را تعیین کند.
برای هر جفت ذکر کاندید، سیستم تصمیم میگیرد که آیا به یک موجودیت اشاره دارند یا خیر. رویکردهای کلاسیک از قوانین زبانشناختی بر اساس نحو و تازگی استفاده میکنند، در حالی که مدلهای عصبی سرتاسری، جفتهای ذکر را مستقیماً از نمایشهای آموخته شده امتیازدهی میکنند.
پیوندهای دوتایی به خوشهها تفکیک میشوند: هر ذکری که تشخیص داده شود به یک موجودیت اشاره دارد، با هم گروهبندی میشوند. هر خوشه نشاندهنده یک موجودیت دنیای واقعی است و وظایف پاییندستی اکنون میتوانند «او»، «نویسنده» و نام اصلی را به عنوان یک مرجع واحد در نظر بگیرند.
دامهای رایج
- نادیده گرفتن مرحله NER یا تشخیص ذکر، پیونددهنده را با کاندیدهای ضعیف مواجه میکند و خوشههای نویزی تولید میکند.
- اعمال یک مدل ساخته شده برای یک زبان بر روی زبان پشتیبانی شده دیگر به طور خاموش دقت را کاهش میدهد.
- در نظر گرفتن هر پیوند دوتایی به عنوان قطعی — ضمایر مبهم و پیشفرضهای دوربرد منابع رایج خطا هستند و باید بررسی شوند.
پرسشهای متداول
تفاوت بین تشخیص هممرجعی و تشخیص موجودیت نامگذاری شده چیست؟
NER ذکرها (مانند افراد یا سازمانها) را در متن پیدا و برچسبگذاری میکند. تشخیص هممرجعی با تعیین اینکه کدام یک از این ذکرها — به علاوه ضمایر و عبارات توصیفی — به یک موجودیت واقعی اشاره دارند، یک قدم فراتر میرود و آنها را در خوشهها گروهبندی میکند. NER اغلب یک پیشنیاز مفید برای هممرجعی است.
آیا به مرحله NER نیاز دارم؟
این الزاماً لازم نیست، اما یک مرحله NER یک پیشنیاز مفید است: دانستن محل موجودیتها، تشخیص ذکرها و خوشههای حاصل را قابل اطمینانتر میکند.
آیا به زبانهای غیر از انگلیسی کار میکند؟
این برای انگلیسی یا سایر زبانهای پشتیبانی شده کار میکند. پوشش خارج از زبانهایی که مدل شما پشتیبانی میکند محدود است، بنابراین مدل انتخاب شده باید با زبان متن شما مطابقت داشته باشد.
مبتنی بر قاعده یا عصبی — کدام رویکرد را باید استفاده کنم؟
روشهای مبتنی بر قاعده، در سنت Hobbs (1978)، قوانین زبانشناختی را بر اساس نحو و تازگی اعمال میکنند و شفاف هستند. مدلهای عصبی سرتاسری، مانند Lee et al. (2017)، یاد میگیرند که ذکرها و پیوندهای آنها را مستقیماً امتیازدهی کنند و به طور کلی موارد دشوارتر را با هزینه محاسباتی بالاتر بهتر مدیریت میکنند.
روشهای مرتبط
منابع
Lee, K. et al. (2017). End-to-end Neural Coreference Resolution. EMNLP.
باز کردن مرجع انتشارکپی شد.Hobbs, J.R. (1978). Resolving Pronoun References. Lingua, 44(4), 311-338.
باز کردن مرجع DOIکپی شد.