بازشناسی موجودیت نامدار (NER)
- نوع
- NLP sequence-labelling task
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
بازشناسی موجودیت نامدار (NER) یک وظیفه پردازش زبان طبیعی است که موجودیتها را در متن بهطور خودکار تشخیص داده و برچسبگذاری میکند — مانند افراد، سازمانها، مکانها و تاریخها. این موضوع توسط نادئو و سکینه (۲۰۰۷) بررسی شد و بعدها با معماریهای عصبی توسط لمپل و همکاران (۲۰۱۶) پیشرفت کرد؛ این روش متن آزاد را به بازههای برچسبگذاری شده تبدیل میکند که ابزارهای پاییندستی میتوانند از آنها استفاده کنند.
شهود پشت روش
یک سند نامها، مکانها و تاریخها را در نثر معمولی ذکر میکند، اما ماشین تنها جریانی از کلمات را میبیند. هدف NER یافتن بازههایی است که به موجودیتهای دنیای واقعی اشاره دارند و برچسب نوع صحیح را به هر یک از آنها پیوست میکنند. به جای اینکه فردی نامها را با دست بخواند و برجسته کند، این روش متن را اسکن میکند، تصمیم میگیرد که کدام کلمات یک موجودیت را تشکیل میدهند و آن را به عنوان شخص، سازمان، مکان، تاریخ و غیره برچسبگذاری میکند.
تاریخ
بازشناسی موجودیت نامدار به عنوان یک وظیفه در بررسی نادئو و سکینه (۲۰۰۷) تثبیت شد، که روشهای مبتنی بر قانون و مبتنی بر ویژگی این حوزه را بررسی کرد. کار لمپل و همکاران (۲۰۱۶) در NAACL سپس معماریهای عصبی را برای NER معرفی کرد و این حوزه را به سمت مدلهای برچسبگذاری دنباله سوق داد که بازنماییهای متنی را یاد میگیرند به جای اتکا به ویژگیهای دستساز.
چه زمانی استفاده شود
NER زمانی مناسب است که شما دادههای متنی و یک مدل زبان دارید که از زبان آن متن پشتیبانی میکند، و ابتدا پیشپردازش اعمال شده است. مقدار معقولی از متن مورد نیاز است؛ با یک مجموعه متنی بسیار کوچک، مدل عملکرد ضعیفی دارد و استخراج کلیدواژه ساده مبتنی بر قانون انتخاب ایمنتری است. اگر اصلاً داده متنی وجود نداشته باشد، NER نمیتواند اجرا شود و باید به جای آن محتوای ساختاریافته را تجزیه و تحلیل کنید.
محدودیتها و ملاحظات
- در یک مجموعه متنی کوچک، عملکرد مدل افت میکند و استخراج کلیدواژه ساده مبتنی بر قانون گزینه بهتری میشود.
- عملکرد به پشتیبانی مدل زبان از زبان هدف متن بستگی دارد.
- نیاز به پیشپردازش دارد؛ بدون توکنبندی تمیز، مرزهای موجودیت بهطور غیرقابل اعتمادی تشخیص داده میشوند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- متن بدون ساختار را به بازههای موجودیت ساختاریافته و نوعدار تبدیل میکند که وظایف پاییندستی میتوانند از آنها استفاده کنند.
- رویکردهای متعددی را پوشش میدهد: تطبیق مبتنی بر قانون برای مسائل کوچک، برچسبگذاری دنباله عصبی برای مسائل بزرگ.
- کلاسهای مختلف موجودیت — افراد، سازمانها، مکانها، تاریخها — را در یک گذر واحد بر روی متن شناسایی میکند.
کاربردها
- استخراج افراد، سازمانها و مکانها از اخبار و گزارشها برای نمایهسازی.
- شناسایی موجودیتهای نامدار در متن بالینی یا زیستپزشکی برای سوابق ساختاریافته.
- استخراج اشارات به شرکتها، مکانها و تاریخها از مجموعههای سندی بزرگ.
- تغذیه موجودیتهای برچسبگذاری شده به خطوط لوله استخراج اطلاعات و روابط پاییندستی.
چگونه کار میکند
چگونه کار میکند
متن خام پاکسازی و به واحدهای قابل تجزیه و تحلیل تقسیم میشود — جملات شکسته شده و کلمات توکنبندی میشوند — تا مرزهای موجودیت بهطور مداوم قابل تشخیص باشند. مدل زبان انتخاب شده باید از زبان هدف پشتیبانی کند تا این کار انجام شود.
هر توکن به ویژگیهایی تبدیل میشود که مدل میتواند بخواند. بسته به رویکرد، این به معنای قوانین دستنویس و واژهنامهها، بردارهای ویژگی کلاسیک، یا جاسازیهای متنی از یک مدل عصبی است — هر کدام سیگنالی را به برچسبگذار میدهند که برای تشخیص یک موجودیت نیاز دارد.
مدل یک برچسب نوع موجودیت به هر بازه توکن اختصاص میدهد. یک رویکرد مبتنی بر قانون الگوها و واژهنامهها را مطابقت میدهد، یک رویکرد یادگیری ماشین از یک برچسبگذار دنباله آموزشدیده استفاده میکند، و یک رویکرد عصبی معماریای را به کار میبرد که زمینه را درک میکند. خروجی مجموعهای از بازههای متنی است که با انواعی مانند شخص، سازمان، مکان و تاریخ برچسبگذاری شدهاند.
بازههای برچسبگذاری شده با استفاده از دقت (precision)، بازیابی (recall) و امتیاز F1 در برابر دادههای برچسبگذاری شده امتیازدهی میشوند، و موجودیتهای نادرست یا از دست رفته قبل از اتکا به مدل بازرسی میشوند. این امر از اعتماد به یک برچسبگذار که بهطور خاموش یک کلاس موجودیت کامل را از دست میدهد، جلوگیری میکند.
دامهای رایج
- اجرای NER بر روی یک مجموعه متنی کوچک (کمتر از حدود ۱۰۰ سند) که مدل در آن عملکرد ضعیفی دارد — به جای آن به استخراج کلیدواژه مبتنی بر قانون بازگردید.
- به کارگیری مدلی که از زبان مجموعه متنی پشتیبانی نمیکند، که تشخیص را مختل میکند.
- نادیده گرفتن پیشپردازش به طوری که متن نویزی یا با توکنبندی ضعیف، مرزهای موجودیت را بشکند.
- قضاوت برچسبگذار صرفاً بر اساس دقت زمانی که یک کلاس موجودیت کامل از دست رفته است؛ دقت، بازیابی و F1 را گزارش دهید و موجودیتهای از دست رفته را بازرسی کنید.
پرسشهای متداول
مبتنی بر قانون، یادگیری ماشین، یا عصبی — کدام رویکرد را باید استفاده کنم؟
یک رویکرد مبتنی بر قانون الگوها و واژهنامهها را مطابقت میدهد و بر روی مسائل کوچک بدون داده برچسبگذاری شده کار میکند. یک برچسبگذار دنباله یادگیری ماشین از مثالهای برچسبگذاری شده یاد میگیرد و با دامنه شما سازگار میشود. یک رویکرد عصبی از معماریهای متنی استفاده میکند و بهطور کلی بر روی مجموعههای متنی بزرگ با هزینه محاسباتی بالاتر بهترین عملکرد را دارد.
اگر مجموعه متنی من خیلی کوچک باشد چه اتفاقی میافتد؟
در یک مجموعه متنی کوچک (تقریباً کمتر از ۱۰۰ سند) عملکرد مدل NER افت میکند. در آن صورت یک رویکرد سادهتر استخراج کلیدواژه مبتنی بر قانون به یک مدل کامل بازشناسی موجودیت ترجیح داده میشود.
آیا NER در زبانهایی غیر از انگلیسی کار میکند؟
بله، اما مدل زبان انتخاب شده باید از زبان هدف متن پشتیبانی کند. مدلی که زبان مجموعه متنی را پوشش نمیدهد، علت رایج تشخیص ضعیف است.
NER چگونه ارزیابی میشود؟
بازههای برچسبگذاری شده با استفاده از دقت، بازیابی و F1 با دادههای برچسبگذاری شده مقایسه میشوند. بازرسی موجودیتهای از دست رفته و نادرست مهم است، زیرا یک برچسبگذار میتواند بهطور خاموش از تشخیص یک کلاس موجودیت کامل در حالی که هنوز بهطور کلی دقیق به نظر میرسد، شکست بخورد.
روشهای مرتبط
منابع
Nadeau, D. & Sekine, S. (2007). A survey of named entity recognition. Lingvisticae Investigationes.
باز کردن مرجع انتشارکپی شد.Lample, G. et al. (2016). Neural Architectures for Named Entity Recognition. NAACL.
باز کردن مرجع DOIکپی شد.