گسترش اختصار — وضوحیابی سرواژه و فرم کوتاه
- معرفیشده توسط
- Schwartz & Hearst (2003) — seminal algorithm for biomedical abbreviation detection
- سال
- 2003
- نوع
- NLP disambiguation pipeline
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
وضوحیابی اختصار و سرواژه یک خط لوله پردازش زبان طبیعی است که هر فرم کوتاه در یک متن را با استفاده از نشانههای متنی از متن اطراف، به تعریف کامل آن نگاشت میکند. این امر به ویژه در اسناد پزشکی، حقوقی و فنی اهمیت دارد، جایی که یک سرواژه ممکن است معانی کاملاً متفاوتی در حوزههای مختلف داشته باشد. الگوریتم بنیادی این حوزه توسط شوارتز و هرست (2003) برای ادبیات زیستپزشکی منتشر شد و از آن زمان با رویکردهای مبتنی بر شبکههای عصبی و ترانسفورمر گسترش یافته است.
شهود پشت روش
سندی پر از سرواژهها دشوار خوانده میشود و تحلیل محاسباتی آن دشوارتر است — سه حرف یکسان میتوانند در حوزههای مختلف یا حتی پاراگرافهای مختلف معانی متفاوتی داشته باشند. گسترش اختصار مانند یک خواننده متخصص عمل میکند که سرواژهای را تشخیص میدهد، برای تعریف آن به متن مراجعه میکند و هر بار که اختصار ظاهر میشود، آن را به صورت کامل مینویسد. این روش به جای تکیه صرف بر یک فرهنگ لغت ثابت، از بافتار استفاده میکند: به دنبال الگویی میگردد که نویسنده یک اصطلاح را تعریف میکند ('انفارکتوس میوکارد (MI)')، آن جفت را ثبت میکند و سپس فرم بلند را در هر جایی که فرم کوتاه دوباره ظاهر میشود، جایگزین میکند.
تاریخ
مسئله وضوحیابی اختصارات در متن برای ادبیات زیستپزشکی توسط شوارتز و هرست (2003) رسمی شد، آنها یک الگوریتم سبک با بافتار چپ پیشنهاد کردند که به خط پایه این حوزه تبدیل شد. روش آنها نشان داد که بیشتر اختصارات در مقالات علمی با یک تعریف صریح پرانتزی معرفی میشوند و یک قانون تراز ساده به دقت بالایی دست مییابد. کارهای بعدی این رویکرد را با طبقهبندیکنندههای یادگیری ماشین، میدانهای تصادفی شرطی و اخیراً رمزگذارهای ترانسفورمر که به طور مشترک فرم کوتاه و بافتار آن را مدلسازی میکنند، گسترش دادند. مجموعه داده MACRONYM 2022 توسط ویسی و همکاران نشان داد که وضوحیابی سرواژه حتی برای مدلهای زبان بزرگ نیز یک چالش باز باقی میماند، زمانی که اصطلاحات خاص دامنه یا اقتصاد کلان درگیر باشند.
چه زمانی استفاده شود
گسترش اختصار در هر خط لولهای که فرمهای کوتاه حلنشده مانع از وظایف پاییندستی مانند استخراج اطلاعات، نمایهسازی جستجو یا طبقهبندی متن میشوند، کاربرد دارد. این امر در متون زیستپزشکی و بالینی — جایی که ابهام سرواژه میتواند منجر به خطاهای ایمنی بیمار شود — بسیار حیاتی است، اما در پیکرههای حقوقی، مالی و علمی نیز به همان اندازه مفید است. یک فرهنگ لغت دامنه یا پایگاه اختصاری باید در دسترس باشد؛ بدون هیچ پنجره بافتار و بدون فرهنگ لغت، روش به حدس زدن تنزل مییابد. پیکره باید حداقل شامل برخی الگوهای تعریف (فرم کوتاه معرفی شده در کنار فرم بلند آن) باشد، مگر اینکه یک پایگاه دانش از پیش ساخته شده، دامنه را به طور کامل پوشش دهد.
محدودیتها و ملاحظات
- عملکرد بستگی به این دارد که آیا پیکره حاوی الگوهای تعریف صریح است یا خیر؛ اختصارات کمتعریف که هرگز به صورت کامل معرفی نمیشوند، نمیتوانند تنها از بافتار وضوحیابی شوند.
- ابهام سرواژه — جایی که یک فرم کوتاه در یک سند معانی متعددی دارد — به سیگنالهای ابهامزدایی نیاز دارد که سیستمهای مبتنی بر قانون به خوبی از عهده آن برنمیآیند.
- وضوحیابی بین اسناد (همان اختصار در یک فایل تعریف شده و بدون تعریف در فایل دیگر استفاده شده است) به یک پایگاه دانش اختصاری نگهداری شده نیاز دارد.
- تغییر دامنه: یک فرهنگ لغت اختصاری که بر روی متن زیستپزشکی آموزش دیده است، ممکن است اختصارات را در اسناد حقوقی یا مهندسی با توالی حروف یکسان، اشتباه گسترش دهد.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- اختصارات درون سند را بدون نیاز به یک فرهنگ لغت کامل از پیش ساخته شده، با استخراج مستقیم تعاریف از بافتار، وضوحیابی میکند.
- از یک الگوریتم ساده مبتنی بر قانون (شوارتز-هرست) تا مدلهای عصبی بدون تغییر ساختار کلی خط لوله، مقیاسپذیر است.
- با جایگزینی فرمهای کوتاه مبهم با اصطلاحات کامل قابل تفسیر، ابهام را در وظایف پاییندستی NLP — استخراج اطلاعات، طبقهبندی و جستجو — کاهش میدهد.
- به ویژه در حوزههای پرخطر (بالینی، حقوقی) ارزشمند است، جایی که یک اختصار اشتباه خوانده شده میتواند معنای یک سند را به طور کامل تغییر دهد.
کاربردها
- NLP بالینی: گسترش نام داروها، کدهای تشخیص و اختصارات رویهها در سوابق الکترونیکی سلامت قبل از استخراج اطلاعات یا جستجو.
- پردازش متن حقوقی: وضوحیابی اختصارات قانونی و سرواژههای نظارتی برای بهبود تحلیل قرارداد و بررسی انطباق.
- کاوش ادبیات علمی: پیشپردازش چکیدههای زیستپزشکی یا مهندسی به طوری که تشخیص موجودیت و استخراج رابطه پاییندستی بر روی اصطلاحات کامل عمل کنند.
- نمایهسازی جستجو: گسترش اختصارات در پرس و جوها و اسناد برای بهبود فراخوانی در سیستمهای بازیابی خاص دامنه.
چگونه کار میکند
چگونه کار میکند
خط لوله متن را برای فرمهای کوتاه کاندید اسکن میکند — معمولاً توالیهایی از دو تا ده حرف بزرگ، حروف اول کلمات، یا نشانههای پرانتزی که با شکل یک اختصار مطابقت دارند. اکتشافیها این کاندیداها را بدون تعهد به گسترش، علامتگذاری میکنند.
برای هر فرم کوتاه شناسایی شده، پنجره بافتار اطراف برای یافتن یک کاندید فرم بلند تطبیقدهنده جستجو میشود. الگوریتم کلاسیک شوارتز-هرست حروف اول عبارت کاندید را با حروف فرم کوتاه تراز میکند و یک پنجره تقریباً دو برابر طول اختصار را به سمت چپ اسکن میکند. یک فرهنگ لغت اختصاری یا پایگاه اصطلاحات خاص دامنه میتواند این جستجو را محدود یا تکمیل کند.
در میان چندین فرم بلند کاندید، محتملترین گسترش انتخاب میشود. سیستمهای مبتنی بر قانون از امتیازات تراز استفاده میکنند؛ مدلهای نظارتشده از جفتهای آموزشی برچسبگذاریشده استفاده میکنند؛ سیستمهای مبتنی بر ترانسفورمر هم فرم کوتاه و هم بافتار آن را رمزگذاری میکنند تا معنای صحیح را انتخاب کنند. هنگامی که بافتار مبهم است — همان اختصار با معانی مختلف استفاده میشود — سیگنالهای ابهامزدایی معنای کلمه گنجانده میشوند.
نگاشتهای وضوحیافته برای پوشش و دقت بررسی میشوند: چه نسبتی از فرمهای کوتاه با موفقیت گسترش یافتهاند و چند گسترش صحیح است. خطاها به صورت دستی یا در برابر یک حاشیهنویسی استاندارد طلایی بازرسی میشوند و موارد خاص دامنه (حروف اول کلمات بدون تعریف قابل مشاهده در سند) برای بررسی دستی علامتگذاری میشوند.
دامهای رایج
- فرض اینکه یک اختصار همیشه در اسناد مختلف یک معنی دارد — یک سرواژه میتواند در دامنههای مختلف یا حتی بخشهای مختلف یک گزارش، به طور متفاوتی گسترش یابد.
- نادیده گرفتن مرحله اعتبارسنجی: حتی الگوریتمهای با دقت بالا نیز در مورد اختصارات نادر یا جدید خطا تولید میکنند و خطاهای شناسایی نشده به هر وظیفه پاییندستی سرایت میکنند.
- استفاده تنها از یک فرهنگ لغت ایستا بدون مرحله استخراج بافتار — اگر نویسنده یک اختصار جدید را که در فرهنگ لغت نیست معرفی کند، به طور کامل نادیده گرفته خواهد شد.
- برخورد با تمام توالیهای حروف بزرگ به عنوان اختصار — برخی از آنها اسامی خاص، نمادهای ژن یا کدهایی هستند که نباید گسترش یابند.
پرسشهای متداول
اگر یک اختصار هرگز در سند تعریف نشود چه؟
اگر هیچ الگوی تعریفی در متن وجود نداشته باشد، خط لوله باید به یک فرهنگ لغت اختصاری یا پایگاه دانش از پیش ساخته شده بازگردد. اگر هیچ یک در دسترس نباشد، فرم کوتاه نمیتواند به طور قابل اعتمادی گسترش یابد و باید به جای حدس زدن، به عنوان حلنشده علامتگذاری شود.
این روش چگونه با یک سرواژه که در مکانهای مختلف معانی متفاوتی دارد، برخورد میکند؟
این زیرمسئله ابهامزدایی اختصار است. سیستمهای مبتنی بر قانون که به نزدیکترین پنجره تعریف تکیه میکنند، زمانی که تعاریف متعدد ظاهر میشوند، به خوبی از عهده آن برنمیآیند. رویکردهای مبتنی بر ترانسفورمر که بافتار اطراف را برای هر رخداد رمزگذاری میکنند، بهتر با آن برخورد میکنند، اما دقت ابهامزدایی زمانی که بافتار پراکنده یا فنی است، همچنان کاهش مییابد.
آیا یک فرهنگ لغت اختصاری از پیش ساخته شده ضروری است؟
نه به طور دقیق — الگوریتم شوارتز-هرست جفتهای تعریف را از بافتار درون سند بدون فرهنگ لغت استخراج میکند. با این حال، یک فرهنگ لغت دامنه فرآیند را تسریع میکند، اختصارات کمتعریف را که نویسنده هرگز در متن گسترش نمیدهد، مدیریت میکند و ابهام را کاهش میدهد. برای متن بالینی، منابعی مانند UMLS یا ADAM این نقش را ایفا میکنند.
آیا این روش در زبانهای مختلف کار میکند؟
بله، اما اکتشافیهای تطبیق الگو و هر فرهنگ لغت همراه باید با زبان هدف سازگار شوند. بیشتر کارهای منتشر شده به زبان انگلیسی میپردازند؛ گسترش به زبانهای دیگر معمولاً به قوانین خاص زبان و پیکرههای حاشیهنویسی شده برای آموزش یا ارزیابی نیاز دارد.
روشهای مرتبط
منابع
Schwartz, A.S. & Hearst, M.A. (2003). A Simple Algorithm for Identifying Abbreviation Definitions in Biomedical Text. Pacific Symposium on Biocomputing (PSB), 8, 451-462.
باز کردن مرجع انتشارکپی شد.Veyseh, A.P.B. et al. (2022). MACRONYM: A Large-Scale Dataset for Macroeconomic Acronym Understanding. Findings of NAACL 2022.
باز کردن مرجع انتشارکپی شد.