Skip to content
بازگشت به نتایج جست‌وجو

استخراج اطلاعات — تبدیل متن به رکوردهای ساختاریافته

نوع
NLP structured-information task

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

استخراج اطلاعات (IE) یک وظیفه پردازش زبان طبیعی است که متن بدون ساختار را به اطلاعات ساختاریافته — مانند رویدادها، روابط و ویژگی‌ها — تبدیل می‌کند، به طوری که حقایق مدفون در اسناد با فرمت آزاد به رکوردهای قابل خواندن توسط ماشین تبدیل می‌شوند. این وظیفه در بررسی‌های اولیه توسط Cowie و Lehnert (1996) و بعدها توسط Grishman (2012) تثبیت شد.

شهود پشت روش

یک سند داستانی را به زبان آزاد بیان می‌کند، اما یک پایگاه داده به ردیف‌ها و فیلدهای مرتب نیاز دارد. استخراج اطلاعات متن را به گونه‌ای می‌خواند که گویی یک تحلیلگر بر روی چه کسی، چه چیزی و چه زمانی تأکید می‌کند، سپس این نکات برجسته را در یک طرحواره ثابت می‌نویسد. به جای اینکه حقایق در نثر گرفتار شوند، این روش موجودیت‌ها و روابط بین آن‌ها را بیرون می‌کشد و آن‌ها را به صورت رکوردهای ساختاریافته‌ای که می‌توانید از آن‌ها پرس‌وجو کنید، ارائه می‌دهد.

تاریخ

استخراج اطلاعات به عنوان یک وظیفه متمایز NLP در بررسی‌های Cowie و Lehnert (1996) که هدف بیرون کشیدن حقایق ساختاریافته از متن آزاد را تثبیت کردند، چارچوب‌بندی شد و بعدها توسط Grishman (2012) در کتاب راهنمای پردازش زبان طبیعی مورد بازبینی قرار گرفت. این وظیفه از قوانین الگوی دست‌ساز به سمت مدل‌های آماری و یادگرفته شده برای یافتن موجودیت‌ها، روابط و رویدادها رشد کرده است.

چه زمانی استفاده شود

استخراج اطلاعات زمانی مناسب است که داده‌های متنی داشته باشید و بخواهید آن را به رکوردهای ساختاریافته رویدادها، روابط یا ویژگی‌ها تبدیل کنید، و زمانی که بتوانید یک هستی‌شناسی خاص دامنه را که آنچه را باید استخراج شود توصیف می‌کند، تعریف کنید. حجم معقولی از متن کمک می‌کند — این روش انتظار دارد در حدود حداقل پنجاه سند باشد. بدون داده‌های متنی، یا بدون طرحواره توافق شده برای آنچه به عنوان یک واقعیت محسوب می‌شود، IE نمی‌تواند اجرا شود.

محدودیت‌ها و ملاحظات

  • نیاز به یک هستی‌شناسی مشخص دامنه قبل از شروع استخراج دارد.
  • نیاز به مقدار کافی داده متنی دارد؛ مجموعه‌های بسیار کوچک سیگنال کمی می‌دهند.
  • کیفیت استخراج به شدت به این بستگی دارد که طرحواره و الگوها چقدر با زبان مجموعه متون مطابقت دارند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • متن بدون ساختار را به رکوردهای ساختاریافته و قابل پرس‌وجو از رویدادها، روابط و ویژگی‌ها تبدیل می‌کند.
  • مبتنی بر طرحواره: هستی‌شناسی اجازه می‌دهد تا همان خط لوله برای دامنه‌های مختلف مجدداً هدف‌گذاری شود.
  • الگوهای تطبیق مبتنی بر قانون و مدل‌های آموزش‌دیده را ترکیب می‌کند، بنابراین با داده‌ها و منابع موجود سازگار می‌شود.

کاربردها

  • ساخت پایگاه‌های دانش ساختاریافته از مجموعه‌های بزرگ اسناد.
  • استخراج رویدادها و شرکت‌کنندگان آن‌ها از آرشیوهای خبری یا گزارش‌ها.
  • ثبت روابط و ویژگی‌ها از متن دامنه در زمینه‌های بهداشت، علوم اجتماعی، اقتصاد و تجارت.
  • پر کردن پایگاه‌های داده با حقایق استخراج شده از اسناد بدون ساختار.

چگونه کار می‌کند

چگونه کار می‌کند

1

ابتدا یک هستی‌شناسی یا طرحواره خاص دامنه تعریف می‌شود: انواع موجودیت‌ها، روابط، رویدادها و ویژگی‌هایی که سیستم باید به دنبال آن‌ها باشد. از آنجایی که IE فقط آنچه را که طرحواره توصیف می‌کند استخراج می‌کند، این مرحله تعیین می‌کند که چه چیزی به عنوان یک واقعیت قابل ثبت در یک دامنه معین محسوب می‌شود.

2

متن خام پاکسازی و به واحدهای قابل تجزیه و تحلیل — جملات و توکن‌ها — تقسیم می‌شود، به طوری که الگوها و مدل‌های استخراج بر روی ورودی سازگار عمل کنند. بدون این نرمال‌سازی، تطابق پایین‌دستی غیرقابل اعتماد می‌شود.

3

موجودیت‌ها، روابط، رویدادها و ویژگی‌ها در متن شناسایی می‌شوند. این کار با قوانین تطبیق الگو بر روی ساختار زبانی، با مدل‌های آموزش‌دیده، یا با ترکیبی از هر دو انجام می‌شود که هر کدام عناصر تعریف شده در هستی‌شناسی را تشخیص می‌دهند.

4

عناصر استخراج شده در رکوردهای ساختاریافته‌ای که با طرحواره مطابقت دارند، مونتاژ می‌شوند — پر کردن جایگاه‌های یک رویداد، پیوند دادن شرکت‌کنندگان یک رابطه، یا پیوست کردن ویژگی‌ها به یک موجودیت. نتیجه، اطلاعات ساختاریافته قابل خواندن توسط ماشین است که از متن اصلی بدون ساختار استخراج شده است.

دام‌های رایج

  • نادیده گرفتن طراحی هستی‌شناسی — بدون طرحواره تعریف شده، سیستم هدفی ندارد و رکوردهای ناسازگار یا بی‌معنی استخراج می‌کند.
  • اعمال الگوها یا مدل‌های ساخته شده برای یک دامنه بر روی دامنه دیگر، دقت استخراج را کاهش می‌دهد.
  • نادیده گرفتن پیش‌پردازش، توکن‌های نویزی و مرزهای شکسته جمله را باقی می‌گذارد که تطابق پایین‌دستی را مختل می‌کند.
  • اجرا بر روی متن بسیار کم (به مراتب کمتر از پنجاه سند) مثال‌های بسیار کمی برای الگوها یا مدل‌ها برای کار قابل اعتماد ارائه می‌دهد.

پرسش‌های متداول

استخراج اطلاعات چگونه با تشخیص موجودیت نام‌گذاری شده متفاوت است؟

تشخیص موجودیت نام‌گذاری شده فقط موجودیت‌هایی مانند افراد، مکان‌ها و سازمان‌ها را شناسایی و برچسب‌گذاری می‌کند. استخراج اطلاعات گسترده‌تر است: همچنین روابط بین آن موجودیت‌ها، رویدادهایی که در آن‌ها شرکت می‌کنند، و ویژگی‌های آن‌ها را شناسایی می‌کند و همه این‌ها را در رکوردهای ساختاریافته‌ای که از یک طرحواره پیروی می‌کنند، مونتاژ می‌کند.

چرا قبل از اجرای آن به هستی‌شناسی نیاز دارم؟

هستی‌شناسی، یا طرحواره، دقیقاً تعریف می‌کند که چه چیزی در دامنه شما به عنوان یک واقعیت محسوب می‌شود — کدام انواع موجودیت، روابط، رویدادها و ویژگی‌ها را باید جستجو کرد. استخراج اطلاعات فقط آنچه را که طرحواره توصیف می‌کند، ثبت می‌کند، بنابراین بدون آن سیستم هدفی ندارد و خروجی ناسازگار تولید می‌کند.

آیا به داده‌های آموزشی برچسب‌دار نیاز دارم؟

بستگی به رویکرد دارد. استخراج مبتنی بر الگو یا قانون بر روی ساختار زبانی عمل می‌کند و می‌تواند بدون مثال‌های برچسب‌دار کار کند، در حالی که مدل‌های آموزش‌دیده از داده‌های حاشیه‌نویسی شده یاد می‌گیرند. بسیاری از سیستم‌ها هر دو را ترکیب می‌کنند، بنابراین داده‌های مورد نیاز شما با روش انتخابی شما متفاوت است.

به چه مقدار متن نیاز دارم؟

استخراج اطلاعات انتظار حجم معقولی از متن را دارد — در حدود حداقل پنجاه سند. با تعداد بسیار کمتر، الگوها و مدل‌ها مثال‌های کافی برای استخراج قابل اعتماد ندارند.

روش‌های مرتبط

منابع

  1. Cowie, J. & Lehnert, W. (1996). Information Extraction. Communications of the ACM.

    باز کردن مرجع DOI
    کپی شد.
  2. Grishman, R. (2012). Information Extraction. In Handbook of Natural Language Processing.

    شابک: 9781420085921
    کپی شد.