استلزام متنی — استنباط زبان طبیعی (NLI)
- نوع
- NLP sentence-pair classification task
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
استلزام متنی، که به عنوان استنباط زبان طبیعی (NLI) نیز شناخته میشود، وظیفه پردازش زبان طبیعی برای تعیین اینکه آیا یک قطعه متن (مقدمه) یک قطعه متن دوم (فرضیه) را مستلزم میشود، با آن در تناقض است، یا نسبت به آن خنثی است. این مفهوم که توسط چالش تشخیص استلزام متنی PASCAL (Dagan, Glickman & Magnini, 2006) رسمی شد و توسط مجموعه داده MultiNLI (Williams, Nangia & Bowman, 2018) گسترش یافت، زیربنای خطوط لوله پرسش و پاسخ و تأیید واقعیت است.
شهود پشت روش
دو جمله میتوانند در روابط منطقی متفاوتی قرار گیرند: اگر جمله اول را بپذیرید، جمله دوم ممکن است به طور خودکار دنبال شود، ممکن است به وضوح با آن در تضاد باشد، یا ممکن است صرفاً نامرتبط باشد. استلزام متنی به ماشین میآموزد که این قضاوت را انجام دهد — با توجه به مقدمه و فرضیه، تعیین میکند که آیا فرضیه مستلزم شده، در تناقض است، یا هیچکدام. این قضاوت سهگانه، بلوک سازنده برای بررسی اینکه آیا یک پاسخ کاندید توسط متن منبع پشتیبانی میشود یا یک ادعا توسط شواهد تأیید میشود، است.
تاریخ
استلزام متنی به عنوان یک وظیفه مشترک توسط چالش تشخیص استلزام متنی PASCAL (Dagan, Glickman & Magnini, 2006) تأسیس شد، که تشخیص استلزام را به عنوان یک مسئله معنایی عمومی که در سراسر کاربردهای NLP گسترش مییابد، چارچوببندی کرد. مجموعه داده MultiNLI (Williams, Nangia & Bowman, 2018) بعداً دادههای آموزشی با پوشش گسترده و چند ژانره را فراهم کرد و امکان مدلهای NLI بزرگ از پیش آموزشدیده را که سیستمهای پرسش و پاسخ و بررسی واقعیت امروزی را هدایت میکنند، فراهم نمود.
چه زمانی استفاده شود
هنگامی که دادههای شما شامل جفتهای متن مقدمه-فرضیه است و نیاز به قضاوت رابطه منطقی بین آنها دارید — معمولاً در یک زنجیره پرسش و پاسخ یا تأیید واقعیت — از استلزام متنی استفاده کنید. این روش به حداقل چند ده جفت نیاز دارد و با یک مدل زبان بزرگ از پیش آموزشدیده که برای زبان هدف در دسترس است، بهترین عملکرد را دارد. اگر فقط اسناد مجزا به جای متن جفت شده دارید، این وظیفه کاربردی ندارد.
محدودیتها و ملاحظات
- نیاز به متن سازماندهی شده به صورت جفتهای مقدمه-فرضیه دارد؛ اسناد مجزا کافی نیستند.
- کیفیت به شدت به در دسترس بودن و پوشش زبانی یک مدل زبان بزرگ از پیش آموزشدیده بستگی دارد.
- استلزامهای ظریف یا خاص دامنه همچنان دشوار هستند و کلاس خنثی اغلب مستعدترین خطا است.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- یک قضاوت سهگانه اصولی (استلزام / تناقض / خنثی) به جای یک امتیاز شباهت واحد ارائه میدهد.
- به طور مستقیم از خطوط لوله پرسش و پاسخ و تأیید واقعیت پاییندستی پشتیبانی میکند.
- میتواند با یک مدل NLI بزرگ از پیش آموزشدیده به صورت صفر-شات، بدون دادههای آموزشی برچسبگذاری شده خاص وظیفه، اجرا شود.
کاربردها
- پرسش و پاسخ — بررسی اینکه آیا یک پاسخ کاندید توسط یک قطعه متن منبع مستلزم شده است.
- تأیید واقعیت — تعیین اینکه آیا یک ادعا توسط متن شواهد پشتیبانی یا رد میشود.
- بررسی سازگاری اطلاعات در سراسر اسناد و خلاصهها.
- به عنوان موتور زیربنایی برای طبقهبندی متن صفر-شات از طریق استلزام برچسب کاندید عمل میکند.
چگونه کار میکند
چگونه کار میکند
ورودی به صورت جفتهای مقدمه-فرضیه سازماندهی شده است. هر مثال، یک متن مقدمه را با یک متن فرضیه که رابطه آن با مقدمه باید قضاوت شود، جفت میکند؛ در پرسش و پاسخ و تأیید واقعیت، این جفتها از یک قطعه متن منبع و یک ادعا یا پاسخ کاندید تشکیل میشوند.
یک مدل زبان بزرگ از پیش آموزشدیده، جفت را میخواند و آن را به یک نمایش متنی تبدیل میکند که معنای مقدمه و فرضیه را با هم در بر میگیرد. از آنجایی که وظیفه به روابط منطقی ظریف بستگی دارد، یک مدل از پیش آموزشدیده قوی بر ویژگیهای دستساز ترجیح داده میشود.
مدل یکی از سه برچسب را به جفت اختصاص میدهد — استلزام، تناقض، یا خنثی. یک پیادهسازی عملی رایج، مقدمه را به عنوان یک برچسب کاندید در نظر میگیرد و یک طبقهبند استلزام صفر-شات (برای مثال، یک مدل BART که بر روی MNLI تنظیم دقیق شده است) را برای امتیازدهی رابطه اجرا میکند.
پیشبینیها با جفتهای برچسبگذاری شده با استفاده از معیارهای دقت و معیارهای هر کلاس مقایسه میشوند و اختلافات قبل از استقرار بازرسی میشوند. از آنجایی که سه کلاس میتوانند به طور نامتوازن توزیع شوند، دقت و بازیابی هر کلاس به اندازه دقت کلی اهمیت دارد.
دامهای رایج
- اشتباه گرفتن استلزام با شباهت سطحی صرف — دو جمله میتوانند کلمات مشترک داشته باشند اما با یکدیگر در تناقض باشند.
- اعمال یک مدل از پیش آموزشدیده برای یک زبان یا دامنه بر روی زبان یا دامنه دیگر، قضاوت استنباط را کاهش میدهد.
- گزارش فقط دقت کلی زمانی که سه کلاس نامتوازن هستند؛ دقت و بازیابی هر کلاس را بازرسی کنید.
- اجرای وظیفه بر روی کمتر از حدود ۳۰ جفت توصیه شده، که هرگونه ارزیابی را غیرقابل اعتماد میکند.
پرسشهای متداول
تفاوت بین استلزام، تناقض و خنثی چیست؟
با توجه به مقدمه، فرضیه به عنوان استلزام برچسبگذاری میشود اگر پذیرش مقدمه به معنای دنبال شدن فرضیه باشد، تناقض اگر فرضیه نتواند درست باشد در حالی که مقدمه درست است، و خنثی اگر هیچکدام برقرار نباشد — مقدمه نه از فرضیه پشتیبانی میکند و نه آن را رد میکند.
استلزام متنی چگونه با شباهت جمله متفاوت است؟
شباهت، میزان نزدیکی دو جمله را اندازهگیری میکند که متقارن و درجهبندی شده است. استلزام یک رابطه منطقی جهتدار است: یک مقدمه میتواند فرضیهای را مستلزم کند بدون اینکه معکوس آن برقرار باشد، و دو جمله بسیار شبیه میتوانند همچنان با یکدیگر در تناقض باشند.
آیا به دادههای آموزشی برچسبگذاری شده نیاز دارم؟
لزوماً نه. با یک مدل NLI بزرگ از پیش آموزشدیده میتوانید وظیفه را به صورت صفر-شات اجرا کنید — برای مثال، مقدمه را به عنوان یک برچسب کاندید در نظر بگیرید و فرضیه را امتیازدهی کنید — اگرچه یک مجموعه کوچک برچسبگذاری شده از جفتهای مقدمه-فرضیه به ارزیابی و انطباق دامنه کمک میکند.
چرا برای تأیید واقعیت و پرسش و پاسخ استفاده میشود؟
هر دو وظیفه به بررسی اینکه آیا یک قطعه متن توسط یک منبع پشتیبانی میشود، کاهش مییابد. استلزام دقیقاً همان قضاوت را ارائه میدهد، بنابراین یک ادعا یا پاسخ کاندید میتواند زمانی که منبع آن را مستلزم میکند پذیرفته شود و زمانی که منبع آن را رد میکند، رد شود.
روشهای مرتبط
منابع
Dagan, I., Glickman, O. & Magnini, B. (2006). The PASCAL Recognising Textual Entailment Challenge.
باز کردن مرجع انتشارکپی شد.Williams, A., Nangia, N. & Bowman, S. (2018). A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. NAACL.
باز کردن مرجع انتشارکپی شد.