Skip to content
بازگشت به نتایج جست‌وجو

بخش‌بندی متن — تشخیص مرز موضوعی

معرفی‌شده توسط
Marti A. Hearst (TextTiling)
سال
1997
نوع
NLP document-structure / topic-boundary detection

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

بخش‌بندی متن، یک سند طولانی را در امتداد مرزهای موضوعی یا گفتمانی به بخش‌های معنادار (قطعات) تقسیم می‌کند. این روش که برای گذرگاه‌های موضوع فرعی توسط TextTiling مارتین ا. هرست (1997) معرفی شد، از تحلیل ساختار سند و تشخیص گذارهای موضوعی در متن پیوسته پشتیبانی می‌کند.

شهود پشت روش

یک متن طولانی به ندرت از ابتدا تا انتها درباره یک چیز است — بلکه از موضوع فرعی به موضوع فرعی دیگر می‌لغزد. خواندن آن به صورت یک بلوک تفکیک‌نشده، آن ساختار را پنهان می‌کند. بخش‌بندی متن به دنبال مکان‌هایی می‌گردد که واژگان تغییر می‌کنند: جایی که یک بخش از کلمات از آنچه قبلاً بود مشابهت خود را از دست می‌دهد و یک موضوع جدید آغاز می‌شود. با امتیازدهی به میزان انسجام بخش‌های مجاور متن، نقاط تغییر را به عنوان مرز علامت‌گذاری کرده و سند را به گذرگاه‌های منسجم تقسیم می‌کند.

تاریخ

بخش‌بندی متن به عنوان تشخیص مرز موضوعی توسط TextTiling هرست (1997) تأسیس شد، که انسجام واژگانی را بین بلوک‌های مجاور برای یافتن گذرگاه‌های موضوع فرعی چند پاراگرافی امتیازدهی می‌کرد. چوی (2000) بخش‌بندی خطی مستقل از دامنه را پیشرفت داد و نحوه اندازه‌گیری انسجام و قرار دادن مرزها در متن پیوسته را بهبود بخشید.

چه زمانی استفاده شود

هنگامی که یک قطعه متن به اندازه کافی طولانی دارید و می‌خواهید ساختار داخلی آن را آشکار کنید یا محل تغییر موضوعات آن را بیابید، از بخش‌بندی متن استفاده کنید. این روش فرض می‌کند که متن به اندازه کافی برای بخش‌بندی طولانی است و گذارهای موضوعی واقعی در آن وجود دارد؛ حداقل حدود ده واحد متن مورد نیاز است. این روش برای کارهای اکتشافی و توصیفی بر روی اسناد، رونوشت‌ها و سایر نثر پیوسته مناسب است.

محدودیت‌ها و ملاحظات

  • نیاز به متنی دارد که به اندازه کافی برای بخش‌بندی طولانی باشد؛ ورودی‌های بسیار کوتاه سیگنال بسیار کمی ارائه می‌دهند.
  • فرض می‌کند که گذارهای موضوعی واقعاً وجود دارند — اجرای آن بر روی متن یکنواخت، برش‌های دلخواه ایجاد می‌کند.
  • مرزهای مبتنی بر انسجام ممکن است انحراف موضوعی تدریجی را از دست بدهند یا به دلیل تغییرات سبکی بیش از حد تقسیم کنند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • ساختار موضوع فرعی پنهان یک سند طولانی واحد را بدون هیچ داده آموزشی برچسب‌دار آشکار می‌کند.
  • مستقل از دامنه: روش‌های بخش‌بندی خطی در حوزه‌های موضوعی مختلف کار می‌کنند زیرا به انسجام واژگانی متکی هستند نه دانش خاص موضوع. نتایج همچنان به وجود گذارهای موضوعی واقعی در متن بستگی دارد.
  • یک لیست مرتب و قابل خواندن توسط انسان از گذرگاه‌ها تولید می‌کند که خلاصه‌سازی یا بازیابی پایین‌دستی می‌تواند مستقیماً از آن استفاده کند.

کاربردها

  • تحلیل ساختار داخلی اسناد و گزارش‌های طولانی.
  • یافتن گذارهای موضوعی در متن پیوسته مانند مقالات یا رونوشت‌ها.
  • آماده‌سازی واحدهای سطح گذرگاه برای خلاصه‌سازی و بازیابی اطلاعات.
  • مطالعه اکتشافی و توصیفی سازماندهی سند در علوم انسانی و اجتماعی.

چگونه کار می‌کند

چگونه کار می‌کند

1

سند به واحدهای کوچک و مرتبی تقسیم می‌شود که روش آن‌ها را مقایسه می‌کند — توکن‌هایی که در پنجره‌های مجاور یا موقعیت‌های شکست کاندید گروه‌بندی شده‌اند. این توالی همان چیزی است که به مراحل بعدی اجازه می‌دهد تا درباره آنچه قبل و بعد از هر مرز احتمالی می‌آید استدلال کنند.

2

انسجام واژگانی در طول متن امتیازدهی می‌شود: پنجره‌های مجاور مقایسه شده و یک امتیاز شباهت (یا معکوس آن، یک تغییر) در هر موقعیت کاندید محاسبه می‌شود. یک تغییر بالا نشان می‌دهد که واژگان در دو طرف متفاوت هستند — نشانه‌ای که موضوع ممکن است در حال تغییر باشد.

3

امتیازات تغییر برای یافتن افت‌ها و اوج‌های گویا اسکن می‌شوند؛ موقعیت‌هایی که انسجام به شدت کاهش می‌یابد به عنوان مرزهای موضوعی انتخاب می‌شوند، در حالی که بخش‌های هموار در یک بخش واحد باقی می‌مانند.

4

مرزهای انتخاب شده سند را به یک لیست مرتب از بخش‌ها تقسیم می‌کنند، که هر کدام یک گذرگاه چند جمله‌ای است که یک موضوع فرعی را پوشش می‌دهد و برای تحلیل ساختار پایین‌دستی آماده است.

دام‌های رایج

  • اعمال بخش‌بندی بر روی متنی که خیلی کوتاه یا از نظر موضوعی یکنواخت است، مرزهای بی‌معنی تولید می‌کند.
  • رفتار با موقعیت‌های مرزی به عنوان حقیقت مطلق بدون بررسی آن‌ها؛ نشانه‌های تغییر واژگانی می‌توانند با واژگان تکراری در موضوعات واقعاً متفاوت فریب بخورند.
  • گیج کردن شکست‌های پاراگراف یا قالب‌بندی با مرزهای موضوعی — روش، تغییرات موضوع فرعی را تشخیص می‌دهد، نه طرح‌بندی.

پرسش‌های متداول

تفاوت بخش‌بندی متن با تقسیم پاراگراف چیست؟

تقسیم پاراگراف از قالب‌بندی نویسنده پیروی می‌کند، در حالی که بخش‌بندی متن تشخیص می‌دهد که موضوع فرعی بر اساس انسجام واژگانی در کجا تغییر می‌کند. یک موضوع واحد می‌تواند چندین پاراگراف را در بر گیرد، و یک پاراگراف می‌تواند دو موضوع را در بر گیرد، بنابراین این دو لزوماً نباید همزمان باشند.

یک سند چقدر باید طولانی باشد؟

باید به اندازه کافی طولانی باشد تا گذارهای موضوعی واقعی را در بر گیرد — تقریباً حداقل ده واحد متن. در ورودی‌های بسیار کوتاه، سیگنال واژگانی بسیار کمی برای امتیازات انسجام وجود دارد تا مرزهای قابل اعتماد را مشخص کند.

آیا به داده آموزشی برچسب‌دار نیاز دارد؟

خیر. بخش‌بندی خطی کلاسیک مانند TextTiling بدون نظارت است: انسجام واژگانی را در سند واحدی که در حال تجزیه و تحلیل است امتیازدهی می‌کند و برای اجرا به مرزهای برچسب‌دار نیازی ندارد.

آیا خارج از یک حوزه موضوعی خاص کار خواهد کرد؟

بله. بخش‌بندی خطی مستقل از دامنه به تغییرات در استفاده از کلمات متکی است نه دانش خاص موضوع، بنابراین در حوزه‌های موضوعی منتقل می‌شود، اگرچه نتایج همچنان به داشتن گذارهای موضوعی واقعی در متن بستگی دارد.

روش‌های مرتبط

منابع

  1. Hearst, M.A. (1997). TextTiling: Segmenting Text into Multi-Paragraph Subtopic Passages. Computational Linguistics, 23(1), 33-64.

    باز کردن مرجع انتشار
    کپی شد.
  2. Choi, F.Y.Y. (2000). Advances in Domain Independent Linear Text Segmentation. NAACL.

    باز کردن مرجع انتشار
    کپی شد.