Skip to content
بازگشت به نتایج جست‌وجو

مدل‌سازی موضوعی

معرفی‌شده توسط
Hofmann, T. (pLSA, 1999); Blei, D. M., Ng, A. Y., & Jordan, M. I. (LDA, 2003)
سال
1999–2003
نوع
Unsupervised generative probabilistic model
خانواده
Deep learning / NLP / CV

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

مدل‌سازی موضوعی خانواده‌ای از تکنیک‌های احتمالی بدون نظارت برای کشف ساختار موضوعی نهفته در مجموعه‌های بزرگ متنی است. با یادگیری اینکه کدام کلمات تمایل به هم‌رخدادی دارند، مدل‌هایی مانند تخصیص دیریکله نهفته (LDA) به‌طور خودکار موضوعات منسجم را - که هر کدام به صورت توزیعی بر واژگان نمایش داده می‌شوند - بدون نیاز به داده‌های برچسب‌دار، آشکار می‌کنند.

شهود پشت روش

تصور کنید هزاران مقاله را می‌خوانید و سعی می‌کنید آن‌ها را بر اساس موضوع گروه‌بندی کنید بدون اینکه از قبل موضوعات را بدانید. مدل‌سازی موضوعی این کار را به صورت ریاضی انجام می‌دهد: فرض می‌کند هر سند ترکیبی از تعداد کمی موضوع نهفته است و هر موضوع با توزیعی بر روی کلمات مشخص می‌شود. کلماتی مانند 'انتخابات'، 'رأی' و 'سنا' در یک موضوع سیاسی دسته‌بندی می‌شوند؛ 'ژن'، 'پروتئین' و 'سلول' در زیست‌شناسی. الگوریتم هم وزن‌های کلمه-موضوع و هم نسبت‌های موضوع در هر سند را به طور همزمان، تنها با الگوهای هم‌رخدادی در پیکره متنی، پیدا می‌کند.

تاریخ

تحلیل معنایی نهفته (LSA) ایده کشف ساختار پنهان در ماتریس‌های اصطلاح-سند را از طریق SVD در اواخر دهه ۱۹۸۰ معرفی کرد. LSA احتمالی هاوفمن (۱۹۹۹) تفسیری احتمالی مولد ارائه داد. بلای، انگ و جردن تخصیص دیریکله نهفته را در سال ۲۰۰۳ رسمی کردند و یک پیشین دیریکله بر روی توزیع‌های سند-موضوع اضافه کردند که امکان استنتاج کامل بیزی و تعمیم به اسناد دیده‌نشده را فراهم می‌کند. LDA چارچوب غالب شد و صدها توسعه را به همراه داشت. اخیراً، مدل‌های موضوعی عصبی و مبتنی بر ترنسفورمر مانند BERTopic اسناد را قبل از خوشه‌بندی در فضای متنی جاسازی می‌کنند و انسجام را در متون کوتاه یا تخصصی به طور قابل توجهی بهبود می‌بخشند.

چه زمانی استفاده شود

مدل‌سازی موضوعی زمانی مناسب است که شما یک پیکره متنی بزرگ و بدون برچسب دارید و می‌خواهید ساختار موضوعی آن را بدون دسته‌بندی‌های از پیش تعریف‌شده کشف کنید - به عنوان مثال، تجزیه و تحلیل پاسخ‌های نظرسنجی باز، چکیده‌های دانشگاهی، آرشیوهای خبری، یا داده‌های رسانه‌های اجتماعی. این روش زمانی مناسب است که K (تعداد موضوعات) ناشناخته باشد و باید از داده‌ها استنتاج شود. از مدل‌سازی موضوعی زمانی اجتناب کنید که پیکره متنی شما بسیار کوچک است (کمتر از چند صد سند)، اسناد بسیار کوتاه هستند (جملات منفرد)، موضوعات بسیار هم‌پوشان یا پر از اصطلاحات تخصصی بدون پیش‌پردازش هستند، یا زمانی که به پیش‌بینی‌های دقیق برای هر سند به جای نسبت‌های موضوعی نرم نیاز دارید. برای وظایف طبقه‌بندی برچسب‌دار، روش‌های نظارت‌شده مانند طبقه‌بندهای مبتنی بر BERT ترجیح داده می‌شوند.

محدودیت‌ها و ملاحظات

  • تعداد موضوعات K باید مشخص یا جستجو شود، که نیازمند اجرای چندین مدل و ارزیابی انسجام است.
  • موضوعات می‌توانند نامنسجم یا تکراری باشند، به ویژه در متون کوتاه یا پیکره‌های با پیش‌پردازش ضعیف.
  • LDA کلاسیک فرض تبادل‌پذیری (کیسه کلمات) را دارد و ترتیب کلمات و نحو را نادیده می‌گیرد.
  • نتایج تصادفی هستند و می‌توانند در اجراهای مختلف متفاوت باشند؛ تکرارپذیری نیازمند یک بذر تصادفی ثابت است.
  • تفسیر نیازمند برچسب‌گذاری دستی هر موضوع کشف‌شده توسط یک کارشناس حوزه است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • کاملاً بدون نظارت: مضامین را از متن خام بدون هیچ داده آموزشی برچسب‌دار کشف می‌کند.
  • مقیاس‌پذیر به پیکره‌های متنی بسیار بزرگ از طریق استنتاج آنلاین یا توزیع‌شده.
  • موضوعات قابل تفسیر را به صورت لیست کلمات رتبه‌بندی‌شده تولید می‌کند که کارشناسان حوزه می‌توانند آن‌ها را تأیید کنند.
  • نسبت‌های سند-موضوع پیوسته هستند و می‌توانند به عنوان ویژگی‌های فشرده برای مدل‌های پایین‌دستی عمل کنند.
  • خانواده مدل انعطاف‌پذیر است: LDA، NMF، CTM، BERTopic و انواع عصبی همگی هدف مفهومی یکسانی را دنبال می‌کنند.

کاربردها

  • تجزیه و تحلیل اکتشافی پاسخ‌های نظرسنجی یا مصاحبه‌های باز برای آشکارسازی مضامین تکرارشونده.
  • ترسیم روندهای تحقیقاتی در مجموعه‌های بزرگ چکیده‌های دانشگاهی یا پیشنهادهای گرنت.
  • نظارت بر گفتمان عمومی و پویایی افکار در پیکره‌های خبری یا رسانه‌های اجتماعی.
  • تولید ویژگی‌های سند-موضوع برای سیستم‌های طبقه‌بندی یا توصیه‌گر پایین‌دستی.
  • پیمایش و جستجوی پیکره: برچسب‌گذاری اسناد با نسبت‌های موضوع برای فعال کردن بازیابی وجهی.
  • تجزیه و تحلیل طولی از چگونگی تکامل موضوعات در یک حوزه در طول زمان.

چگونه کار می‌کند

چگونه کار می‌کند

1

متن خام پاکسازی و توکنایز می‌شود: کلمات توقف، علائم نگارشی، و اصطلاحات بسیار نادر یا بسیار پرتکرار حذف می‌شوند؛ مراحل اختیاری شامل ریشه‌یابی، بن‌واژه‌سازی، و فیلتر کردن به اندازه واژگان معنی‌دار است. پیش‌پردازش با کیفیت حیاتی است زیرا مدل‌های موضوعی نمی‌توانند به تنهایی سیگنال را از نویز کلمات توقف جدا کنند.

2

اسناد به یک ماتریس کیسه کلمات تبدیل می‌شوند - هر سند یک بردار از شمارش کلمات یا فراوانی اصطلاحات است. این نمایش، ترتیب کلمات را نادیده می‌گیرد اما آماره‌های هم‌رخدادی را که مدل برای یافتن مضامین از آن‌ها بهره می‌برد، ثبت می‌کند.

3

مدل دو مجموعه توزیع را به طور مشترک تخمین می‌زند: توزیع‌های کلمه-موضوع (کدام کلمات هر موضوع را تعریف می‌کنند) و توزیع‌های سند-موضوع (هر موضوع چقدر در هر سند سهم دارد). در LDA، این کار از طریق استنتاج متغیر یا نمونه‌گیری گیبس برای تقریب پسین انجام می‌شود. هویت اصلی این است که احتمال مشاهده یک کلمه در یک سند برابر با مجموع احتمالات آن تحت هر موضوع، وزن‌دار شده با نسبت آن موضوع در سند است.

فرمول
p(w|d) = \sum_{k=1}^{K} p(w|z=k)\,p(z=k|d)
4

پس از برازش، هر موضوع با کلمات با بالاترین وزن خلاصه می‌شود. هر سند یک بردار نسبت موضوع دریافت می‌کند که نشان می‌دهد چه مقدار از محتوای آن به هر موضوع کشف‌شده قابل انتساب است. این نسبت‌های سند-به‌سند می‌توانند به عنوان ویژگی‌هایی برای طبقه‌بندی یا رگرسیون پایین‌دستی استفاده شوند.

5

قضاوت انسانی برای برچسب‌گذاری موضوعات لازم است. معیارهای انسجام (مانند NPMI یا C_v) راهنمایی کمی برای انتخاب تعداد موضوعات K ارائه می‌دهند، اما بررسی کیفی کلمات برتر برای هر موضوع همیشه برای تأیید معنادار و غیرتکراری بودن موضوعات ضروری است.

دام‌های رایج

  • حذف کلمات توقف و پیش‌پردازش را نادیده می‌گیرد، که موضوعات را با کلمات کاربردی پر می‌کند و مضامین اصلی را مدفون می‌سازد.
  • انتخاب K به صورت دلخواه به جای استفاده از معیارهای انسجام (NPMI، C_v) و بررسی کیفی با هم.
  • برخورد با برچسب‌های موضوع به عنوان حقیقت مطلق بدون تأیید کارشناس از لیست کلمات برتر.
  • اعمال مدل‌های موضوعی بر روی متون بسیار کوتاه (توییت‌ها، جملات منفرد) بدون استفاده از سازگاری‌های متون کوتاه.
  • نادیده گرفتن پایداری موضوع در سراسر بذرهای تصادفی، که ممکن است نشان دهد مضامین شناسایی‌شده مصنوعات اولیه هستند.

پرسش‌های متداول

چگونه تعداد موضوعات K را انتخاب کنم؟

یک امتیاز انسجام (مانند C_v یا NPMI) را برای طیفی از مقادیر K (مثلاً ۵ تا ۵۰) محاسبه کنید و منحنی را رسم کنید؛ K را که در آن انسجام قبل از کاهش بازده به اوج خود می‌رسد، انتخاب کنید. همیشه این را با بررسی کیفی تکمیل کنید: ۱۰ کلمه برتر هر موضوع را بخوانید و بررسی کنید که آیا مضامین معنادار و غیرتکراری تشکیل می‌دهند.

چه مقدار داده برای اینکه مدل‌سازی موضوعی به خوبی کار کند نیاز دارم؟

LDA کلاسیک معمولاً به حداقل چند صد سند و واژگان چند صد اصطلاح معنی‌دار برای تخمین توزیع‌های پایدار نیاز دارد. در زیر این آستانه، موضوعات اغلب نامنسجم هستند. در پیکره‌های بسیار کوچک، تحلیل موضوعی کیفی یا یک مدل از پیش آموزش‌دیده مانند BERTopic را که از جاسازی‌های خارجی استفاده می‌کند، در نظر بگیرید.

آیا می‌توانم از خروجی مدل‌سازی موضوعی به عنوان ویژگی در یک طبقه‌بند استفاده کنم؟

بله. بردار نسبت سند-موضوع یک نمایش فشرده و متراکم است که می‌تواند مستقیماً به رگرسیون لجستیک، جنگل تصادفی، یا یک طبقه‌بند عصبی ارسال شود. این یک خط لوله رایج برای گردش کارهای نیمه‌نظارتی است که در آن داده‌های برچسب‌دار کمیاب هستند.

تفاوت بین LDA و NMF برای مدل‌سازی موضوعی چیست؟

LDA یک مدل مولد احتمالی است که از طریق استنتاج بیزی تخمین زده می‌شود؛ NMF (تجزیه ماتریس غیرمنفی) یک رویکرد تجزیه ماتریس است. هر دو ماتریس‌های کلمه-موضوع و سند-موضوع تولید می‌کنند، اما NMF قطعی است و اغلب سریع‌تر است، در حالی که LDA تخمین‌های عدم قطعیت اصولی را ارائه می‌دهد. در پیکره‌های تمیز، آن‌ها اغلب موضوعات مشابهی را تولید می‌کنند؛ انتخاب اغلب به محدودیت‌های محاسباتی و اینکه آیا تفسیر احتمالی مورد نیاز است، بستگی دارد.

آیا مدل‌سازی موضوعی بر روی متن غیر انگلیسی کار می‌کند؟

بله، مدل‌سازی موضوعی در سطح الگوریتم زبان-ناشناس است - فقط به متن توکنایز شده نیاز دارد. شما به پیش‌پردازش زبان خاص (لیست کلمات توقف، ریشه‌یاب‌ها یا بن‌واژه‌سازها) نیاز دارید. برای پیکره‌های چندزبانه، جاسازی‌های چندزبانه مانند mBERT را همراه با BERTopic برای کشف موضوعات بین‌زبانی در نظر بگیرید.

روش‌های مرتبط

منابع

  1. Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent Dirichlet Allocation. Journal of Machine Learning Research, 3, 993–1022.

    باز کردن مرجع انتشار
    کپی شد.
  2. Hofmann, T. (1999). Probabilistic Latent Semantic Analysis. Proceedings of the Fifteenth Conference on Uncertainty in Artificial Intelligence (UAI), 289–296.

    باز کردن مرجع انتشار
    کپی شد.