Skip to content
بازگشت به نتایج جست‌وجو

مدل‌سازی موضوعی NMF

معرفی‌شده توسط
Lee & Seung
سال
1999
نوع
Matrix-factorization topic model

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

مدل‌سازی موضوعی NMF از تجزیه ماتریس نامنفی (Non-negative Matrix Factorization) - تجزیه مبتنی بر اجزا که توسط لی و سونگ (۱۹۹۹) معرفی شد - برای استخراج توزیع‌های سند-موضوع از یک پیکره استفاده می‌کند. با تجزیه یک ماتریس سند-واژه به دو ماتریس نامنفی، مجموعه‌ای کوچک از موضوعات را بازیابی می‌کند و تمایل دارد موضوعات قابل تفسیرتری نسبت به LDA تولید کند.

شهود پشت روش

یک پیکره را می‌توان به صورت یک جدول بزرگ نوشت که در آن هر سطر یک سند و هر ستون یک واژه است. NMF فرض می‌کند که این جدول حاصل ضرب دو جدول کوچکتر نامنفی است: یکی که نشان می‌دهد هر سند چقدر به هر موضوع تعلق دارد، و دیگری که نشان می‌دهد کدام واژه‌ها هر موضوع را تشکیل می‌دهند. از آنجایی که هیچ چیز مجاز به منفی بودن نیست، موضوعات فقط می‌توانند جمع شوند - نمی‌توانند یکدیگر را خنثی کنند - بنابراین هر موضوع در نهایت شبیه بسته‌ای منسجم از کلمات هم‌رخداد به نظر می‌رسد که خواننده می‌تواند نامی برای آن بگذارد.

تاریخ

NMF توسط لی و سونگ (۱۹۹۹) معرفی شد، که نشان دادند یادگیری نمایشی مبتنی بر اجزا و افزایشی از اشیاء، مؤلفه‌های قابل تفسیر را به دست می‌دهد. این تکنیک بعداً به عنوان یک مدل موضوعی برای متن اقتباس شد، و آرورا و همکاران (۲۰۱۳) الگوریتم عملی برای مدل‌سازی موضوعی با تضمین‌های قابل اثبات ارائه دادند و پایه نظری آن را تقویت کردند.

چه زمانی استفاده شود

از مدل‌سازی موضوعی NMF برای کاوش یا توصیف یک پیکره متنی استفاده کنید زمانی که تعداد اسناد کافی (حدود ۵۰ یا بیشتر) دارید و می‌توانید تعداد موضوعات k را از قبل تعیین کنید. این روش انتظار دارد داده‌های متنی به صورت ماتریس سند-واژه نمایش داده شوند، با ترجیح وکتورسازی TF-IDF. این روش زمانی مناسب است که موضوعات قابل تفسیر و نام‌گذاری شده بیش از یک مدل کاملاً احتمالی اهمیت داشته باشند.

محدودیت‌ها و ملاحظات

  • تعداد موضوعات k باید از قبل انتخاب شود تا اینکه از داده‌ها یاد گرفته شود.
  • به تعداد کافی اسناد (حدود ۵۰ یا بیشتر) برای بازیابی موضوعات پایدار نیاز دارد.
  • برخلاف یک مدل احتمالی، حساب مولد یا عدم قطعیت اصولی بر روی موضوعات ارائه نمی‌دهد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • موضوعات قابل تفسیرتری نسبت به LDA به لطف تجزیه افزایشی و مبتنی بر اجزای آن تولید می‌کند.
  • به طور طبیعی بر روی ماتریس‌های سند-واژه TF-IDF، نمایش استاندارد متن، کار می‌کند.
  • از نظر مفهومی ساده: یک تجزیه ماتریس واحد با تقسیم‌بندی واضح سند-موضوع و موضوع-واژه.

کاربردها

  • کشف و نام‌گذاری مضامین اصلی در مجموعه‌ای از اسناد.
  • خلاصه‌سازی پیکره‌های بزرگ بر اساس موضوعات غالب آن‌ها برای تحلیل اکتشافی.
  • برچسب‌گذاری اسناد با توزیع موضوعات برای توصیف و جستجوی پایین‌دستی.
  • مقایسه ساختار موضوعی در زیرمجموعه‌های پیکره.

چگونه کار می‌کند

چگونه کار می‌کند

1

پیکره به یک ماتریس سند-واژه تبدیل می‌شود که در آن هر سند به صورت سطری از امتیازات وزنی واژه‌ها در می‌آید. وکتورسازی TF-IDF ترجیح داده می‌شود، زیرا کلمات همه‌جا حاضر را کم‌اهمیت جلوه می‌دهد و واژه‌هایی را که اسناد را متمایز می‌کنند برجسته می‌کند - به تجزیه سیگنال تمیزتری برای کار می‌دهد.

2

ماتریس سند-واژه به صورت حاصل ضرب دو ماتریس نامنفی تقریب زده می‌شود: یک ماتریس سند-موضوع و یک ماتریس موضوع-واژه. تعداد موضوعات انتخاب شده k بعد داخلی این حاصل ضرب را تعیین می‌کند، و تجزیه به گونه‌ای تنظیم می‌شود که بازسازی به ماتریس اصلی نزدیک بماند و در عین حال هر ورودی نامنفی باقی بماند.

3

هر موضوع با بررسی بالاترین وزن‌ها در ستون مربوطه در ماتریس موضوع-واژه خوانده می‌شود. از آنجایی که تمام وزن‌ها نامنفی هستند و با هم جمع می‌شوند، این واژه‌های برتر یک تم قابل خواندن را تشکیل می‌دهند که می‌توان آن را برچسب‌گذاری کرد - این ساختار افزایشی و مبتنی بر اجزا همان چیزی است که موضوعات NMF را قابل تفسیرتر از موضوعات LDA می‌کند.

4

هر سند با سطر خود در ماتریس سند-موضوع توصیف می‌شود، که قدرت هر موضوع را در آن سند نشان می‌دهد. این توزیع‌ها می‌توانند برای خلاصه‌سازی پیکره، برچسب‌گذاری اسناد با موضوعات غالب آن‌ها، یا تغذیه توصیف و کاوش پایین‌دستی استفاده شوند.

دام‌های رایج

  • تنظیم نادرست k - تعداد کم موضوعات، تم‌های متمایز را ادغام می‌کند، تعداد زیاد آن‌ها را به نویز خرد می‌کند.
  • نادیده گرفتن وزن‌دهی TF-IDF به کلمات رایج اجازه می‌دهد تا غالب شوند و موضوعات را محو می‌کند.
  • اجرا بر روی تعداد اسناد کم، موضوعات ناپایداری را ایجاد می‌کند که از یک برازش به برازش بعدی تغییر می‌کنند.
  • رفتار با ستون‌های موضوع به عنوان دقیق به جای تقریبی - NMF فقط ماتریس اصلی را به طور تقریبی بازسازی می‌کند.

پرسش‌های متداول

مدل‌سازی موضوعی NMF چگونه با LDA متفاوت است؟

هر دو توزیع‌های سند-موضوع را استخراج می‌کنند، اما NMF یک تجزیه ماتریس است که تمام مؤلفه‌ها را مجبور به نامنفی و افزایشی بودن می‌کند، در حالی که LDA یک مدل مولد احتمالی است. ساختار افزایشی و مبتنی بر اجزای NMF تمایل دارد موضوعات آن را قابل تفسیرتر از موضوعات LDA کند.

چگونه تعداد موضوعات k را انتخاب کنم؟

k باید قبل از برازش تنظیم شود، زیرا NMF آن را از داده‌ها یاد نمی‌گیرد. آن را بر اساس دانش دامنه و با مقایسه تفسیرپذیری و انسجام موضوعات در چندین مقدار k انتخاب کنید.

چرا TF-IDF بر شمارش خام ترجیح داده می‌شود؟

TF-IDF کلماتی را که در همه‌جا ظاهر می‌شوند کم‌اهمیت جلوه می‌دهد و واژه‌هایی را که اسناد را متمایز می‌کنند برجسته می‌کند، که سیگنال تمیزتری به تجزیه می‌دهد و موضوعات واضح‌تر و قابل نام‌گذاری‌تری تولید می‌کند.

به چند سند نیاز دارم؟

حدود ۵۰ یا بیشتر حداقل توصیه شده است. با تعداد اسناد کم، موضوعات بازیابی شده ناپایدار می‌شوند و ممکن است از یک برازش به برازش بعدی تغییر کنند.

روش‌های مرتبط

منابع

  1. Lee, D.D. & Seung, H.S. (1999). Learning the Parts of Objects by Non-negative Matrix Factorization. Nature, 401, 788-791.

    باز کردن مرجع DOI
    کپی شد.
  2. Arora, S., Ge, R., Halpern, Y., Mimno, D., Moitra, A., Sontag, D., Wu, Y. & Zhu, M. (2013). A Practical Algorithm for Topic Modeling with Provable Guarantees. Proceedings of the 30th International Conference on Machine Learning (ICML), 280-288.

    باز کردن مرجع انتشار
    کپی شد.