Skip to content
بازگشت به نتایج جست‌وجو

مدل موضوعی NMF

معرفی‌شده توسط
Lee, D. D. & Seung, H. S.
سال
1999
نوع
Matrix factorization / unsupervised topic model
خانواده
Deep learning / NLP / CV

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

تجزیه ماتریس نامنفی (NMF) یک روش تجزیه ماتریس بدون نظارت است که با تجزیه یک ماتریس سند-واژگان به دو ماتریس نامنفی، موضوعات پنهان را در یک پیکره متنی کشف می‌کند — یکی وزن‌های موضوع-واژه را رمزگذاری می‌کند و دیگری وزن‌های سند-موضوع را. قید نامنفی بودن، نمایش‌های مبتنی بر اجزا را تولید می‌کند که تمایل به تولید موضوعات پاک و قابل تفسیر دارند.

شهود پشت روش

پیکره خود را به عنوان یک صفحه گسترده بزرگ تصور کنید که در آن سطرها اسناد و ستون‌ها واژگان هستند. NMF می‌پرسد: آیا می‌توانم این صفحه گسترده را به صورت ترکیبی از تعداد کمی الگوی واژگان کهن‌الگو (موضوعات) بازنویسی کنم؟ از آنجایی که همه مقادیر باید نامنفی باشند، مدل نمی‌تواند یک الگو را با الگوی دیگر خنثی کند — مجبور است بلوک‌های سازنده افزایشی را پیدا کند. سپس هر سند به عنوان ترکیبی از این الگوها توصیف می‌شود. نتیجه اغلب مستقیماً خواناتر از مدل‌های موضوعی احتمالی است، زیرا واژگان برتر برای هر موضوع به ندرت همپوشانی قوی دارند.

تاریخ

تجزیه ماتریس نامنفی (Non-negative Matrix Factorization) توسط Daniel D. Lee و H. Sebastian Seung در یک مقاله برجسته در Nature در سال 1999 معرفی شد که نشان داد NMF داده‌های تصویری، نمایش‌های موضعی و مبتنی بر اجزا را تولید می‌کند — برخلاف PCA یا VQ. مقاله آن‌ها در NIPS در سال 2001 قواعد به‌روزرسانی ضربی استاندارد امروزی را ارائه داد. NMF به سرعت به عنوان یک جایگزین مدل‌سازی موضوعی برای LDA برای تجزیه و تحلیل متن پذیرفته شد و آموزش ساده‌تر و خوشه‌های واژگانی اغلب واضح‌تری را ارائه داد. این روش همچنان یک خط پایه استاندارد در تحقیقات NLP و بازیابی اطلاعات است.

چه زمانی استفاده شود

هنگامی که موضوعات واضح و مبتنی بر اجزا از یک پیکره متنی نیاز دارید، به خصوص زمانی که موضوعاتی با همپوشانی کم واژگان و برچسب‌گذاری واضح می‌خواهید، از NMF استفاده کنید. این روش روی ماتریس‌های TF-IDF مشتق شده از اسناد کوتاه تا متوسط مانند چکیده‌ها، مقالات خبری یا پاسخ‌های نظرسنجی به خوبی کار می‌کند. این روش به ویژه زمانی مناسب است که تفسیرپذیری یک نگرانی اصلی باشد و پیکره اندازه متوسطی داشته باشد (هزاران تا صدها هزار سند). از NMF زمانی اجتناب کنید که اسناد بسیار کوتاهی دارید (کمتر از حدود 20 توکن در هر کدام)، زمانی که یک مدل مولد احتمالی برای استنتاج پایین‌دستی مورد نیاز است، یا زمانی که پیکره بسیار بزرگ و پراکنده است — در این موارد LDA یا مدل‌های موضوعی عصبی ممکن است مناسب‌تر باشند.

محدودیت‌ها و ملاحظات

  • تعداد موضوعات k باید توسط کاربر تعیین شود؛ هیچ مکانیزم داخلی برای استنتاج آن از داده‌ها وجود ندارد.
  • NMF یک مدل احتمالی مولد نیست، بنابراین عضویت‌های سند-موضوع احتمالات صحیح نیستند و نمی‌توانند مستقیماً در خطوط لوله احتمالی استفاده شوند.
  • نتایج به مقداردهی اولیه بستگی دارد و مگر اینکه از یک مقدار اولیه ثابت و مقداردهی اولیه NNDSVD استفاده شود، می‌تواند در اجراهای مختلف متفاوت باشد.
  • اسناد بسیار کوتاه (کمتر از حدود 20 توکن) سطرهای پراکنده‌ای در V تولید می‌کنند که تجزیه معنادار آن‌ها دشوار است.
  • NMF همبستگی موضوعات یا کووریت‌های سطح سند را مانند مدل‌های موضوعی ساختاری مدل نمی‌کند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • قید نامنفی بودن، نمایش‌های افزایشی و مبتنی بر اجزا را تولید می‌کند که اغلب قابل تفسیرتر از LDA هستند.
  • موضوعات تمایل به همپوشانی واژگان بین موضوعی کمتری دارند و برچسب‌گذاری دستی را آسان‌تر می‌کنند.
  • به‌روزرسانی‌های قطعی (با یک مقدار اولیه ثابت) نتایج را نسبت به LDA مبتنی بر نمونه‌گیری، قابل تکرارتر می‌کنند.
  • ورودی TF-IDF به طور طبیعی کلمات رایج را کم‌اهمیت جلوه می‌دهد و نیاز به لیست جامع کلمات توقف را کاهش می‌دهد.
  • پیاده‌سازی مستقیم در کتابخانه‌های استاندارد (scikit-learn) با تعداد کمی ابرپارامتر مورد نیاز.
  • به طور معقولی به پیکره‌هایی با ده‌ها هزار سند بدون سخت‌افزار تخصصی مقیاس‌پذیر است.

کاربردها

  • کشف موضوع و تحلیل مضمونی در ادبیات علمی، پیکره‌های خبری و پاسخ‌های باز نظرسنجی‌ها.
  • خوشه‌بندی اسناد و برچسب‌گذاری خودکار محتوا برای مخازن بزرگ اسناد.
  • سیستم‌های توصیه‌گر که از بردارهای سند-موضوع به عنوان ویژگی‌های آیتم استفاده می‌کنند.
  • تجزیه سیگنال در بیوانفورماتیک (بیان ژن) و جداسازی منابع صوتی، که NMF از آنجا سرچشمه گرفته است.
  • مدل موضوعی پایه که مدل‌های عصبی یا احتمالی با آن مقایسه می‌شوند.
  • کاهش ابعاد ماتریس‌های سند-واژگان پراکنده قبل از طبقه‌بندی پایین‌دستی.

چگونه کار می‌کند

چگونه کار می‌کند

1

پیکره به یک ماتریس سند-واژگان V با ابعاد تعداد اسناد در تعداد واژگان تبدیل می‌شود. هر سلول معمولاً حاوی امتیاز TF یا TF-IDF است — شمارش‌های خام نامنفی یا معادل وزن‌دار آن‌ها. پیش‌پردازش (تبدیل به حروف کوچک، حذف کلمات توقف، ریشه‌یابی اختیاری) و هرس واژگان (حداقل فراوانی سند، حداکثر فراوانی سند) ابتدا برای کاهش نویز اعمال می‌شوند.

2

V به صورت حاصل‌ضرب دو ماتریس نامنفی تقریب زده می‌شود: W (تعداد اسناد در تعداد موضوعات، وزن‌های سند-موضوع) و H (تعداد موضوعات در تعداد واژگان، وزن‌های موضوع-واژه)، که در آن k تعداد موضوعات انتخاب شده است. هر دو ماتریس مقداردهی اولیه می‌شوند — معمولاً با یک مقدار اولیه SVD نامنفی (NNDSVD) یا مقادیر نامنفی تصادفی — و سپس به صورت تکراری برای حداقل کردن زیان بازسازی مانند هنجار فروبنیوس یا واگرایی KL از V به WH، اصلاح می‌شوند.

فرمول
V \approx W H,\; W \in \mathbb{R}_{\geq 0}^{n \times k},\; H \in \mathbb{R}_{\geq 0}^{k \times m}
3

قواعد به‌روزرسانی ضربی Lee-Seung، W و H را به طور همزمان تکرار می‌کنند. هر به‌روزرسانی مقدار فعلی را در نسبتی ضرب می‌کند که تضمین شده مثبت است و نامنفی بودن را در طول فرآیند حفظ می‌کند. تکرارها تا زمانی ادامه می‌یابند که زیان بازسازی به زیر یک تلورانس برسد یا تعداد حداکثر تکرار طی شود.

فرمول
H \leftarrow H \odot \frac{W^{T}V}{W^{T}WH}, \quad W \leftarrow W \odot \frac{VH^{T}}{WHH^{T}}
4

پس از هر تکرار، الگوریتم بررسی می‌کند که آیا تغییر در زیان بازسازی کوچکتر از یک تلورانس تعیین شده (معمولاً 1e-4) است یا خیر. اگر چنین باشد، همگرایی اعلام می‌شود. پیاده‌سازی‌های عملی همچنین تکرارها را محدود می‌کنند (مثلاً 200) تا از محاسبات خارج از کنترل در واژگان بزرگ جلوگیری شود.

5

پس از همگرایی، هر سطر از H یک موضوع است: ستون‌هایی با بالاترین وزن‌ها، واژگان تعریف‌کننده آن موضوع هستند. هر سطر از W عضویت نرم سند در موضوعات را نشان می‌دهد. موضوعات معمولاً با 5 تا 10 واژه برترشان برچسب‌گذاری می‌شوند. معیارهای انسجام (مانند NPMI) می‌توانند برای انتخاب بهترین تعداد موضوعات k استفاده شوند.

دام‌های رایج

  • انتخاب خودسرانه k بدون ارزیابی معیارهای انسجام در طیف وسیعی از مقادیر.
  • استفاده از ماتریس‌های شمارش خام به جای TF-IDF، که باعث می‌شود کلمات با فراوانی بالا بر هر موضوع تسلط یابند.
  • نادیده گرفتن هرس واژگان (حداقل/حداکثر فراوانی سند)، باقی گذاشتن اصطلاحات پر سر و صدا یا بسیار نادر که ماتریس را متورم کرده و موضوعات را محو می‌کنند.
  • رفتار دادن به وزن‌های سند-موضوع به عنوان احتمالات بدون نرمال‌سازی ردیفی آن‌ها.
  • نادیده گرفتن تأثیر انتخاب‌های پیش‌پردازش (ریشه‌یابی در مقابل لماتیزاسیون، لیست کلمات توقف) بر کیفیت موضوع.

پرسش‌های متداول

چگونه تعداد موضوعات k را انتخاب کنم؟

NMF را برای طیف وسیعی از مقادیر k (مثلاً 5 تا 30) اجرا کنید و انسجام موضوع (امتیاز NPMI یا C_V) را بر روی نمونه‌ای از واژگان نگه‌داشته شده ارزیابی کنید. انسجام را در مقابل k رسم کنید و به دنبال یک قله یا آرنج باشید. دانش دامنه در مورد ساختار موضوعی مورد انتظار پیکره نیز یک راهنمای مفید است.

آیا NMF بهتر از LDA است؟

هیچ‌کدام به طور جهانی بهتر نیستند. NMF اغلب موضوعاتی با همپوشانی کمتر واژگان بین موضوعی تولید می‌کند و آموزش آن سریع‌تر است، اما یک مدل احتمالی مولد نیست. LDA توزیع‌های سند-موضوعی را ارائه می‌دهد که احتمالات صحیح هستند و از ارزیابی احتمال نگه‌داشته شده پشتیبانی می‌کند. انتخاب به این بستگی دارد که آیا تفسیرپذیری یا استنتاج احتمالی اولویت دارد.

آیا NMF به حذف کلمات توقف نیاز دارد؟

استفاده از ورودی TF-IDF به طور خودکار تأثیر کلمات رایج را کاهش می‌دهد، اما حذف صریح کلمات توقف و هرس حداقل فراوانی سند همچنان نتایج را با حذف توکن‌های بسیار نادر یا سراسری که بدون کمک به موضوعات منسجم، نویز اضافه می‌کنند، بهبود می‌بخشد.

نتایج NMF چقدر قابل تکرار هستند؟

با یک مقدار اولیه تصادفی ثابت و مقداردهی اولیه NNDSVD، نتایج NMF بسیار قابل تکرار هستند. بدون مقدار اولیه ثابت، اجراهای مختلف می‌توانند ترتیب موضوعات متفاوت یا توزیع‌های واژگان کمی متفاوت را تولید کنند. همیشه یک مقدار اولیه تنظیم کنید و هنگام انتشار آن را گزارش دهید.

آیا NMF می‌تواند پیکره‌های چندزبانه را مدیریت کند؟

بله، اما ماتریس سند-واژگان باید واژگان هر زبان را به طور جداگانه در نظر بگیرد، یا پیکره باید ابتدا به یک زبان مشترک ترجمه شود. مدل‌های موضوعی چندزبانه (مانند LDA چندزبانه یا رویکردهای مبتنی بر BERT چندزبانه) به طور خاص برای تنظیمات بین‌زبانی طراحی شده‌اند و ممکن است در آنجا از NMF ساده بهتر عمل کنند.

روش‌های مرتبط

منابع

  1. Lee, D. D., & Seung, H. S. (1999). Learning the parts of objects by non-negative matrix factorization. Nature, 401(6755), 788–791.

    باز کردن مرجع DOI
    کپی شد.
  2. Lee, D. D., & Seung, H. S. (2001). Algorithms for non-negative matrix factorization. In Advances in Neural Information Processing Systems (NIPS), 13, 556–562.

    باز کردن مرجع انتشار
    کپی شد.