نموذج موضوعات تحليل المصفوفة غير السالبة (NMF)
- قدّمه
- Lee, D. D. & Seung, H. S.
- السنة
- 1999
- النوع
- Matrix factorization / unsupervised topic model
- العائلة
- Deep learning / NLP / CV
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تحليل المصفوفة غير السالبة (NMF) هو طريقة غير خاضعة للإشراف لتحليل المصفوفات تكتشف الموضوعات الكامنة في مجموعة نصوص عن طريق تحليل مصفوفة المستندات والمصطلحات إلى مصفوفتين غير سالبتين — إحداهما ترمّز أوزان الكلمات في الموضوعات، والأخرى ترمّز أوزان المستندات في الموضوعات. ينتج عن قيد عدم السلبية تمثيلات إضافية قائمة على الأجزاء، والتي تميل إلى إنتاج موضوعات واضحة وقابلة للتفسير.
الفكرة الحدسية وراء الطريقة
تخيل مجموعتك النصية كجدول بيانات كبير حيث تمثل الصفوف المستندات والأعمدة الكلمات. يتساءل NMF: هل يمكنني إعادة التعبير عن جدول البيانات هذا كمزيج من عدد صغير من أنماط الكلمات الأصلية (الموضوعات)؟ نظرًا لأن جميع القيم يجب أن تكون غير سالبة، لا يمكن للنموذج إلغاء نمط مقابل آخر — فهو مجبر على إيجاد لبنات بناء إضافية. يوصف كل مستند بعد ذلك كمزيج من هذه الأنماط. غالبًا ما تكون النتيجة أكثر قابلية للقراءة مباشرة من نماذج الموضوعات الاحتمالية، حيث نادرًا ما تتداخل الكلمات العليا لكل موضوع بشكل كبير.
التاريخ
تم تقديم تحليل المصفوفة غير السالبة (Non-negative Matrix Factorization) بواسطة دانيال دي لي (Daniel D. Lee) وإتش. سيباستيان سيونغ (H. Sebastian Seung) في ورقة بحثية بارزة عام 1999 في مجلة Nature أظهرت أن NMF لبيانات الصور ينتج تمثيلات موضعية قائمة على الأجزاء — على عكس تحليل المكونات الرئيسية (PCA) أو التكميم المتجه (VQ). قدمت ورقتهما البحثية عام 2001 في NIPS قواعد التحديث الضربي القياسية الآن. تم اعتماد NMF بسرعة لتحليل النصوص كبديل لنمذجة الموضوعات لـ LDA، حيث يوفر تدريبًا أبسط وغالبًا ما يكون تجمعات كلمات أكثر وضوحًا. لا يزال معيارًا أساسيًا في أبحاث معالجة اللغة الطبيعية (NLP) واسترجاع المعلومات.
متى تُستخدم
استخدم NMF عندما تحتاج إلى موضوعات واضحة وقائمة على الأجزاء من مجموعة نصوص، خاصة عندما تريد موضوعات ذات تداخل منخفض في الكلمات وتسمية واضحة. يعمل بشكل جيد على مصفوفات TF-IDF المشتقة من المستندات القصيرة إلى المتوسطة مثل الملخصات أو المقالات الإخبارية أو إجابات الاستبيانات. وهو مناسب بشكل خاص عندما تكون قابلية التفسير هي الشغل الشاغل وعندما تكون المجموعة النصية ذات حجم معتدل (الآلاف إلى مئات الآلاف من المستندات). تجنب NMF عندما تكون لديك مستندات قصيرة جدًا (أقل من حوالي 20 رمزًا لكل منها)، أو عندما يكون نموذج توليدي احتمالي مطلوبًا للاستدلال اللاحق، أو عندما تكون المجموعة النصية كبيرة جدًا ومتفرقة — في هذه الحالات قد تكون نماذج LDA أو نماذج الموضوعات العصبية أكثر ملاءمة.
الحدود والاعتبارات
- يجب على المستخدم تحديد عدد الموضوعات k؛ لا توجد آلية مدمجة لاستنتاجه من البيانات.
- NMF ليس نموذجًا احتماليًا توليديًا، لذا فإن عضويات المستندات في الموضوعات ليست احتمالات صحيحة ولا يمكن استخدامها مباشرة في مسارات العمل الاحتمالية.
- تعتمد النتائج على التهيئة ويمكن أن تختلف عبر التشغيلات ما لم يتم استخدام بذرة ثابتة وتهيئة NNDSVD.
- تنتج المستندات القصيرة جدًا (أقل من حوالي 20 رمزًا) صفوفًا متفرقة في V يصعب تحليلها بشكل هادف.
- لا يقوم NMF بنمذجة الارتباطات بين الموضوعات أو المتغيرات المشتركة على مستوى المستند كما تفعل نماذج الموضوعات الهيكلية.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- ينتج عن قيد عدم السلبية تمثيلات إضافية قائمة على الأجزاء غالبًا ما تكون أكثر قابلية للتفسير من LDA.
- تميل الموضوعات إلى أن يكون لديها تداخل أقل في الكلمات بين الموضوعات، مما يسهل التسمية اليدوية.
- التحديثات الحتمية (مع بذرة ثابتة) تجعل النتائج أكثر قابلية للتكرار من LDA القائم على أخذ العينات.
- يقلل إدخال TF-IDF من وزن الكلمات الشائعة بشكل طبيعي، مما يقلل الحاجة إلى قائمة شاملة من كلمات التوقف.
- تنفيذ مباشر في المكتبات القياسية (scikit-learn) مع عدد قليل من المعاملات الفائقة المطلوبة.
- يتوسع بشكل معقول إلى مجموعات نصية تتكون من عشرات الآلاف من المستندات دون الحاجة إلى أجهزة متخصصة.
التطبيقات
- اكتشاف الموضوعات والتحليل الموضوعي في الأدبيات العلمية، ومجموعات الأخبار، والإجابات المفتوحة للاستبيانات.
- تجميع المستندات وتصنيف المحتوى التلقائي لمستودعات المستندات الكبيرة.
- أنظمة التوصية التي تستخدم متجهات المستندات-الموضوعات كميزات للعناصر.
- تحليل الإشارة في المعلوماتية الحيوية (التعبير الجيني) وفصل مصادر الصوت، حيث نشأ NMF.
- نموذج موضوعات أساسي تتم مقارنة النماذج العصبية أو الاحتمالية به.
- تقليل الأبعاد لمصفوفات المستندات-المصطلحات المتفرقة قبل التصنيف اللاحق.
كيف يعمل
كيف يعمل
يتم تحويل المجموعة النصية إلى مصفوفة مستندات-مصطلحات V ذات شكل n-مستندات في m-مفردات. تحتوي كل خلية عادةً على درجة TF أو TF-IDF — عدد خام غير سالب أو ما يعادله الموزون. يتم تطبيق المعالجة المسبقة (تحويل الأحرف إلى صغيرة، إزالة كلمات التوقف، التجذيع الاختياري) وتقليم المفردات (الحد الأدنى لتكرار المستند، الحد الأقصى لتكرار المستند) أولاً لتقليل الضوضاء.
يتم تقريب V كناتج لمصفوفتين غير سالبتين: W (n في k، أوزان المستندات-الموضوعات) و H (k في m، أوزان الموضوعات-الكلمات)، حيث k هو العدد المختار للموضوعات. يتم تهيئة كلتا المصفوفتين — عادةً باستخدام بذرة تحليل القيم المفردة غير السالبة (NNDSVD) أو قيم عشوائية غير سالبة — ثم يتم تحسينهما بشكل متكرر لتقليل خسارة إعادة البناء مثل معيار فروبينيوس (Frobenius norm) أو تباعد كولباك-لايبلر (KL divergence) من V إلى WH.
الصيغة
V \approx W H,\; W \in \mathbb{R}_{\geq 0}^{n \times k},\; H \in \mathbb{R}_{\geq 0}^{k \times m}تكرر قواعد التحديث الضربي لـ لي-سيونغ (Lee-Seung) W و H في وقت واحد. يضرب كل تحديث القيمة الحالية بنسبة مضمونة أن تكون موجبة، مما يحافظ على عدم السلبية طوال العملية. تستمر التكرارات حتى تنخفض خسارة إعادة البناء إلى ما دون التسامح أو يتم الوصول إلى الحد الأقصى لعدد التكرارات.
الصيغة
H \leftarrow H \odot \frac{W^{T}V}{W^{T}WH}, \quad W \leftarrow W \odot \frac{VH^{T}}{WHH^{T}}بعد كل تكرار، تتحقق الخوارزمية مما إذا كان التغيير في خسارة إعادة البناء أصغر من التسامح المحدد (عادةً 1e-4). إذا كان الأمر كذلك، يتم الإعلان عن التقارب. تحدد التطبيقات العملية أيضًا عدد التكرارات (مثل 200) لتجنب الحسابات المفرطة على المفردات الكبيرة.
بمجرد التقارب، يمثل كل صف من H موضوعًا: الأعمدة ذات الأوزان الأعلى هي الكلمات المحددة لهذا الموضوع. يمثل كل صف من W عضوية المستند الناعمة عبر الموضوعات. يتم عادةً تسمية الموضوعات بأعلى 5 إلى 10 كلمات فيها. يمكن استخدام مقاييس التماسك (مثل NPMI) لاختيار أفضل عدد من الموضوعات k.
الأخطاء الشائعة
- اختيار k بشكل تعسفي دون تقييم مقاييس التماسك عبر مجموعة من القيم.
- استخدام مصفوفات العد الخام بدلاً من TF-IDF، مما يتسبب في هيمنة الكلمات عالية التردد على كل موضوع.
- تخطي تقليم المفردات (الحد الأدنى/الأقصى لتكرار المستند)، مما يترك مصطلحات صاخبة أو نادرة جدًا تضخم المصفوفة وتطمس الموضوعات.
- معاملة أوزان المستندات-الموضوعات كاحتمالات دون تطبيعها على مستوى الصف.
- تجاهل تأثير خيارات المعالجة المسبقة (التجذيع مقابل الاشتقاق، قوائم كلمات التوقف) على جودة الموضوع.
الأسئلة الشائعة
كيف أختار عدد الموضوعات k؟
قم بتشغيل NMF لمجموعة من قيم k (على سبيل المثال من 5 إلى 30) وقم بتقييم تماسك الموضوع (درجة NPMI أو C_V) على عينة مفردات محتجزة. ارسم التماسك مقابل k وابحث عن ذروة أو نقطة انعطاف. المعرفة بالمجال حول البنية الموضوعية المتوقعة للمجموعة النصية هي أيضًا دليل مفيد.
هل NMF أفضل من LDA؟
لا يوجد أحدهما أفضل عالميًا. غالبًا ما ينتج NMF موضوعات ذات تداخل أقل في الكلمات بين الموضوعات وهو أسرع في التدريب، لكنه ليس نموذجًا احتماليًا توليديًا. يوفر LDA توزيعات المستندات-الموضوعات التي هي احتمالات صحيحة ويدعم تقييم الحيرة المحتجزة. يعتمد الاختيار على ما إذا كانت قابلية التفسير أو الاستدلال الاحتمالي هي الأولوية.
هل يتطلب NMF إزالة كلمات التوقف؟
يقلل إدخال TF-IDF من تأثير الكلمات الشائعة تلقائيًا، لكن إزالة كلمات التوقف الصريحة وتقليم الحد الأدنى لتكرار المستند لا يزال يحسن النتائج عن طريق إزالة الرموز النادرة جدًا أو الموجودة في جميع أنحاء المجموعة النصية التي تضيف ضوضاء دون المساهمة في موضوعات متماسكة.
ما مدى قابلية تكرار نتائج NMF؟
مع بذرة عشوائية ثابتة وتهيئة NNDSVD، تكون نتائج NMF قابلة للتكرار بدرجة عالية. بدون بذرة ثابتة، يمكن أن تسفر التشغيلات المختلفة عن ترتيبات موضوعات مختلفة أو توزيعات كلمات مختلفة قليلاً. قم دائمًا بتعيين بذرة وقم بالإبلاغ عنها عند النشر.
هل يمكن لـ NMF التعامل مع المجموعات النصية متعددة اللغات؟
نعم، ولكن يجب أن تتعامل مصفوفة المستندات-المصطلحات مع مفردات كل لغة على حدة، أو يجب ترجمة المجموعة النصية إلى لغة مشتركة أولاً. تم تصميم نماذج الموضوعات متعددة اللغات (مثل LDA متعدد اللغات أو الأساليب القائمة على BERT متعددة اللغات) خصيصًا للإعدادات متعددة اللغات وقد تتفوق على NMF العادي هناك.
طرق ذات صلة
المصادر
Lee, D. D., & Seung, H. S. (1999). Learning the parts of objects by non-negative matrix factorization. Nature, 401(6755), 788–791.
افتح مرجع DOIتم النسخ.Lee, D. D., & Seung, H. S. (2001). Algorithms for non-negative matrix factorization. In Advances in Neural Information Processing Systems (NIPS), 13, 556–562.
افتح مرجع المنشورتم النسخ.