نمذجة المواضيع باستخدام التفكيك المصفوفي غير السالب (NMF)
- قدّمه
- Lee & Seung
- السنة
- 1999
- النوع
- Matrix-factorization topic model
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تستخدم نمذجة المواضيع باستخدام التفكيك المصفوفي غير السالب (NMF) - وهو التفكيك المعتمد على الأجزاء الذي قدمه Lee و Seung (1999) - لاستخلاص توزيعات المواضيع المستندة إلى المستندات من مجموعة نصوص. عن طريق تفكيك مصفوفة المستندات والمصطلحات إلى مصفوفتين غير سالبتين، فإنه يستعيد مجموعة صغيرة من المواضيع ويميل إلى إنتاج مواضيع أكثر قابلية للتفسير من نموذج التخصيص الليبي (LDA).
الفكرة الحدسية وراء الطريقة
يمكن كتابة مجموعة النصوص على شكل جدول كبير حيث يمثل كل صف مستندًا وكل عمود مصطلحًا. تفترض NMF أن هذا الجدول هو ناتج مصفوفتين أصغر غير سالبتين: واحدة تحدد مدى انتماء كل مستند إلى كل موضوع، وأخرى تحدد المصطلحات التي تشكل كل موضوع. نظرًا لأنه لا يُسمح بأي شيء أن يكون سالبًا، فإن المواضيع يمكن أن تتراكم فقط - لا يمكنها إلغاء بعضها البعض - لذا ينتهي كل موضوع ليبدو كمجموعة متماسكة من الكلمات المتزامنة التي يمكن للقارئ تسميتها.
التاريخ
قدم Lee و Seung (1999) نموذج NMF، حيث أظهروا أن تعلم تمثيل يعتمد على الأجزاء والإضافية للكائنات ينتج مكونات قابلة للتفسير. تم تكييف التقنية لاحقًا للنص كنموذج موضوع، وقدم Arora وآخرون (2013) خوارزمية عملية لنمذجة المواضيع مع ضمانات قابلة للإثبات، مما عزز أسسها النظرية.
متى تُستخدم
استخدم نمذجة المواضيع باستخدام NMF لاستكشاف أو وصف مجموعة نصوص عندما يكون لديك عدد كافٍ من المستندات (حوالي 50 أو أكثر) ويمكنك تحديد عدد المواضيع k مسبقًا. تتوقع بيانات نصية ممثلة كمصفوفة مستندات ومصطلحات، مع تفضيل متجه TF-IDF. إنها مناسبة عندما تكون المواضيع القابلة للتفسير والقابلة للتسمية أكثر أهمية من نموذج احتمالي كامل.
الحدود والاعتبارات
- يجب اختيار عدد المواضيع k مسبقًا بدلاً من تعلمه من البيانات.
- تحتاج إلى عدد كافٍ من المستندات (حوالي 50 أو أكثر) لاستعادة مواضيع مستقرة.
- على عكس النموذج الاحتمالي، لا تقدم حسابًا توليديًا أو عدم يقين مبدئيًا بشأن المواضيع.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- تنتج مواضيع أكثر قابلية للتفسير من LDA بفضل تفكيكها الإضافي المعتمد على الأجزاء.
- تعمل بشكل طبيعي على مصفوفات المستندات والمصطلحات TF-IDF، وهي التمثيل القياسي للنص.
- بسيطة من الناحية المفاهيمية: تفكيك مصفوفة واحدة مع تقسيم واضح للمستندات والمواضيع والمواضيع والمصطلحات.
التطبيقات
- اكتشاف وتسمية المواضيع الرئيسية في مجموعة من المستندات.
- تلخيص مجموعات النصوص الكبيرة حسب مواضيعها السائدة للتحليل الاستكشافي.
- وضع علامات على المستندات بتوزيعات المواضيع للوصف والبحث اللاحق.
- مقارنة بنية المواضيع عبر مجموعات فرعية من مجموعة النصوص.
كيف يعمل
كيف يعمل
يتم تحويل مجموعة النصوص إلى مصفوفة مستندات ومصطلحات حيث يصبح كل مستند صفًا من درجات المصطلحات الموزونة. يُفضل استخدام متجه TF-IDF، لأنه يقلل من وزن الكلمات الشائعة ويبرز المصطلحات التي تميز المستندات بالفعل - مما يوفر إشارة أوضح للتفكيك للعمل معها.
يتم تقريب مصفوفة المستندات والمصطلحات على أنها ناتج مصفوفتين غير سالبتين: مصفوفة المستندات والمواضيع، ومصفوفة المواضيع والمصطلحات. يحدد العدد المختار للمواضيع k البعد الداخلي لهذا الناتج، ويتم ضبط التفكيك بحيث يظل إعادة البناء قريبًا من المصفوفة الأصلية مع الحفاظ على كل إدخال غير سالب.
يتم قراءة كل موضوع من مصفوفة المواضيع والمصطلحات عن طريق فحص المصطلحات ذات الوزن الأعلى في عمودها. نظرًا لأن جميع الأوزان غير سالبة وتتجمع معًا، فإن هذه المصطلحات العليا تشكل سمة قابلة للقراءة يمكن تسميتها - هذا الهيكل الإضافي المعتمد على الأجزاء هو ما يجعل مواضيع NMF أسهل في التفسير من مواضيع LDA.
يتم وصف كل مستند بواسطة صفه في مصفوفة المستندات والمواضيع، والتي تعطي قوة كل موضوع في هذا المستند. يمكن استخدام هذه التوزيعات لتلخيص مجموعة النصوص، ووضع علامات على المستندات بمواضيعها السائدة، أو تغذية الوصف والاستكشاف اللاحق.
الأخطاء الشائعة
- تحديد k بشكل سيء - عدد قليل جدًا من المواضيع يدمج السمات المميزة، والكثير منها يشطرها إلى ضوضاء.
- تجاهل ترجيح TF-IDF يسمح للكلمات الوظيفية المتكررة بالهيمنة وطمس المواضيع.
- التشغيل على عدد قليل جدًا من المستندات ينتج مواضيع غير مستقرة تتغير من تطبيق إلى آخر.
- معاملة أعمدة المواضيع على أنها تقريبية وليست دقيقة - NMF يعيد بناء المصفوفة الأصلية بشكل تقريبي فقط.
الأسئلة الشائعة
كيف تختلف نمذجة المواضيع باستخدام NMF عن LDA؟
كلاهما يستخلص توزيعات المستندات والمواضيع، لكن NMF هو تفكيك مصفوفي يجبر جميع المكونات على أن تكون غير سالبة وإضافية، بينما LDA هو نموذج توليدي احتمالي. يميل الهيكل الإضافي المعتمد على الأجزاء لـ NMF إلى جعل مواضيعه أكثر قابلية للتفسير من مواضيع LDA.
كيف أختار عدد المواضيع k؟
استخدم NMF الخاص بك مباشرة في أي بيئة Python - حمّل مصفوفة مستندات/كلمات، حدد عدد المواضيع K، واحصل على مصفوفات الميزة والوزن في مكان واحد.
لماذا يُفضل TF-IDF على العد الخام؟
يقوم TF-IDF بتقليل وزن الكلمات التي تظهر في كل مكان ويبرز المصطلحات التي تميز المستندات، مما يوفر إشارة أوضح للتفكيك وينتج مواضيع أكثر حدة وقابلة للتسمية.
كم عدد المستندات التي أحتاجها؟
حوالي 50 أو أكثر هو الحد الأدنى الموصى به. مع عدد قليل جدًا من المستندات، تصبح المواضيع المستعادة غير مستقرة وقد تتغير من تطبيق إلى آخر.
طرق ذات صلة
المصادر
Lee, D.D. & Seung, H.S. (1999). Learning the Parts of Objects by Non-negative Matrix Factorization. Nature, 401, 788-791.
افتح مرجع DOIتم النسخ.Arora, S., Ge, R., Halpern, Y., Mimno, D., Moitra, A., Sontag, D., Wu, Y. & Zhu, M. (2013). A Practical Algorithm for Topic Modeling with Provable Guarantees. Proceedings of the 30th International Conference on Machine Learning (ICML), 280-288.
افتح مرجع المنشورتم النسخ.