BERTopic — نمذجة المواضيع العصبية
- قدّمه
- Maarten Grootendorst
- السنة
- 2022
- النوع
- Neural topic-modeling pipeline
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
BERTopic هو خط أنابيب لنمذجة المواضيع العصبية قدمه مارتن غروتن دورست في عام 2022. يجمع بين التضمينات السياقية المستندة إلى BERT وتقليل أبعاد UMAP وتجميع HDBSCAN لإنتاج مواضيع متماسكة وديناميكية، محققًا تماسكًا للمواضيع أعلى من نماذج المواضيع الكلاسيكية.
الفكرة الحدسية وراء الطريقة
تعامل نماذج المواضيع الكلاسيكية الوثيقة كحقيبة كلمات ونادرًا ما تلتقط ما تعنيه الكلمات في سياقها. بدلاً من ذلك، تبدأ BERTopic من التضمينات السياقية، لذا فإن الوثائق التي تتحدث عن نفس الشيء بكلمات مختلفة تنتهي قريبة من بعضها البعض. تقوم بتجميع هذه الوثائق القريبة في مجموعات ثم تقرأ الكلمات التي تجعل كل مجموعة مميزة - وتصبح هذه الكلمات المميزة هي الموضوع. النتيجة هي مجموعة من السمات القابلة للقراءة البشرية التي تنبثق من معنى النص بدلاً من عدد الكلمات الخام.
التاريخ
تم تقديم BERTopic بواسطة مارتن غروتن دورست في عام 2022 كنهج عصبي لنمذجة المواضيع يجمع بين تضمينات المحولات وإجراء TF-IDF المستند إلى الفئة. يستند إلى خوارزمية التجميع المعتمدة على الكثافة HDBSCAN من McInnes و Healy و Astels (2017) لمرحلة التجميع، مما ينقل نمذجة المواضيع بعيدًا عن الأساليب القائمة على العد فقط نحو مواضيع مدفوعة بالتضمين وتركز على التماسك.
متى تُستخدم
استخدم BERTopic عندما يكون لديك مجموعة نصوص وترغب في اكتشاف سماتها الأساسية دون تحديدها مسبقًا. إنها مناسبة للأعمال الاستكشافية والوصفية على النصوص المقطعية أو الطولية. هناك حاجة إلى عدد كافٍ من الوثائق - 50 على الأقل، مع توصية بأكثر من 100 - ويفضل استخدام وحدة معالجة الرسومات (GPU) أو حوسبة عالية لأن خطوة التضمين مكلفة. مع عدد قليل جدًا من الوثائق، يكون التجميع المعتمد على الكثافة لديه إشارة قليلة جدًا لتشكيل مواضيع مستقرة.
الحدود والاعتبارات
- يحتاج إلى عدد كافٍ من الوثائق - 50 على الأقل، مع توصية بأكثر من 100 - لتشكيل مواضيع مستقرة.
- يفضل استخدام وحدة معالجة الرسومات (GPU) أو حوسبة عالية لأن خطوة تضمين المحول مكلفة.
- تعتمد النتائج على نموذج التضمين وعلى إعدادات UMAP و HDBSCAN المختارة.
- تترك HDBSCAN بعض الوثائق غير مخصصة كقيم متطرفة، لذلك لا تتلقى كل وثيقة موضوعًا.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يبني على التضمينات السياقية، لذا فهو يلتقط المعنى الذي تفوته نماذج حقيبة الكلمات.
- ينتج مواضيع متماسكة وقابلة للتفسير مع تماسك أعلى من نماذج المواضيع الكلاسيكية.
- يدعم نمذجة المواضيع الديناميكية، وتتبع كيفية تحول المواضيع عبر الزمن في مجموعات النصوص ذات الطوابع الزمنية.
- يسمح نموذج التضمين متعدد اللغات لنفس خط الأنابيب بالعمل عبر اللغات.
التطبيقات
- اكتشاف السمات في مجموعات كبيرة من الوثائق أو التقارير للتحليل الاستكشافي.
- تتبع كيفية تطور المواضيع في مجموعة نصوص بمرور الوقت على النصوص ذات الطوابع الزمنية.
- تلخيص استجابات الاستبيانات المفتوحة أو المراجعات إلى سمات قابلة للتفسير.
- تنظيم مجموعات النصوص العلمية أو وسائل التواصل الاجتماعي في مجموعات مواضيع متماسكة عبر اللغات.
كيف يعمل
كيف يعمل
يتم تحويل كل وثيقة إلى تضمين سياقي باستخدام نموذج محول يعتمد على BERT. نظرًا لأن التضمين يلتقط المعنى في السياق، فإن الوثائق التي تعبر عن نفس الفكرة بصياغة مختلفة تهبط بالقرب من بعضها البعض في مساحة المتجهات. يتيح النموذج متعدد اللغات نفس خط الأنابيب معالجة مجموعات النصوص بلغات متعددة.
يتم إسقاط التضمينات عالية الأبعاد في مساحة ذات أبعاد أقل باستخدام UMAP. يحافظ هذا التخفيض على بنية الجوار المحلية سليمة مع جعل البيانات قابلة للمعالجة لخطوة التجميع التي تليها، حيث قد تضعف الأبعاد العالية الكثافة بخلاف ذلك.
تقوم HDBSCAN بتجميع التضمينات المخفضة في مجموعات تعتمد على الكثافة. نظرًا لأنها تعتمد على الكثافة، فإنها تجد مجموعات ذات أشكال متنوعة وتترك الوثائق المتفرقة حقًا غير مخصصة كقيم متطرفة بدلاً من إجبار كل وثيقة على موضوع.
لكل مجموعة، يقوم مقياس TF-IDF المستند إلى الفئة بترتيب المصطلحات الأكثر تميزًا لتلك المجموعة. تصبح المصطلحات الأعلى تصنيفًا هي تمثيل الموضوع، مما ينتج عنه مواضيع متماسكة وقابلة للتفسير، وعلى مجموعات النصوص ذات الطوابع الزمنية، مواضيع ديناميكية يمكن تتبعها بمرور الوقت.
الأخطاء الشائعة
- تشغيلها على عدد قليل جدًا من الوثائق يترك خطوة التجميع بدون كثافة كافية لتشكيل مواضيع ذات معنى.
- اختيار نموذج تضمين لا يتطابق مع لغة مجموعة النصوص يؤدي إلى تدهور جودة الموضوع؛ استخدم نموذجًا متعدد اللغات أو مناسبًا للمجال.
- معاملة الوثائق المتطرفة (غير المخصصة) كفشل بدلاً من سلوك متوقع للتجميع المعتمد على الكثافة.
- قراءة المواضيع من مصطلحات TF-IDF المستندة إلى الفئة دون فحص الوثائق التمثيلية، مما قد يؤدي إلى المبالغة في تفسير التسمية.
الأسئلة الشائعة
كيف تختلف BERTopic عن نماذج المواضيع الكلاسيكية مثل LDA؟
تعمل النماذج الكلاسيكية مثل LDA من عدد الكلمات ومن منظور حقيبة الكلمات لكل وثيقة. تبدأ BERTopic من تضمينات المحولات السياقية، وتقللها باستخدام UMAP، وتجمعها باستخدام HDBSCAN، وتسمي كل مجموعة بمصطلحات TF-IDF المستندة إلى الفئة. نظرًا لأنها تلتقط المعنى في السياق، فإنها تنتج بشكل عام مواضيع أكثر تماسكًا وقابلة للتفسير.
كم عدد الوثائق التي أحتاجها؟
50 وثيقة على الأقل، مع توصية بأكثر من 100. خطوة التجميع تعتمد على الكثافة، لذا مع عدد قليل جدًا من الوثائق لا توجد إشارة كافية لتشكيل مواضيع مستقرة.
لماذا لم يتم تعيين بعض وثائقي لأي موضوع؟
HDBSCAN هي خوارزمية تجميع تعتمد على الكثافة وتترك عمدًا الوثائق المتفرقة حقًا أو غير النمطية غير مخصصة كقيم متطرفة بدلاً من إجبارها على موضوع. هذا سلوك متوقع، وليس خطأ.
هل يمكن لـ BERTopic التعامل مع النصوص غير الإنجليزية؟
نعم. عن طريق اختيار نموذج تضمين متعدد اللغات، يمكن لنفس خط الأنابيب معالجة مجموعات النصوص بلغات متعددة؛ مطابقة نموذج التضمين مع لغة مجموعة النصوص هو مفتاح جودة الموضوع الجيدة.
طرق ذات صلة
المصادر
Grootendorst, M. (2022). BERTopic: Neural topic modeling with a class-based TF-IDF procedure. arXiv:2203.05794.
افتح مرجع DOIتم النسخ.McInnes, L., Healy, J. & Astels, S. (2017). hdbscan: Hierarchical density based clustering. Journal of Open Source Software, 2(11), 205.
افتح مرجع DOIتم النسخ.