تحليل تكرار النصوص — عدّ الكلمات والمتتاليات (N-grams)
- قدّمه
- George K. Zipf (frequency-distribution foundation)
- السنة
- 1949
- النوع
- Descriptive text-mining analysis
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يُعدّ تحليل تكرار النصوص طريقة وصفية في التنقيب عن النصوص تقوم بعدّ عدد مرات تكرار الكلمات، والمتتاليات (n-grams)، والعبارات في مجموعة نصوص (corpus) للكشف عن أنماط المحتوى والموضوعات المهيمنة. تستند هذه الطريقة إلى فكرة التوزيع التكراري التي صاغها جورج ك. زيبف (Zipf, 1949)، والتي تنص على أن عدداً قليلاً من المصطلحات يتكرر كثيراً بينما يكون معظمها نادراً، وهي تُعدّ من أبسط نقاط الدخول وأكثرها استخداماً في التحليل الكمي للنصوص.
الفكرة الحدسية وراء الطريقة
عند قراءة مجموعة من النصوص، فإن الكلمات التي تتكرر مراراً وتكراراً تخبرك عن موضوعها. يقوم تحليل تكرار النصوص بتوضيح هذا الحدس وجعله قابلاً للتكرار: فبدلاً من القراءة السريعة، تقوم بتعداد كل كلمة (token)، وكل تسلسل من كلمتين أو ثلاث، وكل عبارة متكررة، ثم ترتبها حسب عدد مرات ظهورها. والنتيجة هي جدول تكراري يُظهر المفردات والموضوعات المهيمنة في مجموعة النصوص بنظرة واحدة، دون أي قراءة ذاتية.
التاريخ
يبني تحليل تكرار النصوص على ملاحظة زيبف (Zipf, 1949)، في كتابه Human Behavior and the Principle of Least Effort، بأن تكرارات الكلمات تتبع توزيعاً مميزاً حيث تتكرر قلة من الكلمات كثيراً ومعظمها نادر. وقد أسس مانينغ وشوتز (Manning and Schütze, 1999)، في كتابهما Foundations of Statistical Natural Language Processing، العدّ التكراري كأداة أساسية في معالجة اللغات الطبيعية الإحصائية، والتي تُبنى عليها طرق أغنى مثل TF-IDF ونمذجة الموضوعات.
متى تُستخدم
استخدم تحليل تكرار النصوص عندما تكون لديك بيانات نصية وترغب في الحصول على نظرة أولية وصفية أو استكشافية لمفرداتها المهيمنة، أو متتالياتها (n-grams)، أو عباراتها. وهي مناسبة لمجموعات النصوص المقطعية والطولية وتتطلب فقط كمية متواضعة من النصوص (حوالي 10 مستندات أو أكثر). يجب إجراء المعالجة المسبقة المناسبة — التقسيم إلى كلمات، وإزالة الكلمات الشائعة، والإرجاع إلى الصيغة الأساسية — أولاً، ويجب أن تضع في اعتبارك أن حجم مجموعة النصوص وتنوع لغتها يؤثران على موثوقية التكرارات.
الحدود والاعتبارات
- يؤثر حجم مجموعة النصوص وتنوع لغتها على موثوقية التكرارات.
- تلتقط الأعداد الخام المفردات السطحية ولكن ليس السياق، أو المعنى، أو المشاعر.
- تعتمد النتائج بشكل كبير على خيارات المعالجة المسبقة مثل قوائم الكلمات الشائعة والإرجاع إلى الصيغة الأساسية.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- بسيط، وشفاف، وسهل التفسير — وهو أبسط نقطة دخول إلى التحليل الكمي للنصوص.
- يكشف عن أنماط المحتوى والموضوعات المهيمنة مباشرة من العدّ الخام، دون الحاجة إلى بيانات تدريب مُصنّفة.
- يعمل على الكلمات، والمتتاليات (n-grams)، والعبارات على حد سواء، لذا فهو يتكيف مع وحدات معنى مختلفة.
التطبيقات
- تحديد المفردات والموضوعات المهيمنة لمجموعة مستندات.
- استكشاف أنماط المتتاليات (n-grams) والعبارات في استجابات الاستبيانات أو نصوص المقابلات.
- توصيف المحتوى في مجموعات النصوص المتعلقة بالعلوم الاجتماعية، والصحة، والتعليم، والهندسة، والأعمال.
- العمل كنقطة انطلاق وصفية قبل استخدام طرق التنقيب عن النصوص الأكثر تقدماً.
كيف يعمل
كيف يعمل
يتم تجهيز النص الخام قبل إجراء أي عدّ: يتم تقسيمه إلى كلمات (tokenisation)، وإزالة الكلمات الشائعة (stop-words) (كلمات وظيفية عالية التكرار مثل 'الـ' أو 'و')، ثم يتم إرجاع الكلمات المتبقية إلى صيغتها الأساسية (lemmatisation). الاتساق في المعالجة المسبقة هو ما يجعل العدّ النهائي قابلاً للمقارنة وذا مغزى بدلاً من أن تهيمن عليه الكلمات الحشوية النحوية.
يتم تعداد كل وحدة ذات أهمية عبر مجموعة النصوص. تُعدّ الكلمات الفردية لتكرار الكلمات، وتُعدّ تسلسلات الكلمات المتجاورة لتكرار المتتاليات (n-grams) (مثل bigrams و trigrams)، وتُعدّ التعبيرات المتكررة المكونة من عدة كلمات كعبارات. ناتج هذه المرحلة هو عدد خام لكل مصطلح مميز.
تُرتب المصطلحات المعدودة من الأكثر تكراراً إلى الأقل، وعادةً ما تُقدم كقائمة الأكثر شيوعاً. هذه النظرة المرتبة هي التي يظهر فيها التوزيع المميز — مجموعة صغيرة من المصطلحات عالية التكرار وذيل طويل من المصطلحات النادرة، بما يتفق مع قانون زيبف.
تُقرأ التكرارات المرتبة بحثاً عن أنماط المحتوى والموضوعات المهيمنة. يؤثر حجم مجموعة النصوص وتنوع لغتها على مدى موثوقية العدّ، لذا فإن التفسير يأخذ في الاعتبار حجم مجموعة النصوص وذيل المصطلحات النادرة بدلاً من المبالغة في قراءة أي عدّ فردي.
الأخطاء الشائعة
- تؤدي إغفال المعالجة المسبقة إلى هيمنة الكلمات الوظيفية عالية التكرار والمتغيرات المصرفة للكلمة نفسها على الجدول وإخفاء المحتوى الحقيقي.
- تؤدي قراءة التكرارات من مجموعة نصوص صغيرة جداً أو ضيقة جداً إلى عدّ غير مستقر لا يمكن تعميمه.
- المبالغة في تفسير الذيل الطويل — المصطلحات النادرة (ذيل زيبف) تحمل إشارة تكرارية قليلة ويمكن الخلط بينها بسهولة على أنها ضوضاء أو معنى.
- تؤدي مقارنة الأعداد الخام عبر مجموعات نصوص ذات أحجام مختلفة دون تطبيع إلى استنتاجات مضللة.
الأسئلة الشائعة
ماذا يعدّ تحليل تكرار النصوص فعلياً؟
يقوم بعدّ عدد مرات تكرار الكلمات الفردية، وتسلسلات الكلمات المتجاورة (مثل bigrams و trigrams)، والعبارات المتكررة عبر مجموعة نصوص، ثم يرتبها. الناتج هو جدول تكراري يُظهر المصطلحات والموضوعات المهيمنة.
لماذا أحتاج إلى معالجة النص مسبقاً؟
بدون التقسيم إلى كلمات، وإزالة الكلمات الشائعة، والإرجاع إلى الصيغة الأساسية، تهيمن الكلمات الوظيفية عالية التكرار والمتغيرات المصرفة لنفس الكلمة على العدّ وتخفي المحتوى الحقيقي. المعالجة المسبقة المتسقة تجعل التكرارات قابلة للمقارنة وذات مغزى.
ما هو قانون زيبف ولماذا هو مهم هنا؟
يصف قانون زيبف النمط النموذجي حيث تتكرر قلة من الكلمات كثيراً بينما تكون معظم الكلمات نادرة، مشكلةً ذيلاً طويلاً. وهو يفسر شكل قائمة التكرارات المرتبة ويحذر من المبالغة في قراءة ذيل الكلمات النادرة.
ما كمية النصوص التي أحتاجها؟
مجموعة نصوص متواضعة تتكون من حوالي عشرة مستندات أو أكثر تكون قابلة للتطبيق، ولكن حجم مجموعة النصوص وتنوع لغتها يؤثران على مدى موثوقية التكرارات — مجموعات النصوص الأكبر والأكثر تمثيلاً تعطي عدّاً أكثر استقراراً.
طرق ذات صلة
المصادر
Zipf, G. K. (1949). Human Behavior and the Principle of Least Effort. Addison-Wesley.
افتح مرجع المنشورتم النسخ.Manning, C. D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.
ردمك: 9780262133609تم النسخ.