تكرار المصطلح - التردد العكسي لتكرار المصطلح
- قدّمه
- Salton & Buckley
- السنة
- 1988
- النوع
- Text vectorization / term-weighting scheme
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يُعد نظام TF-IDF، الذي قدمه سالتون وبكلي (1988)، نظامًا لترجيح المصطلحات يقوم بتقييم كل كلمة في مستند بناءً على عدد مرات ظهورها فيه ومدى ندرتها عبر المجموعة بأكملها. يقوم بتحويل النص الخام إلى متجهات مستندات مرجحة، مما يعطي وزنًا عاليًا للمصطلحات المتكررة في مستند واحد ولكنها غير شائعة في أماكن أخرى.
الفكرة الحدسية وراء الطريقة
لا تُعد كل كلمة تظهر بشكل متكرر مفيدة - فالكلمات مثل "الـ" تظهر في كل مكان ولا تخبرك بالكثير عن محتوى المستند. يلتقط نظام TF-IDF فكرة أن المصطلح يكون أكثر أهمية عندما يكون متكررًا داخل مستند معين ولكنه نادر عبر بقية المجموعة. من خلال ضرب عدد مرات ظهور المصطلح محليًا بمدى تميزه عالميًا، يسلط النظام الضوء على الكلمات التي تميز كل مستند بالفعل ويقلل من وزن الكلمات الشائعة.
التاريخ
نشأ نظام TF-IDF من عمل استرجاع المعلومات لسالتون وبكلي (1988)، اللذين قارنا بشكل منهجي أساليب ترجيح المصطلحات للاسترجاع التلقائي للنصوص وأسسا الجمع بين تكرار المصطلح والتردد العكسي لتكرار المصطلح كنموذج فعال لتمثيل المستندات. أصبح أساسًا لتمثيل النصوص ويظل مستخدمًا على نطاق واسع كتمثيل شفاف للميزات.
متى تُستخدم
استخدم TF-IDF عندما يكون لديك مجموعة نصوص وتحتاج إلى تحويل المستندات إلى ميزات رقمية للاسترجاع، أو التصنيف، أو مقارنة التشابه. يعتمد على افتراض حقيبة الكلمات ويتطلب معالجة مسبقة للنصوص مسبقًا. يجب أن تكون المجموعة كبيرة بشكل معقول - مع أقل من حوالي 100 مستند، تصبح أوزان IDF غير مستقرة ويصبح تحليل تكرار الكلمات البسيط أكثر موثوقية. بدون أي بيانات نصية على الإطلاق، لا يمكن حساب TF-IDF.
الحدود والاعتبارات
- يعتمد على افتراض حقيبة الكلمات ويتجاهل ترتيب الكلمات والسياق.
- تصبح أوزان IDF غير مستقرة وعديمة المعنى على مجموعات صغيرة جدًا.
- يتطلب معالجة مسبقة دقيقة للنصوص؛ الرموز المشوشة تقلل من الأوزان.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- بسيط، سريع، وقابل للتفسير - كل وزن يمكن تتبعه مباشرة إلى التكرار المحلي والندرة العالمية.
- يحول النص الخام إلى متجهات مستندات رقمية يمكن استخدامها بواسطة طرق البحث والتصنيف والتجميع.
- يقلل من وزن الكلمات المنتشرة وغير المفيدة مع تسليط الضوء على المصطلحات التي تميز المستند.
التطبيقات
- تمثيل المستندات كمتجهات ميزات لتصنيف النصوص.
- ترتيب واسترجاع المستندات في تطبيقات البحث.
- تحديد الكلمات المفتاحية الأكثر تميزًا التي تميز المستند.
- بناء مدخلات لتجميع المستندات ومقارنة التشابه.
كيف يعمل
كيف يعمل
يتم تنظيف مجموعة النصوص وتقطيعها إلى مصطلحات - يتم تطبيع النص وتقسيمه إلى وحدات الكلمات التي سيتم ترجيحها. نظرًا لأن نظام TF-IDF يعتمد على افتراض حقيبة الكلمات (bag-of-words)، فإن المعالجة المسبقة المتسقة عبر جميع المستندات هي ما يجعل العدّات الناتجة قابلة للمقارنة.
لكل مستند، يقوم تكرار المصطلح (TF) بعدّ عدد مرات ظهور كل مصطلح في هذا المستند. يحصل المصطلح الذي يظهر عدة مرات داخل مستند واحد على وزن محلي أعلى، مما يعكس مدى مركزيته في محتوى هذا المستند.
عبر المجموعة بأكملها، يقيس التردد العكسي لتكرار المصطلح (IDF) مدى ندرة كل مصطلح - المصطلحات التي تظهر في العديد من المستندات تحصل على IDF منخفض، بينما تحصل المصطلحات المقتصرة على عدد قليل من المستندات على IDF مرتفع. هذا ما يقمع الكلمات المنتشرة وغير المفيدة ويكافئ الكلمات المميزة.
يتم دمج مكوني TF و IDF في وزن واحد لكل مصطلح، ويصبح كل مستند متجهًا لهذه الدرجات المرجحة. متجهات المستندات والمصطلحات الناتجة هي التمثيل الذي تستهلكه المهام اللاحقة - البحث، التصنيف، التجميع.
الأخطاء الشائعة
- تشغيل TF-IDF على مجموعة نصوص أقل من حوالي 100 مستند - تصبح أوزان IDF عديمة المعنى، لذا ارجع إلى تحليل تكرار الكلمات البسيط بدلاً من ذلك.
- تخطي المعالجة المسبقة أو عدم اتساقها عبر المستندات، مما يجعل عدّات المصطلحات غير قابلة للمقارنة.
- محاولة تطبيق TF-IDF عندما لا توجد بيانات نصية - الترميز الفئوي مع تحليل المحتوى هو المسار المناسب.
- توقع أن يلتقط TF-IDF المعنى أو السياق: فهو يزن المصطلحات المعزولة ولا يمكنه نمذجة ترتيب الكلمات أو الدلالات.
الأسئلة الشائعة
ماذا يقيس كل من TF و IDF؟
يقيس تكرار المصطلح (TF) عدد مرات ظهور المصطلح داخل مستند واحد، ويلتقط مدى مركزيته محليًا. يقيس التردد العكسي لتكرار المصطلح (IDF) مدى ندرة المصطلح عبر المجموعة بأكملها، مما يقلل من وزن الكلمات التي تظهر في العديد من المستندات. ضربهما يعطي وزنًا عاليًا للمصطلحات التي تكون متكررة في مستند واحد ولكنها غير شائعة في أماكن أخرى.
ما مدى حجم مجموعتي النصية التي أحتاجها؟
يحتاج TF-IDF إلى مجموعة كبيرة بشكل معقول - حوالي 100 مستند أو أكثر. أقل من ذلك، تصبح أوزان IDF غير مستقرة وتفقد معناها، ويصبح تحليل تكرار الكلمات الأبسط هو الخيار الأكثر موثوقية.
هل يفهم TF-IDF المعنى أو السياق؟
لا. يعتمد TF-IDF على افتراض حقيبة الكلمات: فهو يزن المصطلحات الفردية حسب التكرار والندرة ويتجاهل ترتيب الكلمات، والنحو، والدلالات. للسياق أو التشابه الدلالي، تكون طرق التضمين مثل Word2Vec أكثر ملاءمة.
ما هي المعالجة المسبقة التي يتطلبها؟
يجب تنظيف مجموعة النصوص وتقطيعها بشكل متسق قبل الترجيح - تطبيع النص وتقسيمه إلى وحدات مصطلحات قابلة للمقارنة. تخطي هذه الخطوة يترك رموزًا مشوشة تقلل من الأوزان.
طرق ذات صلة
المصادر
Salton, G. & Buckley, C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing & Management, 24(5), 513-523.
افتح مرجع DOIتم النسخ.