الانتقال إلى المحتوى
العودة إلى نتائج البحث

التجميع الهرمي

قدّمه
Ward, J. H.
السنة
1963
النوع
Unsupervised clustering (agglomerative)

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

التجميع الهرمي هو طريقة غير خاضعة للإشراف تقوم بتجميع الملاحظات في عناقيد متداخلة وترسم النتيجة على شكل شجرة تفرعية (dendrogram)، لذلك لا يلزم تحديد عدد العناقيد مسبقًا. يعتمد شكلها التراكمي على معيار تجميع دالة الهدف الذي قدمه جو وارد عام 1963.

الفكرة الحدسية وراء الطريقة

تخيل أن كل ملاحظة تبدأ كمجموعة صغيرة خاصة بها. في كل خطوة، يتم دمج المجموعتين الأكثر تشابهًا، ثم المجموعتين التاليتين، وهكذا، حتى تتحد جميعها في شجرة واحدة. يمنحك قطع تلك الشجرة على ارتفاعات مختلفة أعدادًا مختلفة من العناقيد، بحيث يمكنك تحديد مدى دقة تقسيم البيانات بعد رؤية البنية بدلاً من الالتزام بعدد ثابت مسبقًا.

التاريخ

تم وضع الشكل التراكمي للتجميع الهرمي على أساس رسمي من قبل جو إتش. وارد (Joe H. Ward) في عام 1963، الذي صاغ دمج العناقيد على أنه تحسين لدالة هدف — تقليل الزيادة في التباين داخل المجموعة عند كل دمج. لا تزال طريقة ربط وارد (Ward's linkage) أحد المعايير الأكثر استخدامًا على نطاق واسع، وتعد الشجرة التفرعية التي تنتجها أداة استكشافية قياسية في العلوم الاجتماعية والصحية والتجارية.

متى تُستخدم

استخدمها للتجميع الاستكشافي عندما تريد اكتشاف البنية دون تحديد عدد العناقيد مسبقًا، على ميزات مستمرة أو ترتيبية أو فئوية مع ما لا يقل عن 10 ملاحظات تقريبًا. إنها خفيفة الافتراضات ولكنها تعتمد على خيارين: مقياس مسافة مناسب وطريقة ربط مناسبة. أقل من حوالي 10 ملاحظات، تكون مصفوفة المسافة غير موثوقة ولا يمكن للشجرة التفرعية إظهار بنية ذات معنى، لذا فإن طريقة K-means هي بديل أكثر أمانًا؛ في العينات الصغيرة جدًا، تصبح النتائج حساسة بشكل مفرط لطريقة الربط وتكون عضويات العناقيد غير مستقرة.

الحدود والاعتبارات

  • تعتمد النتائج بشكل كبير على مقياس المسافة المختار وطريقة الربط، وهما قرارات المستخدم.
  • في العينات الصغيرة، تكون عضويات العناقيد غير مستقرة وحساسة بشكل مفرط لطريقة الربط.
  • مع أقل من حوالي 10 ملاحظات، تكون مصفوفة المسافة غير موثوقة ولا تظهر الشجرة التفرعية أي بنية ذات معنى.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • لا يتطلب تحديد عدد العناقيد مسبقًا — يمكنك قراءته من الشجرة التفرعية.
  • توفر الشجرة التفرعية خريطة بصرية قابلة للتفسير لكيفية تداخل العناقيد عند مستويات تشابه مختلفة.
  • خفيف الافتراضات: لا يوجد متطلب للتوزيع الطبيعي، ويستوعب الميزات المستمرة والترتيبية والفئوية من خلال اختيار المسافة.
  • يعمل كأداة استكشافية للكشف عن البنية قبل الالتزام بتقسيم.

التطبيقات

  • التجزئة الاستكشافية للملاحظات عندما يكون عدد المجموعات غير معروف.
  • بناء شجرة تفرعية لتصور كيفية تداخل الحالات عند مستويات تشابه مختلفة.
  • تجميع المستجيبين أو العينات أو الوحدات على ميزات مختلطة مستمرة وترتيبية وفئوية.
  • توليد أعداد عناقيد مرشحة لإبلاغ طريقة تقسيم لاحقة.

كيف يعمل

كيف يعمل

1

أولاً، يتم حساب المسافة بين كل زوج من الملاحظات باستخدام مقياس مسافة مختار، مما ينتج عنه مصفوفة مسافة. اختيار المقياس مهم: فهو يحدد ما يعتبر 'متشابهًا'، وقد تتطلب الميزات المستمرة والترتيبية والفئوية تعريفات مسافة مختلفة.

2

بدءًا من كل ملاحظة كعنقود خاص بها، تقوم الخوارزمية بدمج العنقودين الأقرب بشكل متكرر وفقًا لطريقة ربط مختارة. معيار وارد (Ward)، على سبيل المثال، يدمج الزوج الذي ينتج عنه أصغر زيادة في مجموع مربعات المسافات داخل العنقود، مما يحافظ على العناقيد الناتجة متماسكة قدر الإمكان. يؤثر اختيار طريقة الربط بشكل كبير على التجميع النهائي.

الصيغة
\Delta(A,B) = \sum_{i \in A \cup B} \lVert x_i - m_{A \cup B}\rVert^2 - \sum_{i \in A}\lVert x_i - m_A\rVert^2 - \sum_{i \in B}\lVert x_i - m_B\rVert^2
3

يتم تسجيل تسلسل عمليات الدمج كشجرة تفرعية (dendrogram)، وهي شجرة تظهر ارتفاعات فروعها المسافة التي عندها انضمت العناقيد. يؤدي قطع الشجرة التفرعية عند ارتفاع مختار إلى تعيينات العناقيد، لذلك يتم قراءة عدد العناقيد من الشجرة بدلاً من تحديده مسبقًا.

الأخطاء الشائعة

  • تشغيلها على أقل من حوالي 10 ملاحظات، حيث تكون مصفوفة المسافة والشجرة التفرعية غير جديرتين بالثقة.
  • اختيار مقياس مسافة وطريقة ربط دون مبرر ومعاملة النتيجة على أنها نهائية.
  • الثقة في عضويات العناقيد غير المستقرة في عينة صغيرة بدلاً من التحول إلى K-means أو مزيج غاوسي.
  • فرض عدد ثابت من العناقيد قبل فحص نقاط القطع الطبيعية للشجرة التفرعية.

الأسئلة الشائعة

هل أحتاج إلى اختيار عدد العناقيد أولاً؟

لا. يبني التجميع الهرمي شجرة الدمج الكاملة بغض النظر، وتقرر عدد العناقيد بعد ذلك عن طريق قطع الشجرة التفرعية عند ارتفاع مختار — وهذه إحدى مزاياها الرئيسية على طرق مثل K-means.

ما هو مقياس المسافة وطريقة الربط التي يجب أن أستخدمها؟

كلاهما خيارات متعمدة تشكل النتيجة بقوة. يجب أن يتطابق مقياس المسافة مع أنواع ميزاتك، وتعد طريقة ربط وارد (Ward's linkage) خيارًا افتراضيًا شائعًا لأنها تحافظ على العناقيد متماسكة عن طريق تقليل الزيادة في التباين داخل العنقود عند كل دمج.

كم عدد الملاحظات التي أحتاجها؟

ما لا يقل عن 10 تقريبًا. أقل من ذلك تكون مصفوفة المسافة غير موثوقة ولا يمكن للشجرة التفرعية الكشف عن بنية ذات معنى، لذا فإن K-means هي البديل الأكثر أمانًا.

لماذا عناقيدي غير مستقرة؟

في العينات الصغيرة، تكون النتيجة حساسة بشكل مفرط لطريقة الربط، لذا تتغير عضويات العناقيد مع التغييرات الصغيرة. في هذه الحالة، فكر في K-means أو نموذج مزيج غاوسي بدلاً من ذلك.

طرق ذات صلة

المصادر

  1. Ward, J. H. (1963). Hierarchical Grouping to Optimize an Objective Function. Journal of the American Statistical Association, 58(301), 236–244.

    افتح مرجع DOI
    تم النسخ.