قواعد الارتباط
- قدّمه
- Agrawal, R., Imielinski, T., & Swami, A.
- السنة
- 1993
- النوع
- Unsupervised pattern discovery
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تعلم قواعد الارتباط هو تقنية غير خاضعة للإشراف تكتشف أنماط التواجد المشترك - "إذا كان س فإن ص" - ضمن مجموعات بيانات المعاملات الكبيرة. تمت صياغتها في الأصل بواسطة أغراوال وإيميليينسكي وسوامي (1993) لتحليل سلة السوبر ماركت، وهي تُطبق الآن على نطاق واسع في توصيات التجارة الإلكترونية، والمعلوماتية الصحية، والمعلوماتية الحيوية، والأبحاث السلوكية.
الفكرة الحدسية وراء الطريقة
تخيل مسح ملايين إيصالات التسوق وطرح السؤال: أي مجموعات المنتجات تميل إلى الظهور معًا؟ يقوم تعدين قواعد الارتباط بالإجابة على هذا السؤال عن طريق حساب عدد مرات تواجد مجموعات العناصر معًا (الدعم)، ومدى موثوقية عنصر واحد في التنبؤ بعنصر آخر (الثقة)، وما إذا كان التواجد المشترك أقوى من الصدفة (الرفع). تكشف قواعد مثل "حفاضات → بيرة" ذات الثقة والرفع العالي عن أنماط سلوكية حقيقية بدلاً من المصادفات، مما يجعلها أداة استكشافية قوية عندما لا يكون لديك متغير نتيجة للإشراف.
التاريخ
تم تقديم تعلم قواعد الارتباط رسميًا بواسطة أغراوال وإيميليينسكي وسوامي في مؤتمر ACM SIGMOD عام 1993، مدفوعًا بتحدي تعدين قواعد بيانات معاملات السوبر ماركت. قدمت ورقتهم اللاحقة عام 1994 خوارزمية Apriori، مما وفر طريقة حسابية فعالة. نما المجال بسرعة خلال التسعينيات والعقد الأول من القرن الحادي والعشرين، مع تقديم خوارزمية FP-growth (هان وآخرون، 2000) لاحقًا لتحسينات إضافية في السرعة. تظل قواعد الارتباط تقنية أساسية في مناهج تعدين البيانات ويتم تطبيقها بشكل روتيني في البيع بالتجزئة والرعاية الصحية وتحليلات الويب.
متى تُستخدم
استخدم قواعد الارتباط عندما يكون هدفك هو الاكتشاف الاستكشافي لأنماط التواجد المشترك في البيانات المعاملاتية أو الثنائية المشفرة - سلال التسوق، التشخيصات المشتركة السريرية، مسارات النقر، مجموعات بنود الاستبيان، أو ملفات التعبير الجيني. الطريقة غير خاضعة للإشراف ولا تتطلب تسمية نتيجة، مما يجعلها مثالية لتوليد الفرضيات. لا تستخدمها عندما يكون لديك متغير نتيجة محدد وتسعى للتنبؤ به (استخدم التصنيف أو الانحدار الخاضع للإشراف بدلاً من ذلك)؛ عندما تكون بياناتك مستمرة ولم يتم تقسيمها بشكل هادف؛ عندما تكون أحجام العينات صغيرة (مجموعات العناصر المتناثرة تعطي تقديرات دعم غير موثوقة)؛ أو عندما يتم الخلط بين مخرجات القاعدة والاستدلال السببي - قواعد الارتباط هي مجرد ارتباطات.
الحدود والاعتبارات
- تتطلب أن تكون البيانات معاملات أو ثنائية مقسمة؛ يجب تجميع الميزات المستمرة، مما يقدم اختيارات اعتباطية.
- يمكن أن يكون عدد القواعد هائلاً؛ التصفية اللاحقة والترتيب حسب الرفع أو مقاييس الاهتمام الأخرى أمر إلزامي.
- يجب على الباحث تحديد عتبات الدعم والثقة؛ النتائج حساسة لهذه الاختيارات.
- القواعد هي مجرد ارتباطات - المطالبات السببية تتطلب تصميم دراسة إضافي (مثل التجربة أو شبه التجربة).
- مكلفة حسابيًا على مجموعات البيانات ذات مجموعات العناصر الكبيرة جدًا حتى مع التقليم.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- غير خاضعة للإشراف بالكامل: لا تتطلب متغير نتيجة مُسمى، مما يتيح اكتشاف الأنماط المفتوحة.
- مخرجات قابلة للتفسير: كل قاعدة هي عبارة "إذا-ثم" قابلة للقراءة البشرية مع دعم وثقة ورفع مُقاسين.
- تتوسع لتشمل قواعد بيانات المعاملات الكبيرة جدًا عبر استراتيجيات التقليم (Apriori، FP-growth).
- قابلة للتطبيق عبر المجالات حيثما يكون التواجد المشترك في السجلات المشفرة ثنائيًا ذا معنى.
- توليد الفرضيات: تبرز التواجدات المشتركة غير المتوقعة التي يمكن أن توجه التحليل التأكيدي اللاحق.
التطبيقات
- تحليل سلة السوق: تحديد المنتجات التي يتم شراؤها بشكل متكرر معًا لتوجيه وضع المنتجات والعروض الترويجية.
- توصيات التجارة الإلكترونية: إنشاء اقتراحات "العملاء الذين اشتروا س اشتروا أيضًا ص".
- اكتشاف الأمراض المشتركة السريرية: العثور على مجموعات من التشخيصات أو الأدوية أو الأعراض التي تتواجد معًا في سجلات المرضى.
- المعلوماتية الحيوية: اكتشاف الجينات المتعبير عنها بشكل مشترك أو المتغيرات الجينية المتواجدة معًا عبر العينات.
- تعدين استخدام الويب: الكشف عن أنماط مسارات النقر المتكررة وتسلسلات التنقل على مواقع الويب.
- أبحاث المسح والسلوك: العثور على مجموعات من بنود الاستبيان أو السلوكيات التي تتواجد معًا عبر المستجيبين.
كيف يعمل
كيف يعمل
يتم تمثيل مجموعة البيانات كمصفوفة معاملات ثنائية: كل صف هو معاملة وكل عمود هو عنصر محتمل، مع وجود 1 يشير إلى وجود العنصر. هذا التمثيل المتناثر والواسع هو تنسيق الإدخال الأساسي؛ يجب تقسيم العناصر غير الثنائية أو الكمية قبل هذه الخطوة.
يتم تحديد جميع مجموعات العناصر (مجموعات العناصر) التي تلبي تردداتها في قاعدة بيانات المعاملات حدًا أدنى للدعم يحدده المستخدم. مبدأ Apriori - أي مجموعة فرعية من مجموعة عناصر متكررة تكون متكررة أيضًا - يقلل بشكل كبير من مساحة البحث التوافقي، مما يجعل التعداد قابلاً للتتبع حتى على الكتالوجات الكبيرة.
الصيغة
\text{support}(X) = \frac{|\{t \in T : X \subseteq t\}|}{|T|} \geq \text{min\_sup}لكل مجموعة عناصر متكررة، يتم إنشاء جميع تقسيمات المقدمة-التالية الممكنة (س → ص حيث س وص مجموعتان فرعيتان منفصلتان غير فارغتين) كقواعد مرشحة. يمكن أن يكون عدد المرشحين كبيرًا، لذا فإن خطوة التصفية اللاحقة ضرورية.
الصيغة
X \Rightarrow Y, \quad X \cap Y = \emptyset
يتم تقييم كل قاعدة مرشحة من خلال ثقتها: الاحتمال الشرطي لوجود ص بالنظر إلى وجود س. يتم الاحتفاظ فقط بالقواعد التي تتجاوز حد الثقة الأدنى، مما يؤدي إلى تصفية المقدمات التي تتنبأ بالتالي بشكل أفضل بقليل من المعدل الأساسي.
الصيغة
\text{confidence}(X \Rightarrow Y) = \frac{\text{support}(X \cup Y)}{\text{support}(X)} \geq \text{min\_conf}يتم ترتيب القواعد المحتفظ بها حسب الرفع، وهي نسبة الدعم المشترك المرصود إلى الدعم المتوقع في ظل الاستقلال. يشير الرفع الأكبر من 1 إلى ارتباط إيجابي حقيقي؛ يشير الرفع القريب من 1 إلى أن العناصر تتواجد معًا أكثر من الصدفة؛ يشير الرفع الأقل من 1 إلى ارتباط سلبي. يؤدي الفرز حسب الرفع إلى إبراز القواعد الأكثر قابلية للتنفيذ وغير التافهة.
الصيغة
\text{lift}(X \Rightarrow Y) = \frac{\text{support}(X \cup Y)}{\text{support}(X) \cdot \text{support}(Y)}الأخطاء الشائعة
- تعيين دعم أدنى للغاية، مما يغرق المخرجات بقواعد زائفة ومنخفضة التردد لا تعمم.
- تجاهل الرفع والإبلاغ عن جميع القواعد ذات الثقة العالية، والتي قد يعكس الكثير منها ببساطة عناصر ذات معدل أساسي مرتفع.
- معاملة القواعد المكتشفة كسببية دون مزيد من التحقق (مثل الخلط بين "تتشارك البيرة والحفاضات" و "البيرة تسبب شراء الحفاضات").
- تطبيق قواعد الارتباط على البيانات المستمرة دون تقسيم مبدئي، مما ينتج قواعد تعتمد كليًا على حدود الفواصل الاعتباطية.
- تجاهل مخاوف المقارنات المتعددة عندما يتم إنشاء الآلاف من القواعد وتسليط الضوء عليها بشكل انتقائي.
الأسئلة الشائعة
كيف أختار عتبات الدعم والثقة الدنيا؟
لا توجد قاعدة عالمية. ابدأ باستكشاف توزيع الدعم للعناصر الفردية، ثم اضبط الحد الأدنى للدعم ليكون منخفضًا بما يكفي لالتقاط الأنماط ذات الأهمية ولكن مرتفعًا بما يكفي لضمان ظهور مجموعات العناصر في عدد معقول من المعاملات على الأقل. يعد الحد الأدنى للثقة من 0.6 إلى 0.8 نطاقًا شائعًا للبدء، ولكن يجب أن يوجه فهم المجال والترتيب المستند إلى الرفع الاختيار النهائي.
ما الفرق بين الثقة والرفع، وأيهما يجب أن أعطي الأولوية؟
تقيس الثقة عدد المرات التي يتبع فيها ص س في المعاملات التي تحتوي على س، لكنها تتجاهل المعدل الأساسي لـ ص. يقوم الرفع بتصحيح ذلك عن طريق قسمة الثقة على الدعم الهامشي لـ ص. القاعدة ذات الثقة العالية ولكن الرفع القريب من 1 تضيف القليل من المعلومات بخلاف معرفة أن ص شائع. أعط الأولوية للرفع عند التصفية للارتباطات غير التافهة حقًا.
هل يمكن استخدام قواعد الارتباط للتنبؤ؟
إنها وصفية واستكشافية في المقام الأول وليست تنبؤية. في حين أنه من الممكن استخدام القواعد ذات النتيجة الثابتة (عنصر هدف واحد) للتصنيف - وهي تقنية تسمى التصنيف الترابطي - فإن تعدين قواعد الارتباط القياسي لا يحسن دالة خسارة تنبؤية ولا ينبغي أن يحل محل النماذج الخاضعة للإشراف عندما يكون هناك متغير نتيجة مُسمى متاحًا.
مجموعة بياناتي تحتوي على متغيرات مستمرة. هل لا يزال بإمكاني استخدام قواعد الارتباط؟
فقط بعد التقسيم. يجب تجميع المتغيرات المستمرة في فترات فئوية (مثل مجموعات الأعمار، الخماسيات) قبل ترميزها كعناصر ثنائية. يؤثر اختيار حدود الفواصل بشكل كبير على القواعد التي تظهر، لذا يجب أن تكون قرارات التقسيم مدفوعة نظريًا وأن يتم الإبلاغ عنها بشفافية.
كيف تختلف قواعد الارتباط عن تحليل الارتباط؟
يقيس الارتباط (مثل معامل ارتباط بيرسون) العلاقة الخطية بين متغيرين مستمرين. تكتشف قواعد الارتباط أنماط التواجد المشترك بين مجموعات من العناصر الثنائية - أي حجم تركيبة - في البيانات المعاملاتية. المقاييس (الدعم، الثقة، الرفع) تعتمد على التردد بدلاً من العزوم، والمخرجات هي مجموعة من قواعد "إذا-ثم" القابلة للقراءة البشرية بدلاً من معامل رقمي واحد.
طرق ذات صلة
المصادر
Agrawal, R., Imielinski, T., & Swami, A. (1993). Mining association rules between sets of items in large databases. Proceedings of the 1993 ACM SIGMOD International Conference on Management of Data, 207–216.
افتح مرجع DOIتم النسخ.Tan, P.-N., Steinbach, M., Karpatne, A., & Kumar, V. (2018). Introduction to Data Mining (2nd ed., Ch. 5). Pearson.
ردمك: 978-0-13-312890-1تم النسخ.