التجميع عبر الإنترنت (Online Bagging)
- قدّمه
- Oza, N. C. & Russell, S.
- السنة
- 2001
- النوع
- Online ensemble (streaming bagging)
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
التجميع عبر الإنترنت (Online Bagging) هي طريقة تجميع تدفقية قدمها أوزا ورسل في عام 2001، وهي تُكيّف إطار عمل تجميع التمهيد (Bagging) الكلاسيكي مع بيئة التعلم عبر الإنترنت. فبدلاً من إعادة أخذ عينات من مجموعة بيانات ثابتة، يتم تغذية كل مثيل وارد لكل متعلم أساسي عددًا من المرات موزعًا وفقًا لتوزيع بواسون (Poisson(1))، مما يحاكي بدقة أخذ عينات التمهيد مع تطور التدفق. والنتيجة هي تجميع قوي يتم تحديثه بشكل تدريجي ويمكنه التعامل مع انحراف المفهوم (concept drift) ووصول البيانات المستمر دون تخزين مجموعة البيانات بأكملها.
الفكرة الحدسية وراء الطريقة
يرسم تجميع التمهيد الكلاسيكي عينات تمهيد عشوائية من مجموعة بيانات ثابتة ويدرب شجرة واحدة لكل عينة. تحاكي التجميع عبر الإنترنت ذلك دون رؤية مجموعة البيانات بأكملها دفعة واحدة: عند وصول مثال جديد، يتم تمريره إلى كل متعلم أساسي عددًا عشوائيًا من المرات يتم سحبه من توزيع بواسون بمتوسط 1. في المتوسط، يرى كل متعلم المثال مرة واحدة - وهو بالضبط ما يحققه أخذ عينات التمهيد في وضع الدُفعات - ولكن العشوائية تقلل الارتباط بين المتعلمين. نظرًا لعدم الحاجة إلى تخزين البيانات، يمكن للتجميع أن ينمو إلى أجل غير مسمى مع التدفق ويتكيف بشكل طبيعي مع التوزيعات المتغيرة بمرور الوقت.
التاريخ
تم تقديم التجميع عبر الإنترنت بواسطة Nitesh Oza و Stuart Russell في AISTATS 2001 كتوسيع نظري وعملي لخوارزمية Bagging الأصلية لـ Breiman عام 1996 إلى البيئة عبر الإنترنت. كانت الفكرة الرئيسية - استبدال أخذ عينات التمهيد بترجيح بواسون (Poisson(1)) لكل مثيل - تجعل التقريب صارمًا رياضيًا. أصبحت خوارزمية أساسية في أدبيات تعلم الآلة التدفقية وهي التجميع الأساسي في منصات مثل MOA (Massive Online Analysis)، التي قادت معظم التقييمات التجريبية لمصنفات التدفق منذ عام 2010.
متى تُستخدم
استخدم التجميع عبر الإنترنت عندما تصل البيانات كتدفق مستمر ويكون تخزين مجموعة البيانات الكاملة غير ممكن أو محظور (على سبيل المثال، سجلات المستشعرات، تدفقات النقرات، بيانات الأسعار المالية، المراقبة في الوقت الفعلي). وهي مناسبة عندما تحتاج إلى تصنيف أو انحدار يتحدث مع كل ملاحظة جديدة، ويتسامح مع انحراف المفهوم المعتدل، ويظل فعالاً من حيث الذاكرة. لا تستخدم التجميع عبر الإنترنت كبديل مباشر لـ Random Forest في وضع الدُفعات على مجموعة بيانات ثابتة صغيرة إلى متوسطة الحجم - ستتفوق عليها طرق التجميع في وضع الدُفعات مع التحقق المتقاطع (cross-validation) هناك. تجنبها أيضًا عندما يُظهر تدفق البيانات انحرافًا حادًا شديدًا دون إضافة آلية اكتشاف انحراف صريحة.
الحدود والاعتبارات
- على مجموعات البيانات الثابتة، تتفوق طرق الدُفعات مثل Random Forest أو XGBoost باستمرار على التجميع عبر الإنترنت لأنها يمكنها استخدام التحقق المتقاطع الكامل والانقسامات المثلى.
- يوفر تجميع التجميع عبر الإنترنت الأساسي مرونة محدودة فقط ضد انحراف المفهوم الشديد؛ يجب إضافة كاشفات انحراف مخصصة (مثل ADWIN) خارجيًا.
- يقدم ترجيح بواسون تباينًا إضافيًا لكل مثيل، مما قد يبطئ التقارب في التدفقات القصيرة.
- قابلية التفسير منخفضة: يصعب فحص تجميع العديد من الأشجار التي تم إنشاؤها تدريجيًا مقارنة بشجرة قرار واحدة.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يعالج البيانات مثيلًا تلو الآخر بذاكرة ثابتة، مما يتيح تدفقات غير محدودة حقًا.
- يقرب ترجيح بواسون (Poisson weighting) بشكل مُبرهن أخذ عينات التمهيد، مما يوفر تقليلًا لتباين التجميع مقارنةً بتجميع الدُفعات.
- قابل للتوازي بطبيعته: يتم تحديث كل متعلم أساسي بشكل مستقل، مما يجعله مناسبًا لبنى التدفق الموزعة.
- لا توجد معلمة فائقة (hyperparameter) حساسة مثل عمق الشجرة - يقوم التجميع بتنظيم نفسه ذاتيًا من خلال التنوع.
- يمتد بشكل مباشر إلى التصنيف متعدد الفئات والانحدار دون تغييرات هيكلية.
التطبيقات
- الكشف عن الاحتيال في الوقت الفعلي على تدفقات المعاملات المستمرة.
- الصيانة التنبؤية من تدفقات بيانات المستشعرات في بيئات إنترنت الأشياء الصناعية.
- التنبؤ بمعدل النقر في الإعلانات عبر الإنترنت حيث يتطور سلوك المستخدم باستمرار.
- الكشف عن تسلل الشبكة على تدفقات الحزم عالية الإنتاجية.
- المراقبة البيئية: التصنيف التدريجي لقراءات مستشعرات جودة الهواء أو الطقس.
كيف يعمل
كيف يعمل
لكل مثيل وارد، يتم سحب وزن k بشكل مستقل من توزيع بواسون (Poisson(1)) لكل متعلم أساسي. يعني الوزن 0 أن المتعلم يتخطى هذا المثيل تمامًا؛ ويعني الوزن 2 أنه يتعلم من المثيل مرتين. هذا الترجيح العشوائي هو النظير عبر الإنترنت لأخذ عينات التمهيد وهو جوهر الخوارزمية الرياضي.
الصيغة
k \sim \text{Poisson}(1)يتلقى كل متعلم أساسي - عادةً شجرة قرار تدريجية مثل شجرة هوفدينغ (Hoeffding Tree) - المثيل الحالي بالوزن المعين له ويقوم بتحديث نموذجه الداخلي على الفور. لا يتم تخزين أي مثيل بعد المعالجة. تحافظ خاصية المرور الفردي هذه على حدود الذاكرة وتسمح للتجميع بالتوسع إلى تدفقات طويلة بشكل اعتباطي.
عند الحاجة إلى تنبؤ، ينتج جميع المتعلمين الأساسيين M مخرجاتهم الفردية لمثيل الاستعلام. يجمع التجميع هذه المخرجات عن طريق التصويت بالأغلبية للتصنيف أو عن طريق المتوسط الحسابي للانحدار، مما يعطي نفس منطق التجميع مثل تجميع الدُفعات ولكن يتم حسابه على نماذج مدربة تدريجيًا.
الصيغة
\hat{y} = \text{mode/mean of } M \text{ base learners}الأخطاء الشائعة
- تقييم التجميع عبر الإنترنت باستخدام مجموعة اختبار منفصلة تم إنشاؤها قبل بدء التدريب - استخدم التقييم المسبق (test-then-train) بدلاً من ذلك، وهو المعيار في تعلم الآلة التدفقية.
- افتراض أن العدد الافتراضي للمتعلمين الأساسيين (غالبًا 10) كافٍ؛ عادةً ما تكون هناك حاجة إلى تجميعات من 50-100 متعلم على الأقل للتنبؤات المستقرة.
- تجاهل انحراف المفهوم: يؤدي نشر التجميع عبر الإنترنت على تدفق منحرف دون اكتشاف الانحراف إلى تدهور صامت في الدقة.
- مقارنة الدقة على معيار ثابت مع طرق الدُفعات والاستنتاج بأن التجميع عبر الإنترنت دون المستوى - المقارنة الصحيحة هي الدقة لكل مثيل تم رؤيته على معيار تدفقي.
- استخدام متعلمين أساسيين غير تدريجيين حقًا (مثل أشجار الدُفعات المعاد تدريبها)، مما يلغي مزايا الذاكرة والسرعة لإطار العمل عبر الإنترنت.
الأسئلة الشائعة
لماذا توزيع بواسون (Poisson(1)) تحديدًا؟
يقرب توزيع بواسون بمتوسط 1 عدد المرات التي يظهر فيها ملاحظة في عينة تمهيد بحجم n عندما يقترب n من اللانهاية. استخدام بواسون (Poisson(1)) لكل مثيل لكل متعلم يكرر هذا السلوك الحدي بالضبط، مما يجعل التقريب عبر الإنترنت سليمًا نظريًا.
كيف تختلف التجميع عبر الإنترنت عن التجميع العشوائية التكيفية (Adaptive Random Forest)؟
تقوم التجميع العشوائية التكيفية (Adaptive Random Forest) (Gomes et al., 2017) بتوسيع التجميع عبر الإنترنت عن طريق إضافة أخذ عينات فرعية عشوائية للميزات عند كل انقسام (مثل تجميع الدُفعات العشوائي) ودمج كاشفات انحراف لكل شجرة تعيد تعيين المتعلمين الفرديين عند اكتشاف انحراف المفهوم. التجميع عبر الإنترنت هي الأساس الأبسط؛ التجميع العشوائية التكيفية هي أحدث تجميع تدفقي متطور مبني عليها.
ما هو المتعلم الأساسي الذي يجب أن أستخدمه؟
الخيار الأكثر شيوعًا هو شجرة هوفدينغ (Hoeffding Tree) (تسمى أيضًا VFDT)، وهي شجرة القرار التدريجية النموذجية. تستخدم حدود هوفدينغ لتحديد متى تم رؤية بيانات كافية في عقدة للانقسام، مما يحافظ على قابلية تحديث الشجرة دون تخزين المثيلات السابقة.
كم عدد المتعلمين الأساسيين الذين أحتاجهم؟
تشير المعايير التجريبية في إطار MOA إلى الحاجة إلى 50-100 متعلم أساسي لأداء تجميع مستقر في معظم مهام التدفق. يقلل عدد أقل من المتعلمين من تكلفة الحوسبة ولكنه يزيد من تباين التنبؤ، خاصة في وقت مبكر من التدفق.
كيف يجب أن أقوم بتقييم مصنف التجميع عبر الإنترنت؟
استخدم التقييم المسبق (prequential evaluation): لكل مثيل وارد، قم أولاً بالتنبؤ بتصنيفه، ثم قم بتحديث النموذج. يتم حساب الدقة كمتوسط متحرك للتنبؤات الصحيحة. هذا يتجنب أي تحيز في النظر إلى المستقبل ويعكس ظروف النشر الحقيقية.
طرق ذات صلة
المصادر
Oza, N. C., & Russell, S. (2001). Online bagging and boosting. In Proceedings of the Eighth International Workshop on Artificial Intelligence and Statistics (AISTATS 2001), pp. 105–112.
افتح مرجع المنشورتم النسخ.Bifet, A., Holmes, G., Kirkby, R., & Pfahringer, B. (2010). MOA: Massive Online Analysis. Journal of Machine Learning Research, 11, 1601–1604.
افتح مرجع المنشورتم النسخ.