التعبئة (تجميع العينات العشوائية)
- قدّمه
- Breiman, L.
- السنة
- 1996
- النوع
- Ensemble meta-algorithm (variance reduction via bootstrap aggregation)
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
التعبئة، اختصارًا لتجميع العينات العشوائية (Bootstrap Aggregating)، هي خوارزمية تجميع فائقة (meta-algorithm) قدمها ليو بريمان عام 1996، تقوم بتدريب نسخ متعددة من متعلم أساسي (base learner) على عينات عشوائية مسحوبة مع الإحلال من بيانات التدريب، وتجمع تنبؤاتها - عن طريق المتوسط للانحدار أو التصويت بالأغلبية للتصنيف - لإنتاج متنبئ نهائي ذي تباين أقل بشكل كبير من أي متعلم أساسي منفرد.
الفكرة الحدسية وراء الطريقة
تخيل أن تسأل خبيرًا واحدًا عن رأيه: يعتمد جوابه بشكل كبير على تجاربه الخاصة. الآن تخيل أن تسأل مائة خبير، لكل منهم خلفية مختلفة قليلاً، وتجمع إجاباتهم. تلغي الفروقات الفردية ويصبح إجماع المجموعة أكثر موثوقية بكثير. تقوم التعبئة بذلك بالضبط لنماذج تعلم الآلة: فهي تنشئ العديد من مجموعات التدريب المختلفة قليلاً عن طريق إعادة أخذ عينات من البيانات الأصلية مع الإحلال، وتدريب نموذج واحد لكل مجموعة، ودمج جميع التنبؤات. يرى كل نموذج شريحة مختلفة من الواقع، لذا فإن أخطاءها الفردية تميل إلى عدم التوافق، ويصبح المجموع أكثر استقرارًا بكثير من أي نموذج منفرد.
التاريخ
نشر ليو بريمان ورقة "Bagging Predictors" في تعلم الآلة عام 1996، مدفوعًا بملاحظة أن المتعلمين غير المستقرين - أولئك الذين يتغير ناتجهم بشكل كبير تحت اضطرابات البيانات الصغيرة - يمكن تثبيتها عن طريق حساب متوسط تكرارات العينات العشوائية لمجموعة التدريب. تستند المبررات النظرية إلى تفكيك التحيز والتباين: المتوسط يقلل التباين مع ترك التحيز دون تغيير. أظهر بريمان تحسينات متسقة في الدقة مقارنة بأشجار القرار الفردية على مجموعة من معايير التصنيف والانحدار. سرعان ما أصبحت التعبئة تقنية تجميع أساسية وألهمت بشكل مباشر الغابات العشوائية (Random Forest) (بريمان، 2001)، التي تضيف أخذ عينات فرعية عشوائية للميزات عند كل انقسام لزيادة إزالة الارتباط بين الأشجار وتحقيق انخفاض أكبر في التباين. اليوم، تعمل التعبئة كعمود فقري مفاهيمي لعائلة واسعة من طرق التجميع وهي موضوع قياسي في مناهج تعلم الآلة على مستوى الدراسات العليا.
متى تُستخدم
التعبئة مناسبة كلما كان خوارزمية التعلم الأساسية ذات تباين عالٍ - أي حساسة للاضطرابات الصغيرة في بيانات التدريب - وكان تقليل هذا التباين هو المصدر الرئيسي للخطأ. أشجار القرار التي تنمو بالكامل وغير المقلمة هي المثال النموذجي. التعبئة مناسبة لكل من التصنيف والانحدار على البيانات الجدولية، ولا تتطلب أي افتراضات حول توزيع البيانات، وتتعامل مع أنواع الميزات المختلطة. تكون مفيدة بشكل أكبر عندما تكون مجموعة البيانات كبيرة بما يكفي لدعم B عينة عشوائية مستقلة ذات جودة (على الأقل حوالي 30 ملاحظة هو الحد الأدنى العملي، على الرغم من أن المئات مفضلة). التعبئة ليست مفيدة عندما يكون المتعلم الأساسي مستقرًا بالفعل (مثل الانحدار الخطي على مشاكل محددة جيدًا) أو عندما يكون المصدر المهيمن للخطأ هو التحيز بدلاً من التباين - في مثل هذه الحالات تكون طرق التعزيز (boosting) أكثر ملاءمة.
الحدود والاعتبارات
- لا تقلل التحيز: إذا كان المتعلم الأساسي يعاني من نقص الملاءمة (underfits)، فلا يمكن للتعبئة تصحيحه.
- تنبؤات المجموعة أصعب في التفسير من نموذج واحد؛ لا يوجد نظير للهيكل المرئي لشجرة قرار واحدة.
- الذاكرة والتخزين يتناسبان خطيًا مع B: الاحتفاظ بمئات النماذج الكبيرة في الذاكرة قد يكون مستحيلاً.
- تتضاءل المكاسب بسرعة مع نمو B؛ عادة ما يستقر الأداء جيدًا قبل B = 500.
- على المتعلمين الأساسيين المستقرين (مثل الانحدار الخطي بالمواصفات الصحيحة) تحقق التعبئة تحسنًا ضئيلًا.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يقلل بشكل مباشر من تباين المقدر دون زيادة التحيز، مما ينتج تنبؤات أكثر استقرارًا من أي نموذج أساسي منفرد.
- قابل للتوازي بشكل بديهي: كل تكرار عشوائي مستقل، مما يجعل المجموعات الكبيرة قابلة للحساب.
- تقدير خطأ OOB المدمج يوفر تقديرًا صادقًا للتعميم دون تكلفة بيانات إضافية.
- خوارزمية فائقة مستقلة عن النموذج: متوافقة مع أي متعلم أساسي غير مستقر بما فيه الكفاية (الأشجار، الشبكات العصبية، الجيران الأقرب).
- قوية ضد القيم المتطرفة في مجموعة التدريب: أي ملاحظة غير عادية واحدة غائبة عن معظم العينات العشوائية.
التطبيقات
- بناء نماذج تصنيف وانحدار مستقرة على بيانات جدولية مشوشة حيث قد تعاني شجرة قرار واحدة من فرط الملاءمة (overfitting).
- إنشاء فترات تنبؤ عن طريق فحص انتشار التنبؤات عبر المتعلمين الأساسيين B.
- تقدير أهمية الميزات عبر الانخفاض في دقة OOB عند تبديل كل ميزة عبر المجموعة.
- خط أساس للمجموعة: معيار سريع لقياس مدى تحسن طريقة أكثر تطوراً (التعزيز، التكديس) مقارنة بالتجميع البسيط.
كيف يعمل
كيف يعمل
يتم سحب B عينة عشوائية مستقلة مع الإحلال من مجموعة التدريب الأصلية بحجم n. يتم إنشاء كل عينة عن طريق سحب n ملاحظة مع الإحلال من البيانات الأصلية، لذا في المتوسط تحتوي كل عينة على حوالي 63.2% من حالات التدريب الفريدة؛ الـ ~36.8% المتبقية تُترك وتشكل مجموعة خارج العينة (out-of-bag - OOB) لتلك التكرار.
الصيغة
\mathcal{D}_b = \{(\mathbf{x}_i^*, y_i^*)\}_{i=1}^{n}, \quad (\mathbf{x}_i^*, y_i^*) \overset{\text{i.i.d.}}{\sim} \hat{F}_n, \quad b = 1, \dots, Bيتم ملاءمة خوارزمية تعلم أساسية - غالبًا ما تكون شجرة قرار تنمو إلى أقصى عمق، ولكن أي متعلم غير مستقر بما فيه الكفاية يؤهل - بشكل مستقل على كل عينة عشوائية، مما ينتج عنه B نماذج مميزة. الشرط الأساسي هو عدم الاستقرار: إذا تسببت اضطرابات البيانات الصغيرة في تغييرات كبيرة في النموذج، فإن التعبئة تحقق أكبر انخفاض في التباين.
الصيغة
\hat{f}_b = \mathcal{A}(\mathcal{D}_b)بالنسبة لمهام الانحدار، يتم حساب متوسط مخرجات النماذج B. خطوة المتوسط هذه هي الآلية الأساسية لتقليل التباين: في ظل افتراضات الاستقلال، يكون تباين متوسط B نماذج موزعة بشكل متطابق هو 1/B من تباين نموذج واحد، وحتى في ظل الارتباط الإيجابي، يكون الانخفاض كبيرًا.
الصيغة
\hat{f}_{\text{bag}}(\mathbf{x}) = \frac{1}{B} \sum_{b=1}^{B} \hat{f}_b(\mathbf{x})بالنسبة لمهام التصنيف، يلقي كل متعلم أساسي صوتًا واحدًا لتسمية فئة، ويتم إرجاع الفئة التي حصلت على أكبر عدد من الأصوات كتنبؤ نهائي. يتم كسر التعادل بشكل اعتباطي. التصويت بالأغلبية يكافئ بشكل مقارب متوسط تقديرات احتمالية الفئة التي تنتجها كل متعلم أساسي.
الصيغة
\hat{y}(\mathbf{x}) = \underset{k}{\operatorname{arg\,max}} \sum_{b=1}^{B} \mathbf{1}\!\left[\hat{f}_b(\mathbf{x}) = k\right]نظرًا لأن كل متعلم أساسي يتم تدريبه على حوالي 63.2% من البيانات، يمكن استخدام الملاحظات المتبقية كمجموعة اختبار صادقة محجوزة لهذا المتعلم. حساب متوسط تنبؤات OOB هذه عبر جميع المتعلمين الذين لم يروا كل ملاحظة يعطي تقديرًا غير متحيز تقريبًا لخطأ التعميم دون الحاجة إلى طية تحقق منفصلة أو تحقق متقاطع.
الصيغة
\widehat{\text{Err}}_{\text{OOB}} = \frac{1}{n} \sum_{i=1}^{n} L\!\left(y_i,\; \frac{1}{|\mathcal{B}_i^c|} \sum_{b \in \mathcal{B}_i^c} \hat{f}_b(\mathbf{x}_i)\right)الأخطاء الشائعة
- تطبيق التعبئة على متعلم أساسي منخفض التباين (مثل الانحدار المتدرج) وتوقع مكاسب كبيرة في الدقة.
- تعيين B صغير جدًا (مثل B < 10) بحيث لا يزال المجموع مشوشًا وتقديرات OOB غير موثوقة.
- تجاهل اختلال توازن الفئات: تحافظ التعبئة على توزيع الفئات للبيانات الأصلية في كل عينة عشوائية، لذا يتم تكرار الاختلال الشديد عبر جميع المتعلمين.
- الخلط بين التعبئة والتعزيز: تقوم التعبئة بتدريب النماذج بالتوازي على عينات مستقلة لتقليل التباين، بينما يقوم التعزيز بتدريب النماذج بشكل تسلسلي لتقليل التحيز - فهما يعالجان مصادر خطأ مختلفة.
- اعتبار خطأ OOB بديلاً للتقييم المحجوز المناسب عندما تكون مجموعة البيانات صغيرة جدًا، حيث يمكن أن تكون تقديرات OOB متفائلة في هذا النظام.
الأسئلة الشائعة
كم عدد العينات العشوائية B التي يجب أن أستخدمها؟
وجد بريمان (1996) أن الأداء يستقر بسرعة نسبية؛ غالبًا ما يكون B = 50 إلى 100 كافيًا لأشجار القرار. زيادة B إلى ما بعد بضع مئات تحقق عائدًا متناقصًا. راقب خطأ OOB مع نمو B وتوقف عندما يستقر.
ما هو الفرق بين التعبئة والغابات العشوائية؟
توسع الغابات العشوائية التعبئة عن طريق إضافة أخذ عينات فرعية عشوائية للميزات عند كل انقسام لكل شجرة. هذه العشوائية الإضافية تزيد من إزالة الارتباط بين المتعلمين الأساسيين، مما يقلل التباين بما يتجاوز ما تحققه التعبئة وحدها. لذلك، فإن التعبئة مع الأشجار التي تنمو بالكامل هي حالة خاصة من الغابات العشوائية حيث يتم النظر في جميع الميزات عند كل انقسام.
هل يمكن تطبيق التعبئة على متعلمين غير أشجار القرار؟
نعم. أي متعلم غير مستقر - تتغير تنبؤاته بشكل كبير عندما تتغير بيانات التدريب قليلاً - يمكن أن يستفيد من التعبئة. الشبكات العصبية، الجيران الأقرب (k-nearest neighbours)، وأشجار الانحدار غير المقلمة كلها مؤهلة. المتعلمون المستقرون مثل الانحدار الخطي بنموذج محدد جيدًا يستفيدون قليلاً لأنه لا يوجد سوى القليل من التباين لتقليله.
هل خطأ OOB بديل موثوق للتحقق المتقاطع؟
بالنسبة لمجموعات البيانات المتوسطة إلى الكبيرة، يعد خطأ OOB تقديرًا غير متحيز تقريبًا لخطأ التعميم وهو مجاني حسابيًا نظرًا لعدم الحاجة إلى ملاءمة نماذج إضافية. على مجموعات البيانات الصغيرة جدًا (n أقل من حوالي 50) يمكن أن تكون تقديرات OOB متفائلة ويفضل التحقق المتقاطع.
طرق ذات صلة
المصادر
Breiman, L. (1996). Bagging Predictors. Machine Learning, 24(2), 123–140.
افتح مرجع DOIتم النسخ.Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 8.7). Springer.
ردمك: 978-0-387-84857-0تم النسخ.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8.2). Springer.
ردمك: 978-1-4614-7138-7تم النسخ.