SHAP (تفسيرات شابلي الإضافية — SHapley Additive exPlanations)
- قدّمه
- Lundberg, S.M. & Lee, S.-I.
- السنة
- 2017
- النوع
- Model-explanation method (Shapley-value attribution)
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
SHAP هي طريقة لتفسير النماذج، قدمها Scott Lundberg وSu-In Lee في عام 2017، تستخدم قيم شابلي (Shapley values) من نظرية الألعاب التعاونية لقياس مساهمة كل ميزة في تنبؤ فردي، مما يجعل مخرجات نماذج التعلم الآلي الصندوق الأسود قابلة للتفسير. وهي تدعم التفسيرات الشاملة (الأهمية الإجمالية للميزات) والتفسيرات المحلية (سبب ظهور تنبؤ معين بهذه الطريقة).
الفكرة الحدسية وراء الطريقة
يقوم نموذج مُدرَّب مثل الغابات العشوائية (random forest) أو الشبكة العصبية العميقة بتحويل صف من الميزات إلى تنبؤ، ولكنه لا يخبرك بالسبب. يستعير SHAP فكرة من نظرية الألعاب: تخيل أن الميزات هي لاعبون يتعاونون لإنتاج التنبؤ، واسأل كيف يجب تقسيم 'العائد' - وهو الفجوة بين هذا التنبؤ ومتوسط التنبؤ - بشكل عادل بينهم. حصة كل ميزة العادلة هي قيمة SHAP الخاصة بها، لذا يمكنك معرفة الميزات التي رفعت التنبؤ والميزات التي خفضته، لحالة فردية أو عبر مجموعة البيانات بأكملها.
التاريخ
تم تقديم SHAP بواسطة Scott Lundberg وSu-In Lee في عام 2017 كنهج موحد لتفسير تنبؤات النماذج، وربط العديد من طرق التفسير السابقة بقيم شابلي لنظرية الألعاب التعاونية. جعل خوارزمية TreeSHAP المصاحبة تفسيرات دقيقة وسريعة عملية لمجموعات الأشجار، وأصبح SHAP منذ ذلك الحين أداة قياسية لفتح نماذج الصندوق الأسود في مجالات من الصحة والاقتصاد إلى العلوم الطبيعية والسلوكية.
متى تُستخدم
استخدم SHAP عندما يكون لديك بالفعل نموذج صندوق أسود مُدرَّب (مثل XGBoost، أو الغابات العشوائية، أو التعلم العميق) على بيانات مقطعية أو بيانات لوحية مع ميزات مستمرة أو فئوية أو ثنائية، وتحتاج إلى شرح تنبؤاته بدلاً من مجرد الإبلاغ عن الدقة. يعمل على المستوى الشامل (أي الميزات المهمة بشكل عام) والمستوى المحلي (لماذا تم التنبؤ بحالة معينة كما كانت). هناك حاجة إلى حوالي 30 ملاحظة على الأقل؛ أقل من ذلك، تصبح قيم SHAP غير مستقرة ويكون النموذج القابل للتفسير مباشرة مثل شجرة القرار أكثر أمانًا.
الحدود والاعتبارات
- يتطلب نموذج تعلم آلي مُدرَّب بالفعل؛ يقوم SHAP بشرح نموذج، ولا يبنيه.
- في العينات الصغيرة (أقل من حوالي 30 ملاحظة)، تكون قيم SHAP غير مستقرة وتصبح مساهمات الميزات غير موثوقة.
- KernelSHAP مستقل عن النموذج ولكنه بطيء حسابيًا، خاصة على مجموعات البيانات الكبيرة أو مع العديد من الميزات.
- يصف الإسناد سلوك النموذج، وليس التأثير السببي الحقيقي للميزة في العالم.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يحول نماذج الصندوق الأسود إلى نماذج قابلة للتفسير عن طريق إسناد كل تنبؤ إلى ميزاته.
- يوفر كلاً من الأهمية الشاملة للميزات والتفسيرات المحلية للتنبؤات الفردية من إطار عمل واحد.
- مُستند إلى قيم شابلي من نظرية الألعاب، مما يمنح الإسناد أساسًا عادلاً ومنهجيًا وإضافيًا.
- يوفر TreeSHAP تفسيرات دقيقة وسريعة للنماذج القائمة على الأشجار مثل الغابات العشوائية و XGBoost.
- KernelSHAP مستقل عن النموذج، لذا ينطبق نفس النهج على أي نموذج مُدرَّب تقريبًا.
التطبيقات
- شرح التنبؤات الفردية لنماذج الصندوق الأسود للقرارات السريرية أو المالية أو المتعلقة بالمخاطر.
- ترتيب الأهمية الشاملة للميزات لفهم ما يعتمد عليه النموذج المُدرَّب.
- تدقيق عدالة النماذج والاعتماد غير المتوقع على الميزات الحساسة.
- توصيل سلوك النموذج للمراجعين وأصحاب المصلحة الذين يتوقعون نتائج قابلة للتفسير.
كيف يعمل
كيف يعمل
يعتمد SHAP على نموذج صندوق أسود مُدرَّب - على سبيل المثال XGBoost، أو الغابات العشوائية، أو الشبكة العميقة. الهدف ليس إعادة تدريب أي شيء ولكن شرح ما تعلمه النموذج بالفعل، مع إسناد تنبؤاته إلى ميزات الإدخال.
يتم تحليل كل تنبؤ بشكل إضافي: يساوي قيمة أساسية (متوسط مخرجات النموذج) بالإضافة إلى مساهمات جميع الميزات. تحصل كل ميزة على قيمة SHAP، وهي حصتها من الفرق بين هذا التنبؤ والقيمة الأساسية، وتتجمع هذه الحصص بالضبط لتصل إلى التنبؤ.
الصيغة
f(x) = \phi_0 + \sum_{i=1}^{M} \phi_iيتم حساب الحصص كقيم شابلي، والتي تحسب متوسط المساهمة الهامشية للميزة عبر جميع الطرق التي يمكن بها إضافة الميزات إلى التنبؤ. يقوم TreeSHAP بحساب هذه القيم بدقة وسرعة للنماذج القائمة على الأشجار، بينما يعمل KernelSHAP، وهو مستقل عن النموذج، لأي نموذج ولكنه أبطأ.
يمكن قراءة قيم SHAP الناتجة محليًا - لشرح تنبؤ فردي عن طريق إظهار الميزات التي رفعته أو خفضته - أو تجميعها عبر مجموعة البيانات لإعطاء ترتيب شامل لأهمية الميزات، مما يحول نموذج الصندوق الأسود إلى شيء يمكن للمراجع فحصه.
الأخطاء الشائعة
- حساب قيم SHAP على مجموعة بيانات صغيرة جدًا (أقل من حوالي 30 ملاحظة) لتقديم إسناد مستقر.
- قراءة قيم SHAP كتأثيرات سببية بدلاً من تفسيرات لتنبؤات النموذج.
- استخدام KernelSHAP البطيء على البيانات الكبيرة عندما يمكن لـ TreeSHAP تقديم نتائج دقيقة بشكل أسرع لنماذج الأشجار.
- شرح نموذج ضعيف الملاءمة والثقة في إسناد نموذج لا يتنبأ بشكل جيد.
الأسئلة الشائعة
هل أحتاج إلى إعادة تدريب نموذجي لاستخدام SHAP؟
لا. يقوم SHAP بشرح نموذج قمت بتدريبه بالفعل - مثل XGBoost، أو الغابات العشوائية، أو الشبكة العميقة - عن طريق إسناد تنبؤاته الحالية إلى ميزات الإدخال. لا يقوم بإعادة تدريب النموذج أو تغييره.
ما الفرق بين TreeSHAP و KernelSHAP؟
يقوم TreeSHAP بحساب قيم SHAP الدقيقة بسرعة للنماذج القائمة على الأشجار مثل الغابات العشوائية و XGBoost. KernelSHAP مستقل عن النموذج ويعمل مع أي نموذج، ولكنه تقريبي وأبطأ بكثير، خاصة على البيانات الكبيرة.
هل يمكن لـ SHAP شرح تنبؤ فردي؟
نعم. هذا هو وضعه المحلي: لحالة واحدة، يوضح مقدار ما دفعته كل ميزة التنبؤ فوق أو تحت القيمة الأساسية، مع إضافة المساهمات بالضبط إلى التنبؤ. تجميع هذه المساهمات عبر مجموعة البيانات يعطي الأهمية الشاملة للميزات.
ما مقدار البيانات التي أحتاجها؟
حوالي 30 ملاحظة على الأقل. أقل من ذلك، تصبح قيم SHAP غير مستقرة وتصبح مساهمات الميزات غير موثوقة، لذا فإن النموذج القابل للتفسير مباشرة مثل شجرة القرار هو الخيار الأكثر أمانًا.
طرق ذات صلة
المصادر
Lundberg, S.M. & Lee, S.-I. (2017). A Unified Approach to Interpreting Model Predictions. Advances in Neural Information Processing Systems, 30, 4766–4777.
افتح مرجع المنشورتم النسخ.