Skip to content
بازگشت به نتایج جست‌وجو

SHAP (توضیحات جمعی شپلی؛ SHapley Additive exPlanations)

معرفی‌شده توسط
Lundberg, S.M. & Lee, S.-I.
سال
2017
نوع
Model-explanation method (Shapley-value attribution)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

SHAP یک روش توضیح مدل است که توسط اسکات لاندبرگ و سو-این لی در سال ۲۰۱۷ معرفی شد و از مقادیر شپلی (Shapley values) از نظریه بازی‌های تعاونی برای اندازه‌گیری میزان مشارکت هر ویژگی در یک پیش‌بینی فردی استفاده می‌کند و خروجی مدل‌های یادگیری ماشین جعبه سیاه را قابل تفسیر می‌سازد. این روش از توضیحات سراسری (اهمیت کلی ویژگی‌ها) و توضیحات محلی (چرا یک پیش‌بینی خاص به این شکل انجام شده است) پشتیبانی می‌کند.

شهود پشت روش

یک مدل آموزش‌دیده مانند جنگل تصادفی یا یک شبکه عمیق، مجموعه‌ای از ویژگی‌ها را به یک پیش‌بینی تبدیل می‌کند، اما دلیل آن را نمی‌گوید. SHAP ایده‌ای را از نظریه بازی وام می‌گیرد: ویژگی‌ها را بازیکنانی در نظر بگیرید که برای تولید پیش‌بینی همکاری می‌کنند و بپرسید که «بازده» - شکاف بین این پیش‌بینی و پیش‌بینی میانگین - چگونه باید به طور منصفانه بین آن‌ها تقسیم شود. سهم منصفانه هر ویژگی، مقدار SHAP آن است، بنابراین می‌توانید بخوانید که کدام ویژگی‌ها یک پیش‌بینی را بالا برده‌اند و کدام‌ها آن را پایین آورده‌اند، برای یک مورد واحد یا در کل مجموعه داده.

تاریخ

SHAP توسط اسکات لاندبرگ و سو-این لی در سال ۲۰۱۷ به عنوان یک رویکرد یکپارچه برای تفسیر پیش‌بینی‌های مدل معرفی شد و چندین روش توضیح قبلی را به مقادیر شپلی نظریه بازی‌های تعاونی مرتبط کرد. الگوریتم همراه TreeSHAP توضیحات دقیق و سریعی را برای مدل‌های مجموعه‌ای مبتنی بر درخت عملی کرد و SHAP از آن زمان به ابزاری استاندارد برای باز کردن مدل‌های جعبه سیاه در حوزه‌هایی از بهداشت و اقتصاد گرفته تا علوم طبیعی و رفتاری تبدیل شده است.

چه زمانی استفاده شود

هنگامی که شما یک مدل جعبه سیاه آموزش‌دیده (مانند XGBoost، جنگل تصادفی، یا یادگیری عمیق) بر روی داده‌های مقطعی یا پانلی با ویژگی‌های پیوسته، دسته‌ای یا دودویی دارید و نیاز به توضیح پیش‌بینی‌های آن دارید نه صرفاً گزارش دقت، از SHAP استفاده کنید. این روش هم در سطح سراسری (کدام ویژگی‌ها در کل اهمیت دارند) و هم در سطح محلی (چرا یک مورد خاص به این شکل پیش‌بینی شده است) کار می‌کند. حداقل حدود ۳۰ مشاهده مورد نیاز است؛ در غیر این صورت، مقادیر SHAP ناپایدار می‌شوند و یک مدل قابل تفسیر مستقیم مانند درخت تصمیم‌گیری امن‌تر است.

محدودیت‌ها و ملاحظات

  • نیاز به یک مدل ML از قبل آموزش‌دیده دارد؛ SHAP یک مدل را توضیح می‌دهد، آن را نمی‌سازد.
  • در نمونه‌های کوچک (n کمتر از حدود ۳۰) مقادیر SHAP ناپایدار هستند و سهم ویژگی‌ها غیرقابل اعتماد می‌شوند.
  • KernelSHAP مستقل از مدل است اما از نظر محاسباتی کند است، به خصوص در مجموعه داده‌های بزرگ یا با تعداد زیادی ویژگی.
  • انتساب‌ها رفتار مدل را توصیف می‌کنند، نه اثر واقعی علی یک ویژگی در جهان.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • مدل‌های جعبه سیاه را با نسبت دادن هر پیش‌بینی به ویژگی‌های آن، به مدل‌های قابل تفسیر تبدیل می‌کند.
  • هم اهمیت کلی ویژگی‌ها و هم توضیحات پیش‌بینی منفرد محلی را از یک چارچوب واحد ارائه می‌دهد.
  • بر اساس مقادیر شپلی از نظریه بازی، به انتساب‌ها یک مبنای منصفانه و جمعی اصولی می‌بخشد.
  • TreeSHAP توضیحات دقیق و سریعی را برای مدل‌های مبتنی بر درخت مانند جنگل تصادفی و XGBoost ارائه می‌دهد.
  • KernelSHAP مستقل از مدل است، بنابراین همین رویکرد برای تقریباً هر مدل آموزش‌دیده اعمال می‌شود.

کاربردها

  • توضیح پیش‌بینی‌های فردی مدل‌های جعبه سیاه برای تصمیم‌گیری‌های بالینی، مالی یا ریسک.
  • رتبه‌بندی اهمیت کلی ویژگی‌ها برای درک اینکه یک مدل آموزش‌دیده به چه چیزی تکیه دارد.
  • ممیزی مدل‌ها برای انصاف و وابستگی غیرمنتظره به ویژگی‌های حساس.
  • انتقال رفتار مدل به بازبینان و ذینفعانی که انتظار نتایج قابل تفسیر دارند.

چگونه کار می‌کند

چگونه کار می‌کند

1

SHAP بر روی یک مدل جعبه سیاه آموزش‌دیده تکیه دارد - به عنوان مثال XGBoost، یک جنگل تصادفی، یا یک شبکه عمیق. هدف بازآموزی چیزی نیست، بلکه توضیح آنچه که آن مدل از قبل آموخته است، با نسبت دادن پیش‌بینی‌های آن به ویژگی‌های ورودی است.

2

هر پیش‌بینی به صورت جمعی تجزیه می‌شود: برابر است با یک مقدار پایه (میانگین خروجی مدل) به علاوه سهم تمام ویژگی‌ها. هر ویژگی یک مقدار SHAP دریافت می‌کند، سهم آن از تفاوت بین این پیش‌بینی و مقدار پایه، و این سهم‌ها دقیقاً به پیش‌بینی اضافه می‌شوند.

فرمول
f(x) = \phi_0 + \sum_{i=1}^{M} \phi_i
3

سهم‌ها به عنوان مقادیر شپلی محاسبه می‌شوند، که میانگین سهم حاشیه‌ای یک ویژگی را در تمام روش‌هایی که ویژگی‌ها می‌توانند به پیش‌بینی اضافه شوند، محاسبه می‌کنند. TreeSHAP این مقادیر را به طور دقیق و سریع برای مدل‌های مبتنی بر درخت محاسبه می‌کند، در حالی که KernelSHAP که مستقل از مدل است، برای هر مدلی کار می‌کند اما کندتر است.

4

مقادیر SHAP حاصل می‌توانند به صورت محلی خوانده شوند - توضیح یک پیش‌بینی واحد با نشان دادن اینکه کدام ویژگی‌ها آن را بالا یا پایین برده‌اند - یا در سراسر مجموعه داده تجمیع شوند تا یک رتبه‌بندی سراسری از اهمیت ویژگی‌ها ارائه دهند و یک مدل جعبه سیاه را به چیزی تبدیل کنند که یک بازبین می‌تواند آن را بررسی کند.

دام‌های رایج

  • محاسبه مقادیر SHAP بر روی مجموعه داده‌ای که برای ارائه انتساب‌های پایدار بسیار کوچک است (n کمتر از حدود ۳۰).
  • خواندن مقادیر SHAP به عنوان اثرات علی به جای توضیحات پیش‌بینی‌های مدل.
  • استفاده از KernelSHAP کند بر روی داده‌های بزرگ در حالی که TreeSHAP نتایج دقیق را بسیار سریع‌تر برای مدل‌های درختی ارائه می‌دهد.
  • توضیح یک مدل ضعیف برازش شده و اعتماد به انتساب‌های مدلی که به خوبی پیش‌بینی نمی‌کند.

پرسش‌های متداول

آیا برای استفاده از SHAP نیاز به بازآموزی مدل خود دارم؟

خیر. SHAP مدلی را که از قبل آموزش داده‌اید - مانند XGBoost، یک جنگل تصادفی، یا یک شبکه عمیق - با نسبت دادن پیش‌بینی‌های موجود آن به ویژگی‌های ورودی توضیح می‌دهد. این مدل را بازآموزی یا تغییر نمی‌دهد.

تفاوت بین TreeSHAP و KernelSHAP چیست؟

TreeSHAP مقادیر دقیق SHAP را به سرعت برای مدل‌های مبتنی بر درخت مانند جنگل تصادفی و XGBoost محاسبه می‌کند. KernelSHAP مستقل از مدل است و برای هر مدلی کار می‌کند، اما یک تقریب است و به طور قابل توجهی کندتر است، به خصوص در داده‌های بزرگ.

آیا SHAP می‌تواند یک پیش‌بینی واحد را توضیح دهد؟

بله. این حالت محلی آن است: برای یک مورد نشان می‌دهد که هر ویژگی چقدر پیش‌بینی را بالاتر یا پایین‌تر از مقدار پایه برده است، با این سهم‌ها که دقیقاً به پیش‌بینی اضافه می‌شوند. تجمیع این‌ها در سراسر مجموعه داده، اهمیت کلی ویژگی‌ها را به دست می‌دهد.

به چه مقدار داده نیاز دارم؟

حداقل حدود ۳۰ مشاهده. در زیر این مقدار، مقادیر SHAP ناپایدار می‌شوند و سهم ویژگی‌ها غیرقابل اعتماد می‌شوند، بنابراین یک مدل قابل تفسیر مستقیم مانند درخت تصمیم‌گیری انتخاب امن‌تری است.

روش‌های مرتبط

منابع

  1. Lundberg, S.M. & Lee, S.-I. (2017). A Unified Approach to Interpreting Model Predictions. Advances in Neural Information Processing Systems, 30, 4766–4777.

    باز کردن مرجع انتشار
    کپی شد.