SHAP分析(SHapley加性解释,SHapley Additive exPlanations)
- 提出者
- Lundberg, S.M. & Lee, S.-I.
- 年份
- 2017
- 类型
- Model-explanation method (Shapley-value attribution)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
SHAP 是一种模型解释方法,由 Scott Lundberg 和 Su-In Lee 于 2017 年提出,它利用合作博弈论中的 Shapley 值来衡量每个特征对个体预测的贡献程度,从而使黑箱机器学习模型的输出具有可解释性。它同时支持全局解释(整体特征重要性)和局部解释(特定预测值为何如此)。
方法背后的直觉
训练好的模型,如随机森林或深度网络,可以将一组特征转换为一个预测值,但它并不能告诉你原因。SHAP 借鉴了博弈论的思想:将特征视为合作产生预测的玩家,并询问“收益”——即当前预测值与平均预测值之间的差距——应如何公平地在它们之间分配。每个特征的公平份额就是其 SHAP 值,因此你可以读出哪些特征推高了预测值,哪些特征拉低了预测值,无论是针对单个案例还是整个数据集。
历史学
SHAP 由 Scott Lundberg 和 Su-In Lee 于 2017 年提出,作为解释模型预测的统一方法,将几种早期解释方法与合作博弈论的 Shapley 值联系起来。配套的 TreeSHAP 算法使得基于树的集成模型的精确、快速解释成为可能,此后 SHAP 已成为在健康、经济、自然科学和行为科学等领域打开黑箱模型的标准工具。
何时使用
当你已经拥有一个在横截面或面板数据上训练好的黑箱模型(如 XGBoost、随机森林或深度学习模型),且该模型具有连续、分类或二元特征时,并且你需要解释其预测而不是仅仅报告准确率,就可以使用 SHAP。它同时适用于全局层面(哪些特征总体上很重要)和局部层面(某个案例为何被如此预测)。至少需要大约 30 个观测值;低于此数量,SHAP 值会变得不稳定,此时直接可解释的模型(如决策树)会更安全。
局限与注意事项
- 需要一个已训练好的机器学习模型;SHAP 用于解释模型,而不是构建模型。
- 在小样本(n低于约 30)上,SHAP 值不稳定,特征贡献变得不可靠。
- KernelSHAP 是模型无关的,但计算成本高昂,尤其是在大型数据集或具有大量特征的情况下。
- 归因描述的是模型的行为,而不是特征在现实世界中的真实因果效应。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 通过将每个预测归因于其特征,将黑箱模型转化为可解释模型。
- 在一个框架内同时提供全局特征重要性和局部单预测解释。
- 基于博弈论的 Shapley 值,为归因提供了原则性的、加性的公平基础。
- TreeSHAP 为随机森林和 XGBoost 等基于树的模型提供快速、精确的解释。
- KernelSHAP 是模型无关的,因此相同的方法适用于几乎任何已训练模型。
应用
- 解释黑箱模型在临床、金融或风险决策中的个体预测。
- 对整体特征重要性进行排名,以了解已训练模型依赖于哪些特征。
- 审计模型以检查公平性以及对敏感特征的意外依赖性。
- 向期望可解释结果的审稿人和利益相关者传达模型行为。
使用方式
使用方式
SHAP 依赖于一个已训练好的黑箱模型——例如 XGBoost、随机森林或深度网络。其目标不是重新拟合任何东西,而是解释该模型已经学到了什么,并将它的预测归因于输入特征。
每个预测值都可以进行加性分解:它等于一个基线值(平均模型输出)加上所有特征的贡献。每个特征都会获得一个 SHAP 值,即它在当前预测值与基线值之间差额中所占的份额,这些份额加起来正好等于预测值。
公式
f(x) = \phi_0 + \sum_{i=1}^{M} \phi_i这些份额通过 Shapley 值计算得出,Shapley 值是对特征边际贡献在所有特征组合方式上的平均值。TreeSHAP 可以精确且快速地为基于树的模型计算这些值,而模型无关的 KernelSHAP 可用于任何模型,但速度较慢。
由此产生的 SHAP 值可以局部读取——通过显示哪些特征推高或拉低了预测值来解释单个预测——或者在整个数据集上聚合,以给出特征重要性的全局排名,将黑箱模型变成可供审查者检查的对象。
常见陷阱
- 在样本量太小(n低于约 30)时计算 SHAP 值,无法提供稳定的归因。
- 将 SHAP 值解读为因果效应,而不是模型预测的解释。
- 在树模型上使用缓慢的 KernelSHAP 处理大型数据,而 TreeSHAP 可以更快地给出精确结果。
- 解释一个拟合不佳的模型,并信任一个预测效果不好的模型的归因。
常见问题
我需要重新训练我的模型才能使用 SHAP 吗?
不需要。SHAP 通过将现有预测归因于输入特征来解释你已经训练好的模型(如 XGBoost、随机森林或深度网络)。它不会重新拟合或更改模型。
TreeSHAP 和 KernelSHAP 有什么区别?
TreeSHAP 可以快速为随机森林和 XGBoost 等基于树的模型计算精确的 SHAP 值。KernelSHAP 是模型无关的,适用于任何模型,但它是一个近似值,并且计算速度要慢得多,尤其是在大型数据集上。
SHAP 能解释单个预测吗?
可以。这是它的局部模式:对于一个案例,它显示每个特征将预测值推高或拉低了多少,贡献值加起来正好等于预测值。将这些值聚合到整个数据集中即可获得全局特征重要性。
我需要多少数据?
至少需要大约 30 个观测值。低于此数量,SHAP 值会变得不稳定,特征贡献也变得不可靠,因此直接可解释的模型(如决策树)是更安全的选择。
相关方法
参考文献
Lundberg, S.M. & Lee, S.-I. (2017). A Unified Approach to Interpreting Model Predictions. Advances in Neural Information Processing Systems, 30, 4766–4777.
打开出版物文献已复制。