Skip to content
Retour aux résultats

SHAP (explications additives de Shapley, SHapley Additive exPlanations)

Introduite par
Lundberg, S.M. & Lee, S.-I.
Année
2017
Type
Model-explanation method (Shapley-value attribution)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

SHAP est une méthode d'explication de modèle, introduite par Scott Lundberg et Su-In Lee en 2017, qui utilise les valeurs de Shapley de la théorie des jeux coopératifs pour mesurer la contribution de chaque variable à une prédiction individuelle, rendant ainsi interprétable la sortie des modèles d'apprentissage automatique boîte noire.

Elle prend en charge les explications globales (importance globale des variables) et les explications locales (pourquoi une prédiction spécifique a donné le résultat qu'elle a donné).

L’intuition derrière la méthode

Un modèle entraîné tel qu'une forêt aléatoire ou un réseau profond transforme une ligne de variables en une prédiction, mais il n'explique pas pourquoi. SHAP emprunte une idée à la théorie des jeux : imaginez que les variables sont des joueurs coopérant pour produire la prédiction, et demandez comment le 'gain' — l'écart entre cette prédiction et la prédiction moyenne — devrait être équitablement réparti entre eux. La part équitable de chaque variable est sa valeur SHAP, vous pouvez donc lire quelles variables ont fait augmenter une prédiction et lesquelles l'ont fait baisser, pour un cas unique ou sur l'ensemble des données.

Histoire

SHAP a été introduit par Scott Lundberg et Su-In Lee en 2017 comme une approche unifiée pour interpréter les prédictions de modèles, reliant plusieurs méthodes d'explication antérieures aux valeurs de Shapley de la théorie des jeux coopératifs. L'algorithme TreeSHAP associé a rendu les explications exactes et rapides pratiques pour les ensembles de modèles arborescents, et SHAP est depuis devenu un outil standard pour ouvrir les modèles boîte noire dans des domaines allant de la santé et de l'économie aux sciences naturelles et comportementales.

Quand l’utiliser

Utilisez SHAP lorsque vous avez déjà un modèle boîte noire entraîné (tel que XGBoost, une forêt aléatoire ou un apprentissage profond) sur des données transversales ou de panel avec des variables continues, catégorielles ou binaires, et que vous devez expliquer ses prédictions plutôt que de simplement rapporter l'exactitude (accuracy). Il fonctionne à la fois au niveau global (quelles variables importent globalement) et au niveau local (pourquoi un cas a été prédit comme il l'a été). Environ 30 observations sont nécessaires ; en dessous, les valeurs SHAP deviennent instables et un modèle directement interprétable tel qu'un arbre de décision est plus sûr.

Limites et points d’attention

  • Nécessite un modèle d'apprentissage automatique déjà entraîné ; SHAP explique un modèle, il n'en construit pas un.
  • Sur de petits échantillons (n inférieur à environ 30), les valeurs SHAP sont instables et les contributions des variables deviennent peu fiables.
  • KernelSHAP est indépendant du modèle mais coûteux en calcul, surtout sur de grands jeux de données ou avec de nombreuses variables.
  • Les attributions décrivent le comportement du modèle, pas l'effet causal réel d'une variable dans le monde.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Transforme les modèles boîte noire en modèles interprétables en attribuant chaque prédiction à ses variables.
  • Fournit à la fois l'importance globale des variables et des explications locales pour une prédiction unique à partir d'un seul cadre.
  • Fondé sur les valeurs de Shapley de la théorie des jeux, donnant aux attributions une base d'équité rigoureuse et additive.
  • TreeSHAP fournit des explications exactes et rapides pour les modèles basés sur des arbres tels que la forêt aléatoire et XGBoost.
  • KernelSHAP est indépendant du modèle, donc la même approche s'applique à presque tout modèle entraîné.

Applications

  • Expliquer les prédictions individuelles de modèles boîte noire pour des décisions cliniques, financières ou de risque.
  • Classer l'importance globale des variables pour comprendre sur quoi repose un modèle entraîné.
  • Auditer les modèles pour l'équité et la dépendance inattendue à des variables sensibles.
  • Communiquer le comportement du modèle aux évaluateurs et aux parties prenantes qui attendent des résultats interprétables.

Comment ça marche

Comment ça marche

1

SHAP repose sur un modèle boîte noire entraîné — par exemple XGBoost, une forêt aléatoire ou un réseau profond. L'objectif n'est pas de réajuster quoi que ce soit, mais d'expliquer ce que ce modèle a déjà appris, en attribuant ses prédictions aux variables d'entrée.

2

Chaque prédiction est décomposée additivement : elle est égale à une valeur de base (la sortie moyenne du modèle) plus les contributions de toutes les variables. Chaque variable reçoit une valeur SHAP, sa part de la différence entre cette prédiction et la valeur de base, et ces parts s'additionnent exactement à la prédiction.

Formule
f(x) = \phi_0 + \sum_{i=1}^{M} \phi_i
3

Les parts sont calculées comme des valeurs de Shapley, qui font la moyenne de la contribution marginale d'une variable sur toutes les façons dont les variables peuvent être ajoutées à la prédiction. TreeSHAP calcule celles-ci exactement et rapidement pour les modèles basés sur des arbres, tandis que KernelSHAP, indépendant du modèle, fonctionne pour n'importe quel modèle mais est plus lent.

4

Les valeurs SHAP résultantes peuvent être lues localement — expliquant une prédiction unique en montrant quelles variables l'ont augmentée ou diminuée — ou agrégées sur l'ensemble des données pour donner un classement global de l'importance des variables, transformant un modèle boîte noire en quelque chose qu'un relecteur peut inspecter.

Pièges courants

  • Calculer des valeurs SHAP sur un ensemble de données trop petit (n inférieur à ~30) pour donner des attributions stables.
  • Lire les valeurs SHAP comme des effets causaux plutôt que comme des explications des prédictions du modèle.
  • Utiliser le lent KernelSHAP sur de grandes données alors que TreeSHAP donnerait des résultats exacts beaucoup plus rapidement pour les modèles arborescents.
  • Expliquer un modèle mal ajusté et faire confiance aux attributions d'un modèle qui ne prédit pas bien.

Questions fréquentes

Dois-je réentraîner mon modèle pour utiliser SHAP ?

Non. SHAP explique un modèle que vous avez déjà entraîné — tel que XGBoost, une forêt aléatoire ou un réseau profond — en attribuant ses prédictions existantes aux variables d'entrée. Il ne réajuste ni ne modifie le modèle.

Quelle est la différence entre TreeSHAP et KernelSHAP ?

TreeSHAP calcule des valeurs SHAP exactes rapidement pour les modèles basés sur des arbres comme la forêt aléatoire et XGBoost. KernelSHAP est indépendant du modèle et fonctionne pour n'importe quel modèle, mais c'est une approximation et il est considérablement plus lent, surtout sur de grandes données.

SHAP peut-il expliquer une seule prédiction ?

Oui. C'est son mode local : pour un cas, il montre combien chaque variable a fait monter ou descendre la prédiction par rapport à la valeur de base, les contributions s'additionnant exactement à la prédiction. L'agrégation de celles-ci sur l'ensemble des données donne l'importance globale des variables.

Quelle quantité de données est nécessaire ?

Environ 30 observations au minimum. En dessous, les valeurs SHAP deviennent instables et les contributions des variables peu fiables, donc un modèle directement interprétable tel qu'un arbre de décision est le choix le plus sûr.

Méthodes associées

Sources

  1. Lundberg, S.M. & Lee, S.-I. (2017). A Unified Approach to Interpreting Model Predictions. Advances in Neural Information Processing Systems, 30, 4766–4777.

    Ouvrir la référence de la publication
    Copié.