Skip to content
検索結果に戻る

SHAP(SHapley Additive exPlanations)

提唱者
Lundberg, S.M. & Lee, S.-I.
年
2017
種類
Model-explanation method (Shapley-value attribution)

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

SHAPは、Scott LundbergとSu-In Leeが2017年に発表したモデル説明手法であり、協力ゲーム理論のShapley値を用いて、個々の予測に対して各特徴量がどの程度寄与しているかを測定し、ブラックボックス機械学習モデルの出力を解釈可能にします。これは、グローバルな説明(全体的な特徴量の重要度)とローカルな説明(特定の予測がなぜそのようになったか)の両方をサポートします。

手法の背後にある直感

ランダムフォレストやディープネットワークのような訓練済みモデルは、特徴量の行を予測に変換しますが、その理由を教えてはくれません。SHAPはゲーム理論のアイデアを借用しています。特徴量を予測を生成するために協力するプレイヤーと見なし、「報酬」—この予測と平均予測との間のギャップ—がそれらの間でどのように公平に分配されるべきかを問いかけます。各特徴量の公平な分け前がそのSHAP値であるため、単一のケースまたはデータセット全体で、どの特徴量が予測を押し上げ、どの特徴量が押し下げたかを読み取ることができます。

歴史学

SHAPは、Scott LundbergとSu-In Leeによって2017年に、モデル予測を解釈するための統一されたアプローチとして導入され、いくつかの以前の説明手法を協力ゲーム理論のShapley値に結びつけました。付属のTreeSHAPアルゴリズムは、ツリーベースのアンサンブルに対して正確で高速な説明を実用的なものにし、それ以来SHAPは、健康や経済学から自然科学や行動科学に至るまで、さまざまな分野でブラックボックスモデルを開放するための標準ツールとなっています。

使うべき場面

連続的、カテゴリカル、またはバイナリの特徴量を持つ横断データまたはパネルデータに対して、すでに訓練済みのブラックボックスモデル(XGBoost、ランダムフォレスト、ディープラーニングなど)があり、その予測の精度を報告するだけでなく、その予測を説明する必要がある場合にSHAPを使用します。これは、グローバルレベル(全体的にどの特徴量が重要か)とローカルレベル(なぜあるケースがそのように予測されたか)の両方で機能します。少なくとも約30の観測値が必要です。それ以下では、SHAP値が不安定になり、決定木のような直接解釈可能なモデルの方が安全です。

限界と注意点

  • すでに訓練済みの機械学習モデルが必要。SHAPはモデルを説明するものであり、構築するものではない。
  • 少数のサンプル(約30未満のn)では、SHAP値が不安定になり、特徴量の寄与が信頼できなくなる。
  • KernelSHAPはモデルに依存しないが、特に大規模なデータセットや多数の特徴量の場合、計算が遅い。
  • 帰属はモデルの動作を記述するものであり、世界における特徴量の真の因果効果ではない。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • ブラックボックスモデルを、各予測をその特徴量に帰属させることで、解釈可能なモデルに変える。
  • グローバルな特徴量の重要度とローカルな単一予測の説明の両方を単一のフレームワークから提供する。
  • ゲーム理論のShapley値に基づき、帰属に原則に基づいた加法的な公平性の基盤を与える。
  • TreeSHAPは、ランダムフォレストやXGBoostなどのツリーベースモデルに対して、高速で正確な説明を提供する。
  • KernelSHAPはモデルに依存しないため、同じアプローチがほとんどすべての訓練済みモデルに適用できる。

応用

  • 臨床、財務、またはリスクに関する決定のために、ブラックボックスモデルの個々の予測を説明する。
  • 訓練済みモデルが何に依存しているかを理解するために、全体的な特徴量の重要度をランク付けする。
  • 公平性や機密性の高い特徴量への予期せぬ依存性についてモデルを監査する。
  • 解釈可能な結果を期待するレビュー担当者や利害関係者にモデルの動作を伝える。

使い方

使い方

1

SHAPは、XGBoost、ランダムフォレスト、ディープネットワークなどの訓練済みブラックボックスモデルに基づいています。目標は、何かを再適合させることではなく、そのモデルがすでに学習したことを説明し、その予測を入力特徴量に帰属させることです。

2

各予測は加法的に分解されます。それはベースライン値(平均モデル出力)とすべての特徴量の寄与の合計に等しくなります。すべての特徴量はSHAP値を受け取ります。これは、この予測とベースラインとの差におけるその特徴量の分け前であり、これらの分け前は正確に予測に加算されます。

数式
f(x) = \phi_0 + \sum_{i=1}^{M} \phi_i
3

分け前はShapley値として計算されます。これは、特徴量が予測に追加されるすべての方法にわたる特徴量の限界寄与を平均したものです。TreeSHAPはツリーベースモデルに対してこれらを正確かつ迅速に計算しますが、モデルに依存しないKernelSHAPはどのモデルにも機能しますが、より低速です。

4

結果として得られるSHAP値は、ローカルに読み取ることができます。これは、どの特徴量が予測を上昇または下降させたかを示すことで単一の予測を説明します。また、データセット全体で集計して特徴量の重要度のグローバルランキングを与えることで、ブラックボックスモデルをレビュー担当者が検査できるものに変えることができます。

よくある落とし穴

  • 安定した帰属を与えるには小さすぎるデータセット(nが約30未満)でSHAP値を計算する。
  • SHAP値をモデルの予測の説明としてではなく、因果効果として読み取る。
  • ツリーモデルに対してTreeSHAPがはるかに高速で正確な結果を与えるはずなのに、大規模データで遅いKernelSHAPを使用する。
  • 適切に適合していないモデルを説明し、うまく予測できないモデルの帰属を信頼する。

よくある質問

SHAPを使用するためにモデルを再訓練する必要がありますか?

いいえ。SHAPは、XGBoost、ランダムフォレスト、ディープネットワークなど、すでに訓練したモデルを、その既存の予測を入力特徴量に帰属させることで説明します。モデルを再適合させたり、変更したりすることはありません。

TreeSHAPとKernelSHAPの違いは何ですか?

TreeSHAPは、ランダムフォレストやXGBoostのようなツリーベースモデルに対して、正確なSHAP値を迅速に計算します。KernelSHAPはモデルに依存せず、どのモデルにも機能しますが、近似であり、特に大規模データではかなり遅くなります。

SHAPは単一の予測を説明できますか?

はい。それがそのローカルモードです。単一のケースについて、各特徴量が予測をベースラインよりどれだけ押し上げたり押し下げたりしたかを示し、寄与は正確に予測に加算されます。これらをデータセット全体で集計すると、グローバルな特徴量の重要度が得られます。

どのくらいのデータが必要ですか?

少なくとも約30の観測値が必要です。それ以下では、SHAP値が不安定になり、特徴量の寄与が信頼できなくなるため、決定木のような直接解釈可能なモデルの方が安全な選択肢です。

関連する手法

参考文献

  1. Lundberg, S.M. & Lee, S.-I. (2017). A Unified Approach to Interpreting Model Predictions. Advances in Neural Information Processing Systems, 30, 4766–4777.

    出版物の文献を開く
    コピーしました。