Skip to content
Назад к результатам поиска

SHAP — аддитивные объяснения на основе значений Шепли (SHapley Additive exPlanations)

Автор метода
Lundberg, S.M. & Lee, S.-I.
Год
2017
Тип
Model-explanation method (Shapley-value attribution)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

SHAP — это метод объяснения моделей, представленный Скоттом Лундбергом и Су-Ин Ли в 2017 году, который использует значения Шепли (Shapley values) из кооперативной теории игр для измерения вклада каждой характеристики в индивидуальное предсказание, делая выходные данные моделей машинного обучения типа «чёрный ящик» интерпретируемыми.

Он поддерживает как глобальные объяснения (общая важность признаков), так и локальные объяснения (почему конкретное предсказание получилось именно таким).

Интуиция метода

Обученная модель, такая как случайный лес или глубокая сеть, преобразует строку признаков в предсказание, но не объясняет, почему. SHAP заимствует идею из теории игр: представьте, что признаки — это игроки, сотрудничающие для создания предсказания, и задайтесь вопросом, как «выплата» — разница между этим предсказанием и средним предсказанием — должна быть справедливо разделена между ними. Справедливая доля каждого признака — это его значение SHAP, поэтому можно определить, какие признаки увеличили предсказание, а какие уменьшили его, как для отдельного случая, так и для всего набора данных.

История

SHAP был представлен Скоттом Лундбергом и Су-Ин Ли в 2017 году как унифицированный подход к интерпретации предсказаний модели, связывающий несколько более ранних методов объяснения со значениями Шепли из кооперативной теории игр. Сопутствующий алгоритм TreeSHAP сделал точные, быстрые объяснения практически применимыми для ансамблей на основе деревьев, и с тех пор SHAP стал стандартным инструментом для раскрытия моделей «чёрный ящик» в таких областях, как здравоохранение и экономика, а также естественные и поведенческие науки.

Когда применять

Используйте SHAP, когда у вас уже есть обученная модель «чёрный ящик» (например, XGBoost, случайный лес или глубокое обучение) на кросс-секционных или панельных данных с непрерывными, категориальными или бинарными признаками, и вам нужно объяснить её предсказания, а не просто сообщить точность. Он работает как на глобальном уровне (какие признаки важны в целом), так и на локальном уровне (почему конкретный случай был предсказан именно так). Необходимо как минимум около 30 наблюдений; при меньшем количестве значения SHAP становятся нестабильными, и более безопасным является использование непосредственно интерпретируемой модели, такой как дерево решений.

Ограничения и замечания

  • Требует уже обученной модели машинного обучения; SHAP объясняет модель, а не строит её.
  • На малых выборках (n менее ~30) значения SHAP нестабильны, и вклады признаков становятся ненадежными.
  • KernelSHAP является модель-агностическим, но вычислительно медленным, особенно на больших наборах данных или при большом количестве признаков.
  • Атрибуции описывают поведение модели, а не истинный причинно-следственный эффект признака в мире.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Превращает модели «чёрный ящик» в интерпретируемые, приписывая каждое предсказание его признакам.
  • Обеспечивает как глобальную важность признаков, так и локальные объяснения отдельных предсказаний в рамках единой структуры.
  • Основан на значениях Шепли из теории игр, что придает атрибуциям принципиальную, аддитивную основу справедливости.
  • TreeSHAP дает быстрые, точные объяснения для древовидных моделей, таких как случайный лес и XGBoost.
  • KernelSHAP является модель-агностическим, поэтому тот же подход применим почти к любой обученной модели.

Применение

  • Объяснение индивидуальных предсказаний моделей «чёрный ящик» для клинических, финансовых или рисковых решений.
  • Ранжирование общей важности признаков для понимания того, на что опирается обученная модель.
  • Аудит моделей на предмет справедливости и неожиданной зависимости от чувствительных признаков.
  • Передача информации о поведении модели рецензентам и заинтересованным сторонам, которые ожидают интерпретируемых результатов.

Как это работает

Как это работает

1

SHAP основывается на обученной модели типа «чёрный ящик» — например, XGBoost, случайном лесе или глубокой сети. Цель состоит не в переобучении чего-либо, а в объяснении того, что эта модель уже изучила, приписывая её предсказания входным признакам.

2

Каждое предсказание аддитивно декомпозируется: оно равно базовому значению (средний выход модели) плюс вклады всех признаков. Каждый признак получает значение SHAP, свою долю разницы между этим предсказанием и базовым значением, и эти доли в сумме точно дают предсказание.

Формула
f(x) = \phi_0 + \sum_{i=1}^{M} \phi_i
3

Доли рассчитываются как значения Шепли, которые усредняют предельный вклад признака по всем возможным способам добавления признаков к предсказанию. TreeSHAP вычисляет их точно и быстро для древовидных моделей, в то время как модель-агностический KernelSHAP работает для любой модели, но медленнее.

4

Полученные значения SHAP можно интерпретировать локально — объясняя одно предсказание путём указания, какие признаки его повысили или понизили — или агрегировать по всему набору данных для получения глобального ранжирования важности признаков, превращая модель «чёрный ящик» в нечто, что может быть проверено экспертом.

Частые ошибки

  • Вычисление значений SHAP на слишком малом наборе данных (n менее ~30) для получения стабильных атрибуций.
  • Интерпретация значений SHAP как причинно-следственных связей, а не как объяснений предсказаний модели.
  • Использование медленного KernelSHAP на больших данных, когда TreeSHAP дал бы точные результаты гораздо быстрее для древовидных моделей.
  • Объяснение плохо подогнанной модели и доверие атрибуциям модели, которая плохо предсказывает.

Часто задаваемые вопросы

Нужно ли переобучать мою модель для использования SHAP?

Нет. SHAP объясняет уже обученную вами модель — такую как XGBoost, случайный лес или глубокая сеть — приписывая её существующие предсказания входным признакам. Он не переобучает и не изменяет модель.

В чем разница между TreeSHAP и KernelSHAP?

TreeSHAP быстро вычисляет точные значения SHAP для древовидных моделей, таких как случайный лес и XGBoost. KernelSHAP является модель-агностическим и работает для любой модели, но это аппроксимация, и он значительно медленнее, особенно на больших данных.

Может ли SHAP объяснить одно предсказание?

Да. Это его локальный режим: для одного случая он показывает, насколько каждый признак сдвинул предсказание выше или ниже базового уровня, при этом вклады точно суммируются до предсказания. Агрегирование этих значений по всему набору данных дает глобальную важность признаков.

Сколько данных мне нужно?

Как минимум около 30 наблюдений. При меньшем количестве значения SHAP становятся нестабильными, а вклады признаков ненадежными, поэтому непосредственно интерпретируемая модель, такая как дерево решений, является более безопасным выбором.

Похожие методы

Источники

  1. Lundberg, S.M. & Lee, S.-I. (2017). A Unified Approach to Interpreting Model Predictions. Advances in Neural Information Processing Systems, 30, 4766–4777.

    Открыть ссылку на публикацию
    Скопировано.