SHAP — wartości Shapleya do wyjaśniania modeli (SHapley Additive exPlanations)
- Autor metody
- Lundberg, S.M. & Lee, S.-I.
- Rok
- 2017
- Typ
- Model-explanation method (Shapley-value attribution)
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
SHAP to metoda wyjaśniania modeli, wprowadzona przez Scotta Lundberga i Su-In Lee w 2017 roku, która wykorzystuje wartości Shapleya z teorii gier kooperacyjnych do pomiaru wkładu każdej cechy w indywidualne przewidywanie, czyniąc wyniki modeli uczenia maszynowego typu „czarna skrzynka” interpretowalnymi.
Obsługuje ona zarówno wyjaśnienia globalne (ogólne znaczenie cech), jak i lokalne (dlaczego jedno konkretne przewidywanie dało taki, a nie inny wynik).
Intuicja stojąca za metodą
Wytrenowany model, taki jak las losowy czy głęboka sieć neuronowa, przekształca wiersz cech w przewidywanie, ale nie mówi, dlaczego tak się stało. SHAP zapożycza ideę z teorii gier: wyobraźmy sobie, że cechy są graczami współpracującymi w celu uzyskania przewidywania i pytamy, jak „wypłata” — różnica między tym przewidywaniem a średnim przewidywaniem — powinna być między nimi sprawiedliwie podzielona. Sprawiedliwy udział każdej cechy to jej wartość SHAP, dzięki czemu można odczytać, które cechy podniosły przewidywanie, a które je obniżyły, dla pojedynczego przypadku lub dla całego zbioru danych.
Historia
SHAP został wprowadzony przez Scotta Lundberga i Su-In Lee w 2017 roku jako ujednolicone podejście do interpretacji przewidywań modeli, łączące kilka wcześniejszych metod wyjaśniania z wartościami Shapleya z teorii gier kooperacyjnych. Towarzyszący algorytm TreeSHAP uczynił dokładne i szybkie wyjaśnienia praktycznymi dla zespołów drzew (tree ensembles), a SHAP od tego czasu stał się standardowym narzędziem do otwierania modeli „czarna skrzynka” w dziedzinach od medycyny i ekonomii po nauki przyrodnicze i behawioralne.
Kiedy stosować
Używaj SHAP, gdy masz już wytrenowany model typu „czarna skrzynka” (taki jak XGBoost, las losowy lub głębokie uczenie) na danych przekrojowych lub panelowych z cechami ciągłymi, kategorycznymi lub binarnymi, i potrzebujesz wyjaśnić jego przewidywania, a nie tylko podać dokładność. Działa on zarówno na poziomie globalnym (które cechy są ogólnie ważne), jak i lokalnym (dlaczego jeden przypadek został przewidziany w taki, a nie inny sposób). Potrzeba co najmniej około 30 obserwacji; poniżej tego progu wartości SHAP stają się niestabilne, a bezpośrednio interpretowalny model, taki jak drzewo decyzyjne, jest bezpieczniejszym wyborem.
Ograniczenia i uwagi
- Wymaga już wytrenowanego modelu uczenia maszynowego; SHAP wyjaśnia model, nie buduje go.
- Na małych próbach (n poniżej około 30) wartości SHAP są niestabilne, a wkłady cech stają się niewiarygodne.
- KernelSHAP jest niezależny od modelu, ale obliczeniowo powolny, szczególnie na dużych zbiorach danych lub przy wielu cechach.
- Atrybucje opisują zachowanie modelu, a nie prawdziwy efekt przyczynowy cechy w świecie.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Przekształca modele „czarna skrzynka” w interpretowalne, przypisując każde przewidywanie do jego cech.
- Zapewnia zarówno globalną ważność cech, jak i lokalne wyjaśnienia pojedynczych przewidywań w ramach jednej struktury.
- Opiera się na wartościach Shapleya z teorii gier, nadając atrybucjom teoretycznie uzasadnioną, addytywną podstawę sprawiedliwego podziału.
- TreeSHAP zapewnia szybkie, dokładne wyjaśnienia dla modeli opartych na drzewach, takich jak las losowy i XGBoost.
- KernelSHAP jest niezależny od modelu, więc to samo podejście ma zastosowanie do prawie każdego wytrenowanego modelu.
Zastosowania
- Wyjaśnianie indywidualnych przewidywań modeli „czarna skrzynka” dla decyzji klinicznych, finansowych lub dotyczących ryzyka.
- Ranking ogólnej ważności cech w celu zrozumienia, na czym opiera się wytrenowany model.
- Audytowanie modeli pod kątem sprawiedliwości i nieoczekiwanej zależności od cech wrażliwych.
- Komunikowanie zachowania modelu recenzentom i interesariuszom, którzy oczekują interpretowalnych wyników.
Jak to działa
Jak to działa
SHAP opiera się na wytrenowanym modelu typu „czarna skrzynka” — na przykład XGBoost, lesie losowym lub głębokiej sieci neuronowej. Celem nie jest ponowne dopasowanie czegokolwiek, ale wyjaśnienie tego, czego model już się nauczył, przypisując jego przewidywania do cech wejściowych.
Każde przewidywanie jest rozkładane addytywnie: równa się wartości bazowej (średniemu wynikowi modelu) plus wkłady wszystkich cech. Każda cecha otrzymuje wartość SHAP, swój udział w różnicy między tym przewidywaniem a wartością bazową, a te udziały sumują się dokładnie do przewidywania.
Wzór
f(x) = \phi_0 + \sum_{i=1}^{M} \phi_iUdziały są obliczane jako wartości Shapleya, które uśredniają marginalny wkład cechy dla wszystkich sposobów, w jakie cechy mogą być dodawane do przewidywania. TreeSHAP oblicza je dokładnie i szybko dla modeli opartych na drzewach, podczas gdy niezależny od modelu KernelSHAP działa dla każdego modelu, ale jest wolniejszy.
Wynikowe wartości SHAP można odczytywać lokalnie — wyjaśniając pojedyncze przewidywanie, pokazując, które cechy je podniosły lub obniżyły — lub agregować w całym zbiorze danych, aby uzyskać globalny ranking ważności cech, przekształcając model „czarna skrzynka” w coś, co recenzent może zbadać.
Częste pułapki
- Obliczanie wartości SHAP na zbiorze danych zbyt małym (n poniżej ~30), aby uzyskać stabilne atrybucje.
- Odczytywanie wartości SHAP jako efektów przyczynowych, a nie jako wyjaśnień przewidywań modelu.
- Używanie powolnego KernelSHAP na dużych danych, gdy TreeSHAP dałby dokładne wyniki znacznie szybciej dla modeli drzewiastych.
- Wyjaśnianie słabo dopasowanego modelu i ufanie atrybucjom modelu, który nie przewiduje dobrze.
Najczęściej zadawane pytania
Czy muszę ponownie trenować mój model, aby używać SHAP?
Nie. SHAP wyjaśnia model, który już wytrenowałeś — taki jak XGBoost, las losowy lub głęboka sieć neuronowa — przypisując jego istniejące przewidywania do cech wejściowych. Nie dokonuje ponownego dopasowania ani nie zmienia modelu.
Jaka jest różnica między TreeSHAP a KernelSHAP?
TreeSHAP oblicza dokładne wartości SHAP szybko dla modeli opartych na drzewach, takich jak las losowy i XGBoost. KernelSHAP jest niezależny od modelu i działa dla każdego modelu, ale jest przybliżeniem i jest znacznie wolniejszy, szczególnie na dużych danych.
Czy SHAP może wyjaśnić pojedyncze przewidywanie?
Tak. To jest jego tryb lokalny: dla jednego przypadku pokazuje, jak bardzo każda cecha podniosła lub obniżyła przewidywanie powyżej lub poniżej wartości bazowej, przy czym wkłady sumują się dokładnie do przewidywania. Agregacja tych wartości w całym zbiorze danych daje globalną ważność cech.
Ile danych potrzebuję?
Co najmniej około 30 obserwacji. Poniżej tego progu wartości SHAP stają się niestabilne, a wkłady cech niewiarygodne, więc bezpośrednio interpretowalny model, taki jak drzewo decyzyjne, jest bezpieczniejszym wyborem.
Pokrewne metody
Źródła
Lundberg, S.M. & Lee, S.-I. (2017). A Unified Approach to Interpreting Model Predictions. Advances in Neural Information Processing Systems, 30, 4766–4777.
Otwórz odnośnik do publikacjiSkopiowano.