SHAP (explicaciones aditivas de Shapley, SHapley Additive exPlanations)
- Propuesto por
- Lundberg, S.M. & Lee, S.-I.
- Año
- 2017
- Tipo
- Model-explanation method (Shapley-value attribution)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
SHAP es un método de explicación de modelos, introducido por Scott Lundberg y Su-In Lee en 2017, que utiliza valores de Shapley de la teoría de juegos cooperativos para medir cuánto contribuye cada característica a una predicción individual, haciendo que la salida de los modelos de aprendizaje automático de caja negra sea interpretable.
Admite explicaciones globales (importancia general de las características) y explicaciones locales (por qué una predicción específica resultó como lo hizo).
La intuición detrás del método
Un modelo entrenado como un bosque aleatorio o una red profunda convierte una fila de características en una predicción, pero no le dice por qué. SHAP toma prestada una idea de la teoría de juegos: imagine que las características son jugadores que cooperan para producir la predicción, y pregunte cómo el 'pago', la diferencia entre esta predicción y la predicción promedio, debe dividirse de manera justa entre ellos. La parte justa de cada característica es su valor SHAP, por lo que puede leer qué características impulsaron una predicción al alza y cuáles la impulsaron a la baja, para un caso individual o en todo el conjunto de datos.
Historia
SHAP fue introducido por Scott Lundberg y Su-In Lee en 2017 como un enfoque unificado para interpretar las predicciones de modelos, conectando varios métodos de explicación anteriores con los valores de Shapley de la teoría de juegos cooperativos. El algoritmo TreeSHAP asociado hizo que las explicaciones exactas y rápidas fueran prácticas para conjuntos de árboles, y SHAP se ha convertido desde entonces en una herramienta estándar para abrir modelos de caja negra en campos que van desde la salud y la economía hasta las ciencias naturales y del comportamiento.
Cuándo usarlo
Utilice SHAP cuando ya tenga un modelo de caja negra entrenado (como XGBoost, bosque aleatorio o aprendizaje profundo) en datos transversales o de panel con características continuas, categóricas o binarias, y necesite explicar sus predicciones en lugar de solo informar la precisión. Funciona tanto a nivel global (qué características importan en general) como a nivel local (por qué se predijo un caso como se hizo). Se necesitan al menos unas 30 observaciones; por debajo de eso, los valores SHAP se vuelven inestables y un modelo directamente interpretable como un árbol de decisión es más seguro.
Limitaciones y consideraciones
- Requiere un modelo de ML ya entrenado; SHAP explica un modelo, no lo construye.
- En muestras pequeñas (n por debajo de aproximadamente 30) los valores SHAP son inestables y las contribuciones de las características se vuelven poco fiables.
- KernelSHAP es independiente del modelo pero computacionalmente lento, especialmente en conjuntos de datos grandes o con muchas características.
- Las atribuciones describen el comportamiento del modelo, no el efecto causal real de una característica en el mundo.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Convierte modelos de caja negra en modelos interpretables al atribuir cada predicción a sus características.
- Proporciona tanto la importancia global de las características como explicaciones locales de predicciones individuales desde un único marco.
- Basado en valores de Shapley de la teoría de juegos, lo que da a las atribuciones una base de equidad aditiva con fundamento teórico.
- TreeSHAP proporciona explicaciones rápidas y exactas para modelos basados en árboles como bosques aleatorios y XGBoost.
- KernelSHAP es independiente del modelo, por lo que el mismo enfoque se aplica a casi cualquier modelo entrenado.
Aplicaciones
- Explicación de predicciones individuales de modelos de caja negra para decisiones clínicas, financieras o de riesgo.
- Ordenamiento de la importancia general de las características para comprender en qué se basa un modelo entrenado.
- Auditoría de modelos para detectar equidad y dependencias inesperadas en características sensibles.
- Comunicación del comportamiento del modelo a revisores y partes interesadas que esperan resultados interpretables.
Cómo funciona
Cómo funciona
SHAP se basa en un modelo de caja negra entrenado, por ejemplo, XGBoost, un bosque aleatorio o una red profunda. El objetivo no es reajustar nada, sino explicar lo que ese modelo ya ha aprendido, atribuyendo sus predicciones a las características de entrada.
Cada predicción se descompone aditivamente: es igual a un valor de referencia (la salida promedio del modelo) más las contribuciones de todas las características. Cada característica recibe un valor SHAP, su parte de la diferencia entre esta predicción y la referencia, y esas partes suman exactamente la predicción.
Fórmula
f(x) = \phi_0 + \sum_{i=1}^{M} \phi_iLas partes se calculan como valores de Shapley, que promedian la contribución marginal de una característica sobre todas las formas en que las características pueden agregarse a la predicción. TreeSHAP calcula estos de manera exacta y rápida para modelos basados en árboles, mientras que KernelSHAP, independiente del modelo, funciona para cualquier modelo pero es más lento.
Los valores SHAP resultantes se pueden leer localmente, explicando una predicción individual al mostrar qué características la aumentaron o disminuyeron, o agregarse en todo el conjunto de datos para dar un ordenamiento global de la importancia de las características, convirtiendo un modelo de caja negra en algo que un revisor puede inspeccionar.
Errores comunes
- Cálculo de valores SHAP en un conjunto de datos demasiado pequeño (n por debajo de ~30) para dar atribuciones estables.
- Lectura de valores SHAP como efectos causales en lugar de explicaciones de las predicciones del modelo.
- Uso de KernelSHAP lento en datos grandes cuando TreeSHAP proporcionaría resultados exactos mucho más rápido para modelos de árboles.
- Explicación de un modelo mal ajustado y confianza en las atribuciones de un modelo que no predice bien.
Preguntas frecuentes
¿Necesito reentrenar mi modelo para usar SHAP?
No. SHAP explica un modelo que ya ha entrenado, como XGBoost, un bosque aleatorio o una red profunda, atribuyendo sus predicciones existentes a las características de entrada. No reajusta ni cambia el modelo.
¿Cuál es la diferencia entre TreeSHAP y KernelSHAP?
TreeSHAP calcula valores SHAP exactos rápidamente para modelos basados en árboles como bosques aleatorios y XGBoost. KernelSHAP es independiente del modelo y funciona para cualquier modelo, pero es una aproximación y es considerablemente más lento, especialmente en datos grandes.
¿Puede SHAP explicar una predicción única?
Sí. Ese es su modo local: para un caso, muestra cuánto empujó cada característica la predicción por encima o por debajo de la referencia, con las contribuciones sumando exactamente a la predicción. La agregación de estas en todo el conjunto de datos proporciona la importancia global de las características.
¿Cuántos datos necesito?
Al menos unas 30 observaciones. Por debajo de eso, los valores SHAP se vuelven inestables y las contribuciones de las características poco fiables, por lo que un modelo directamente interpretable como un árbol de decisión es la opción más segura.
Métodos relacionados
Fuentes
Lundberg, S.M. & Lee, S.-I. (2017). A Unified Approach to Interpreting Model Predictions. Advances in Neural Information Processing Systems, 30, 4766–4777.
Abrir referencia de la publicaciónCopiado.