SHAP (SHapley Additive exPlanations)
- Diperkenalkan oleh
- Lundberg, S.M. & Lee, S.-I.
- Tahun
- 2017
- Jenis
- Model-explanation method (Shapley-value attribution)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
SHAP adalah metode penjelasan model, yang diperkenalkan oleh Scott Lundberg dan Su-In Lee pada tahun 2017, yang menggunakan nilai Shapley dari teori permainan kooperatif untuk mengukur seberapa besar kontribusi setiap fitur terhadap prediksi individual, sehingga membuat keluaran model pembelajaran mesin kotak hitam (black-box) dapat diinterpretasikan.
Metode ini mendukung penjelasan global (pentingnya fitur secara keseluruhan) dan penjelasan lokal (mengapa satu prediksi spesifik menghasilkan demikian).
Intuisi di balik metode
Model yang terlatih seperti random forest atau deep network mengubah baris fitur menjadi prediksi, tetapi tidak memberi tahu Anda alasannya. SHAP meminjam ide dari teori permainan: bayangkan fitur-fitur sebagai pemain yang bekerja sama untuk menghasilkan prediksi, dan tanyakan bagaimana 'hasil' — selisih antara prediksi ini dan prediksi rata-rata — harus dibagi secara adil di antara mereka. Bagian yang adil dari setiap fitur adalah nilai SHAP-nya, sehingga Anda dapat mengetahui fitur mana yang menaikkan prediksi dan mana yang menurunkannya, baik untuk satu kasus maupun di seluruh kumpulan data.
Sejarah
SHAP diperkenalkan oleh Scott Lundberg dan Su-In Lee pada tahun 2017 sebagai pendekatan terpadu untuk menginterpretasikan prediksi model, menghubungkan beberapa metode penjelasan sebelumnya dengan nilai Shapley dari teori permainan kooperatif. Algoritma TreeSHAP yang menyertainya membuat penjelasan yang tepat dan cepat praktis untuk ensemble berbasis pohon, dan SHAP sejak itu menjadi alat standar untuk membuka model kotak hitam di berbagai bidang mulai dari kesehatan dan ekonomi hingga ilmu alam dan perilaku.
Kapan digunakan
Gunakan SHAP ketika Anda sudah memiliki model kotak hitam yang terlatih (seperti XGBoost, random forest, atau deep learning) pada data cross-sectional atau panel dengan fitur kontinu, kategorikal, atau biner, dan Anda perlu menjelaskan prediksinya daripada hanya melaporkan akurasi. Metode ini bekerja pada tingkat global (fitur mana yang penting secara keseluruhan) dan tingkat lokal (mengapa satu kasus diprediksi seperti itu). Diperlukan setidaknya sekitar 30 observasi; di bawah itu, nilai SHAP menjadi tidak stabil dan model yang dapat diinterpretasikan secara langsung seperti decision tree lebih aman.
Batasan dan pertimbangan
- Memerlukan model ML yang sudah terlatih; SHAP menjelaskan model, bukan membangunnya.
- Pada sampel kecil (n di bawah sekitar 30) nilai SHAP tidak stabil dan kontribusi fitur menjadi tidak dapat diandalkan.
- KernelSHAP independen dari model tetapi lambat secara komputasi, terutama pada kumpulan data besar atau banyak fitur.
- Atribusi menjelaskan perilaku model, bukan efek kausal sebenarnya dari suatu fitur di dunia.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mengubah model kotak hitam menjadi model yang dapat diinterpretasikan dengan mengatribusikan setiap prediksi ke fitur-fiturnya.
- Menyediakan pentingnya fitur global dan penjelasan prediksi tunggal lokal dari satu kerangka kerja.
- Didasarkan pada nilai Shapley dari teori permainan, memberikan dasar keadilan aditif yang berprinsip pada atribusi.
- TreeSHAP memberikan penjelasan yang cepat dan tepat untuk model berbasis pohon seperti random forest dan XGBoost.
- KernelSHAP independen dari model, sehingga pendekatan yang sama berlaku untuk hampir semua model yang terlatih.
Penerapan
- Menjelaskan prediksi individual model kotak hitam untuk keputusan klinis, finansial, atau risiko.
- Memberi peringkat pentingnya fitur secara keseluruhan untuk memahami apa yang diandalkan oleh model yang terlatih.
- Mengaudit model untuk keadilan dan ketergantungan yang tidak terduga pada fitur sensitif.
- Mengomunikasikan perilaku model kepada peninjau dan pemangku kepentingan yang mengharapkan hasil yang dapat diinterpretasikan.
Cara kerjanya
Cara kerjanya
SHAP bersandar pada model kotak hitam yang terlatih — misalnya XGBoost, random forest, atau deep network. Tujuannya bukan untuk melatih ulang apa pun tetapi untuk menjelaskan apa yang telah dipelajari model tersebut, dengan mengatribusikan prediksinya ke fitur-fitur masukan.
Setiap prediksi diuraikan secara aditif: prediksinya sama dengan nilai dasar (rata-rata keluaran model) ditambah kontribusi semua fitur. Setiap fitur menerima nilai SHAP, bagiannya dari perbedaan antara prediksi ini dan nilai dasar, dan bagian-bagian tersebut berjumlah tepat sama dengan prediksi.
Rumus
f(x) = \phi_0 + \sum_{i=1}^{M} \phi_iBagian-bagian tersebut dihitung sebagai nilai Shapley, yang merata-ratakan kontribusi marjinal fitur di semua cara fitur dapat ditambahkan ke prediksi. TreeSHAP menghitung ini secara tepat dan cepat untuk model berbasis pohon (tree-based models), sementara KernelSHAP yang independen dari model (model-agnostic) bekerja untuk model apa pun tetapi lebih lambat.
Nilai SHAP yang dihasilkan dapat dibaca secara lokal — menjelaskan prediksi tunggal dengan menunjukkan fitur mana yang menaikkan atau menurunkannya — atau diagregasi di seluruh kumpulan data untuk memberikan peringkat global pentingnya fitur, mengubah model kotak hitam menjadi sesuatu yang dapat diperiksa oleh peninjau.
Kesalahan umum
- Menghitung nilai SHAP pada kumpulan data yang terlalu kecil (n di bawah ~30) untuk memberikan atribusi yang stabil.
- Membaca nilai SHAP sebagai efek kausal daripada sebagai penjelasan prediksi model.
- Menggunakan KernelSHAP yang lambat pada data besar ketika TreeSHAP akan memberikan hasil yang tepat jauh lebih cepat untuk model pohon.
- Menjelaskan model yang kurang pas dan mempercayai atribusi model yang tidak memprediksi dengan baik.
Pertanyaan yang sering diajukan
Apakah saya perlu melatih ulang model saya untuk menggunakan SHAP?
Tidak. SHAP menjelaskan model yang sudah Anda latih — seperti XGBoost, random forest, atau deep network — dengan mengatribusikan prediksi yang ada ke fitur-fitur masukan. Metode ini tidak melatih ulang atau mengubah model.
Apa perbedaan antara TreeSHAP dan KernelSHAP?
TreeSHAP menghitung nilai SHAP yang tepat dengan cepat untuk model berbasis pohon seperti random forest dan XGBoost. KernelSHAP independen dari model dan bekerja untuk model apa pun, tetapi ini adalah perkiraan dan secara komputasi jauh lebih lambat, terutama pada data besar.
Bisakah SHAP menjelaskan prediksi tunggal?
Ya. Itulah mode lokalnya: untuk satu kasus, metode ini menunjukkan seberapa besar setiap fitur mendorong prediksi di atas atau di bawah nilai dasar, dengan kontribusi yang berjumlah tepat sama dengan prediksi. Mengagregasi ini di seluruh kumpulan data memberikan pentingnya fitur global.
Berapa banyak data yang saya butuhkan?
Setidaknya sekitar 30 observasi. Di bawah itu, nilai SHAP menjadi tidak stabil dan kontribusi fitur menjadi tidak dapat diandalkan, sehingga model yang dapat diinterpretasikan secara langsung seperti decision tree adalah pilihan yang lebih aman.
Metode terkait
Sumber
Lundberg, S.M. & Lee, S.-I. (2017). A Unified Approach to Interpreting Model Predictions. Advances in Neural Information Processing Systems, 30, 4766–4777.
Buka referensi publikasiDisalin.