Kalibrasi Model
- Diperkenalkan oleh
- Platt; Guo et al.
- Tahun
- 2017
- Jenis
- Post-hoc probability correction technique
- Keluarga
- Trustworthy ML
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Kalibrasi model adalah teknik post-hoc yang menyesuaikan keluaran probabilitas dari pengklasifikasi yang terlatih sehingga skor keyakinan yang diprediksi sesuai dengan frekuensi hasil empiris.
Pengklasifikasi dikatakan terkalibrasi sempurna jika, di antara semua prediksi yang dibuat dengan keyakinan p, tepat sebagian p yang benar. Kesalahan kalibrasi sistematis pada jaringan saraf dalam modern didokumentasikan secara ketat oleh Guo et al. (2017), yang menunjukkan bahwa jaringan yang dilatih dengan kerugian cross-entropy standar cenderung terlalu percaya diri, dan mengusulkan penskalaan suhu sebagai solusi sederhana yang efektif.
Intuisi di balik metode
Bayangkan seorang peramal cuaca yang mengatakan 'ada kemungkinan 90% hujan' pada 100 hari yang berbeda. Jika hanya 60 hari yang benar-benar hujan, peramal itu terlalu percaya diri. Kalibrasi seperti mengkalibrasi ulang skala peramal sehingga ketika mereka mengatakan 90%, tingkat hujan sebenarnya adalah 90%. Untuk jaringan saraf, ini berarti meregangkan atau mengompresi skor keyakinan mentahnya sampai angka pada label secara setia mencerminkan seberapa sering jaringan itu benar.
Sejarah
Kalibrasi probabilitas berakar pada penskalaan Platt (Platt, 1999), yang menyesuaikan sigmoid ke keluaran SVM, dan regresi isotonik yang diterapkan pada pengklasifikasi naive Bayes. Perlakuan modern secara substansial dimajukan oleh Guo et al. (2017), yang membandingkan ResNet dan arsitektur lainnya dan menemukan kelebihan keyakinan sistematis berkorelasi dengan kapasitas model. Proposal penskalaan suhu mereka menjadi baseline standar, memicu pekerjaan lanjutan tentang kalibrasi kondisional kelas, kalibrasi ansambel, dan kalibrasi di bawah pergeseran distribusi sepanjang akhir 2010-an dan 2020-an.
Kapan digunakan
Gunakan kalibrasi model kapan pun probabilitas yang diprediksi akan memberi makan keputusan hilir yang bergantung pada nilai nominalnya, seperti stratifikasi risiko medis, ambang batas skor penipuan, atau pengklasifikasi yang sensitif terhadap biaya. Ini sangat penting untuk jaringan saraf dalam, yang ditunjukkan oleh Guo et al. (2017) menjadi semakin percaya diri seiring bertambahnya kedalaman dan lebar model. Kalibrasi mengasumsikan set yang ditahan yang representatif; itu tidak dapat memperbaiki pergeseran distribusi antara distribusi kalibrasi dan penerapan. Ketika interval prediksi daripada probabilitas titik diperlukan, pertimbangkan prediksi konformal sebagai gantinya.
Batasan dan pertimbangan
- Kalibrasi memerlukan set validasi yang ditahan; set kalibrasi kecil menghasilkan estimasi suhu yang tidak dapat diandalkan.
- Penskalaan suhu mengasumsikan satu skalar global sudah cukup, yang dapat gagal ketika kesalahan kalibrasi spesifik kelas atau wilayah.
- ECE sensitif terhadap jumlah dan lebar bin, membuat perbandingan antar studi berisik tanpa standardisasi.
- Kalibrasi tidak meningkatkan ketajaman atau kemampuan diskriminatif; model yang diskriminasinya buruk tetap demikian setelah kalibrasi.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Penskalaan suhu hanya menambahkan satu parameter dan tidak dapat mengurangi akurasi klasifikasi, membuatnya sangat ringan.
- ECE menyediakan diagnostik yang dapat diinterpretasikan dan dapat ditindaklanjuti yang mengukur kesalahan kalibrasi sebelum dan sesudah koreksi.
- Kalibrasi post-hoc bersifat agnostik terhadap model dan dapat diterapkan pada pengklasifikasi pra-terlatih apa pun tanpa melatih ulang.
- Probabilitas yang terkalibrasi dengan baik memungkinkan pemilihan ambang batas yang andal dan perhitungan nilai yang diharapkan dalam alur kerja hilir.
Penerapan
- Sistem diagnosis medis di mana skor risiko yang salah kalibrasi mengarah pada ambang batas pengobatan yang salah.
- Penilaian kredit dan deteksi penipuan di mana keluaran probabilitas mendorong keputusan terima/tolak yang sensitif terhadap biaya.
- Pengklasifikasi pemrosesan bahasa alami di mana agregasi keluaran model yang dibobot keyakinan diperlukan.
- Alur kerja deteksi objek yang menggunakan ambang batas keyakinan untuk menyaring deteksi kandidat sebelum penalaran hilir.
- Pengaturan ansambel dan pembelajaran federasi di mana keluaran dari beberapa model harus digabungkan pada skala probabilitas umum.
Cara kerjanya
Cara kerjanya
Untuk setiap contoh validasi, ekstrak probabilitas softmax maksimum di semua kelas sebagai keyakinan yang dilaporkan model. Skalar ini mewakili seberapa yakin model mengklaim tentang prediksi teratasnya dan berfungsi sebagai masukan mentah ke dalam alur kalibrasi.
Rumus
\hat{p}_i = \max_c \, \hat{\sigma}_c(\mathbf{x}_i)Partisi prediksi ke dalam M bin dengan lebar yang sama berdasarkan keyakinan. Untuk setiap bin, hitung selisih antara keyakinan rata-rata dan akurasi rata-rata, lalu ambil rata-rata tertimbang di seluruh bin. Expected Calibration Error (ECE) yang dihasilkan adalah diagnostik utama: ECE yang lebih rendah menunjukkan keselarasan yang lebih baik antara probabilitas yang diprediksi dan frekuensi yang diamati.
Rumus
\mathrm{ECE} = \sum_{m=1}^{M} \frac{|B_m|}{n} \left| \mathrm{acc}(B_m) - \mathrm{conf}(B_m) \right|Bagi vektor logit pra-softmax dengan skalar T tunggal yang dapat dipelajari sebelum softmax. Ketika T lebih besar dari 1, distribusi diratakan, mengurangi kelebihan keyakinan; ketika T kurang dari 1, distribusi dipertegas. Penskalaan suhu tidak mengubah urutan peringkat prediksi, membiarkan akurasi tidak berubah sambil meningkatkan kalibrasi.
Rumus
\hat{q}_i = \max_c \, \sigma_{\mathrm{SM}}\!\left(\mathbf{z}_i / T\right)_c, \quad T > 0Temukan suhu optimal T* dengan meminimalkan negatif log-likelihood (NLL) dari set validasi yang ditahan. Ini adalah masalah optimasi cembung satu dimensi, yang diselesaikan secara efisien dengan gradient descent atau pencarian garis. T* yang dihasilkan kemudian diperbaiki dan diterapkan pada waktu inferensi ke semua prediksi di masa mendatang.
Rumus
T^* = \arg\min_{T} \, \mathcal{L}_{\mathrm{NLL}}\!\left(\sigma_{\mathrm{SM}}(\mathbf{z}/T),\, y\right)Kesalahan umum
- Mengkalibrasi pada data yang sama yang digunakan untuk pelatihan menyebabkan overfitting dan ECE yang secara palsu rendah pada set pelatihan.
- Menggunakan probabilitas terkalibrasi seolah-olah itu adalah estimasi ketidakpastian mengacaukan ketidakpastian aleatorik dan epistemic.
- Melaporkan hanya ECE dapat menutupi kesalahan kalibrasi di ekor; selalu visualisasikan diagram keandalan di samping metrik skalar.
- Menerapkan model terkalibrasi ke distribusi penerapan yang bergeser membatalkan kalibrasi dan dapat menghasilkan keyakinan yang menyesatkan.
Pertanyaan yang sering diajukan
Apakah kalibrasi memengaruhi akurasi klasifikasi?
Penskalaan suhu tidak mengubah urutan peringkat probabilitas kelas, sehingga akurasi top-1 tidak berubah. Metode kalibrasi lain seperti regresi isotonik dapat dalam kasus yang jarang terjadi mengubah prediksi argmax, tetapi tujuan utamanya adalah akurasi probabilitas daripada akurasi klasifikasi, dan dampak akurasi apa pun biasanya dapat diabaikan.
Bagaimana saya tahu jika model saya memerlukan kalibrasi?
Plot diagram keandalan: kelompokkan prediksi berdasarkan bin keyakinan dan plot keyakinan rata-rata terhadap akurasi empiris. Model yang terkalibrasi sempurna mengikuti diagonal. Kurva yang secara konsisten di atas diagonal menandakan kelebihan keyakinan; yang di bawah menandakan kekurangan keyakinan. Hitung ECE sebagai statistik ringkasan tunggal; nilai di atas kira-kira 0,05 umumnya dianggap sebagai kesalahan kalibrasi yang tidak sepele dalam praktik.
Kapan saya harus menggunakan regresi isotonik alih-alih penskalaan suhu?
Regresi isotonik adalah fungsi monoton non-parametrik dan dapat menangkap kesalahan kalibrasi yang kompleks dan tidak seragam di seluruh rentang probabilitas. Pilih jika diagram keandalan menunjukkan pola non-monoton atau tidak beraturan. Namun, regresi isotonik membutuhkan lebih banyak data untuk disesuaikan secara andal, dan penskalaan suhu biasanya lebih disukai ketika set kalibrasi kecil atau ketika kesederhanaan dan interpretasi adalah prioritas.
Metode terkait
Sumber
Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). On calibration of modern neural networks. International Conference on Machine Learning, 1321–1330.
Buka referensi publikasiDisalin.