Prediksi Konformal
- Diperkenalkan oleh
- Vovk, Gammerman & Shafer
- Tahun
- 2005
- Jenis
- Distribution-free uncertainty quantification framework
- Keluarga
- Trustworthy ML
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Prediksi Konformal adalah kerangka kerja bebas distribusi untuk membangun himpunan prediksi (untuk klasifikasi) atau interval prediksi (untuk regresi) yang valid secara statistik di sekitar keluaran dari model pembelajaran mesin apa pun yang telah dilatih sebelumnya.
Diperkenalkan oleh Vovk, Gammerman, dan Shafer dalam monograf mereka tahun 2005, kerangka ini memberikan jaminan cakupan marjinal dalam sampel terbatas — label sebenarnya berada di dalam himpunan prediksi dengan probabilitas setidaknya 1-alfa — tanpa memerlukan asumsi parametrik tentang distribusi data.
Intuisi di balik metode
Bayangkan sebuah stasiun cuaca yang, alih-alih mengatakan 'besok akan bersuhu 22°C', mengatakan 'besok akan berada di antara 19°C dan 25°C, dan kami menjamin interval ini benar setidaknya 90% hari dalam jangka panjang.' Prediksi Konformal bekerja serupa: ia membungkus prediksi titik dari model yang ada dengan margin keamanan yang dikalibrasi berdasarkan data pada contoh yang disisihkan, sehingga himpunan yang dihasilkan terbukti andal di bawah asumsi yang sangat ringan tentang bagaimana data dikumpulkan.
Sejarah
Prediksi Konformal diformalkan oleh Vladimir Vovk, Alexander Gammerman, dan Glenn Shafer dalam monograf Springer mereka tahun 2005, dibangun di atas ide-ide pembelajaran transduktif daring sebelumnya dari akhir 1990-an. Varian induktif (konformal terpisah), yang memisahkan pelatihan dari kalibrasi, kemudian dipopulerkan untuk membuat metode ini dapat diskalakan. Tahun 2020-an menyaksikan adopsi pesat dalam pembelajaran mendalam, dengan ekstensi termasuk prediksi konformal mondrian untuk jaminan kondisional, himpunan prediksi pengendali risiko, dan pengendalian risiko konformal.
Kapan digunakan
Gunakan Prediksi Konformal ketika Anda memerlukan jaminan cakupan yang ketat dan terbatas sampel pada keluaran ketidakpastian model tanpa asumsi distribusi. Ini sesuai untuk tugas klasifikasi dan regresi di mana data kalibrasi dari distribusi yang sama dengan data uji tersedia. Keterbatasan termasuk asumsi pertukaran (dilanggar di bawah pergeseran kovariat), dan bahwa cakupan bersifat marjinal daripada kondisional, yang berarti beberapa subkelompok mungkin tercakup kurang atau lebih. Alternatif termasuk interval kredibel Bayesian (memerlukan asumsi distribusi) dan regresi kuantil (tidak ada jaminan sampel terbatas tanpa pembungkusan konformal).
Batasan dan pertimbangan
- Jaminan cakupan bersifat marjinal (dirata-ratakan atas masukan uji), bukan kondisional pada setiap x individu.
- Mengasumsikan pertukaran data kalibrasi dan uji; kinerja menurun di bawah pergeseran kovariat atau label.
- Himpunan prediksi bisa sangat besar dan tidak informatif ketika model dasar lemah atau tingkat ketidaksesuaian target alfa kecil.
- Metode konformal terpisah memerlukan set kalibrasi khusus, mengurangi data yang tersedia untuk pelatihan.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Menyediakan jaminan cakupan marjinal bebas distribusi dalam sampel terbatas yang valid untuk model dasar apa pun.
- Agnostik model: membungkus klasifier atau regressor pra-terlatih apa pun tanpa melatih ulang.
- Ringan secara komputasi pada waktu inferensi — hanya memerlukan penyimpanan skor kalibrasi dan penghitungan kuantil.
- Skor nonkonformitas yang fleksibel memungkinkan adaptasi ke berbagai tugas termasuk deteksi objek dan generasi bahasa alami.
Penerapan
- Diagnosis medis: menghasilkan himpunan prediksi untuk klasifikasi penyakit yang menjamin diagnosis sebenarnya disertakan dengan probabilitas tinggi, mendukung pengambilan keputusan klinis yang aman.
- Penemuan obat: menghasilkan wilayah kepercayaan yang andal untuk prediksi sifat molekuler, membantu ahli kimia memprioritaskan senyawa untuk pengujian laboratorium basah yang mahal.
- Mengemudi otonom: membangun wilayah ketidakpastian yang terjamin cakupannya di sekitar keluaran deteksi objek untuk memicu perilaku jatuh yang aman.
- Pemrosesan bahasa alami: himpunan prediksi terkalibrasi untuk klasifikasi teks dan ketidakpastian tingkat token dalam keluaran model bahasa besar.
- Penilaian risiko keuangan: interval prediksi bebas distribusi untuk perkiraan pengembalian yang tetap valid di bawah pengawasan peraturan tanpa memerlukan model parametrik.
Cara kerjanya
Cara kerjanya
Model pembelajaran mesin konvensional — klasifier, regressor, atau jaringan saraf apa pun — dilatih pada pemisahan data pelatihan khusus. Prediksi Konformal tidak peduli dengan model ini; ia memperlakukannya sebagai kotak hitam. Kualitas himpunan prediksi akhir dipengaruhi oleh seberapa akurat model dasarnya, tetapi jaminan validitas tetap berlaku tanpa memandang hal tersebut.
Rumus
\hat{f} \leftarrow \text{Train}(\{(x_i, y_i)\}_{i=1}^{n_{\text{train}}})Pada pemisahan data kalibrasi terpisah yang belum pernah dilihat oleh model dasar, skor nonkonformitas dihitung untuk setiap contoh. Untuk regresi, skornya biasanya adalah residual absolut |y - f_hat(x)|; untuk klasifikasi, skornya bisa berupa 1 dikurangi probabilitas yang diprediksi dari kelas sebenarnya. Skor-skor ini mengukur seberapa 'mengejutkan' setiap titik kalibrasi relatif terhadap model.
Rumus
s_i = \|y_i - \hat{f}(x_i)\|, \quad i = 1, \dots, n_{\text{cal}}Kuantil empiris (1-alfa) dari skor nonkonformitas kalibrasi dihitung dengan faktor koreksi sampel terbatas. Kuantil yang dikoreksi ini, q_hat, adalah ambang batas yang, berdasarkan pertukaran data, akan memastikan jaminan cakupan berlaku pada titik uji baru dengan probabilitas setidaknya 1-alfa.
Rumus
\hat{q} = \text{Quantile}\!\left(\{s_i\}_{i=1}^{n_{\text{cal}}};\ \frac{\lceil (n_{\text{cal}}+1)(1-\alpha) \rceil}{n_{\text{cal}}}\right)Untuk masukan uji baru x_new, himpunan prediksi berisi setiap label kandidat y yang skor nonkonformitasnya tidak melebihi q_hat. Dalam regresi, ini menghasilkan interval [f_hat(x_new) - q_hat, f_hat(x_new) + q_hat]; dalam klasifikasi, ini menghasilkan subset kelas dengan probabilitas prediksi yang cukup tinggi. Himpunan ini dijamin mencakup label sebenarnya dengan probabilitas marjinal setidaknya 1-alfa.
Rumus
\mathcal{C}(x_{\text{new}}) = \{y : s(x_{\text{new}}, y) \leq \hat{q}\}Kesalahan umum
- Menggunakan set pelatihan sebagai set kalibrasi meningkatkan optimisme dan menghancurkan jaminan validitas — selalu gunakan pemisahan kalibrasi yang disisihkan.
- Membingungkan cakupan marjinal dengan cakupan kondisional: jaminan tidak menyiratkan bahwa setiap subpopulasi tercakup pada tingkat 1-alfa.
- Mengabaikan pergeseran distribusi: menerapkan prediktor konformal yang dikalibrasi pada data historis ke distribusi penerapan yang bergeser merusak jaminan teoretis.
- Memperlakukan ukuran himpunan prediksi sebagai ukuran kepercayaan langsung tanpa menyadari bahwa ukuran himpunan bergantung bersama pada kualitas model dan alfa yang dipilih.
Pertanyaan yang sering diajukan
Apakah Prediksi Konformal memerlukan pengetahuan tentang distribusi data?
Tidak. Jaminan cakupan marjinal hanya bergantung pada asumsi pertukaran — kira-kira bahwa titik kalibrasi dan uji ditarik i.i.d. dari distribusi yang sama. Tidak perlu menentukan keluarga parametrik, yang membuat kerangka kerja ini 'bebas distribusi.' Ini adalah keuntungan teoretis utamanya dibandingkan interval kredibel Bayesian dan interval kepercayaan klasik berdasarkan normalitas.
Bagaimana ukuran set kalibrasi dipilih, dan bagaimana pengaruhnya terhadap hasil?
Set kalibrasi yang lebih besar menghasilkan estimasi kuantil empiris yang lebih ketat dan stabil, menghasilkan himpunan prediksi yang lebih kecil. Aturan praktis yang umum adalah setidaknya beberapa ratus contoh kalibrasi. Dengan set kalibrasi yang sangat kecil (kurang dari 1/alfa titik), koreksi sampel terbatas memaksa himpunan cakupan penuh, membuat metode ini tidak informatif. Ada pertukaran bias-varians standar antara ukuran set pelatihan dan ukuran set kalibrasi.
Bisakah Prediksi Konformal diterapkan pada jaringan saraf dalam?
Ya. Karena kerangka kerja ini agnostik model, ia membungkus jaringan saraf apa pun tanpa modifikasi. Skor nonkonformitas biasanya didefinisikan menggunakan keluaran softmax model untuk klasifikasi atau prediksi titiknya untuk regresi. Secara komputasi, kalibrasi hanya memerlukan satu lintasan maju pada set kalibrasi, membuatnya sangat praktis untuk model besar.
Metode terkait
Sumber
Vovk, V., Gammerman, A., & Shafer, G. (2005). Algorithmic Learning in a Random World. Springer.
ISBN: 978-0-387-00152-4Disalin.