İçeriğe atla
Arama sonuçlarına dön

Konformal Tahmin

Ortaya koyan
Vovk, Gammerman & Shafer
Yıl
2005
Tür
Distribution-free uncertainty quantification framework
Aile
Trustworthy ML

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Konformal Tahmin, önceden eğitilmiş herhangi bir makine öğrenimi modelinin çıktısı etrafında istatistiksel olarak geçerli tahmin kümeleri (sınıflandırma için) veya tahmin aralıkları (regresyon için) oluşturmaya yönelik dağılımdan bağımsız bir çerçevedir.

Vovk, Gammerman ve Shafer tarafından 2005 tarihli monograflarında tanıtılan bu yöntem, veri dağılımı hakkında parametrik varsayımlar gerektirmeksizin, sonlu örneklem marjinal kapsama garantisi sağlar — gerçek etiket, en az 1-alfa olasılıkla tahmin kümesinin içinde yer alır.

Yöntemin mantığı

Şunu hayal edin: 'yarın 22°C olacak' demek yerine 'yarın 19°C ile 25°C arasında olacak ve bu aralığın uzun vadede günlerin en az %90'ında doğru olduğunu garanti ediyoruz' diyen bir hava istasyonu. Konformal Tahmin de benzer şekilde çalışır: mevcut herhangi bir modelin nokta tahminini, ayrılmış örnekler üzerinde kalibre edilmiş veri odaklı bir güvenlik marjıyla sarar, böylece ortaya çıkan küme, verilerin nasıl toplandığına dair çok hafif varsayımlar altında kanıtlanabilir şekilde güvenilir olur.

Tarih

Konformal Tahmin, Vladimir Vovk, Alexander Gammerman ve Glenn Shafer tarafından 2005 tarihli Springer monograflarında, 1990'ların sonlarındaki önceki çevrimiçi transdüktif öğrenme fikirleri üzerine inşa edilerek resmileştirilmiştir. Eğitimi kalibrasyondan ayıran endüktif (bölünmüş-konformal) varyant, daha sonra yöntemi ölçeklenebilir hale getirmek için popülerleşmiştir. 2020'ler, koşullu garantiler için mondrian konformal tahmin, risk kontrol eden tahmin kümeleri ve konformal risk kontrolü gibi uzantılarla derin öğrenmede hızlı bir benimseme gördü.

Ne zaman kullanılır?

Modelin belirsizlik çıktısı üzerinde dağılımsal varsayımlar olmaksızın kesin, sonlu örneklem kapsama garantilerine ihtiyaç duyduğunuzda Konformal Tahmin'i kullanın. Hem sınıflandırma hem de regresyon görevleri için uygundur, test verileriyle aynı dağılımdan gelen kalibrasyon verileri mevcut olduğunda kullanılabilir. Sınırlamaları arasında değişebilirlik varsayımı (kovaryat kayması altında ihlal edilir) ve kapsamanın koşullu olmaktan ziyade marjinal olması yer alır, bu da bazı alt grupların eksik veya fazla kapsanabileceği anlamına gelir. Alternatifler arasında Bayes güven aralıkları (dağılımsal varsayımlar gerektirir) ve kantil regresyon (konformal sarmalama olmadan sonlu örneklem garantisi yok) bulunur.

Sınırlar ve dikkat edilmesi gerekenler

  • Kapsama garantisi marjinaldir (test girdileri üzerinden ortalama alınır), her bir x'e koşullu değildir.
  • Kalibrasyon ve test verilerinin değişebilirliğini varsayar; kovaryat veya etiket kayması altında performans düşer.
  • Temel model zayıf olduğunda veya hedef yanlış kapsama oranı alfa küçük olduğunda tahmin kümeleri bilgilendirici olmayan derecede büyük olabilir.
  • Bölünmüş-konformal yöntemler, eğitim için mevcut veriyi azaltan özel bir kalibrasyon kümesi gerektirir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Herhangi bir temel model için geçerli, sonlu örneklem, dağılımdan bağımsız marjinal kapsama garantileri sağlar.
  • Model-agnostik: Yeniden eğitim gerektirmeden önceden eğitilmiş herhangi bir sınıflandırıcı veya regresörü sarar.
  • Çıkarım zamanında hesaplama açısından hafiftir — yalnızca kalibrasyon skorlarını saklamayı ve bir kantil hesaplamayı gerektirir.
  • Esnek uyumsuzluk skorları, nesne tespiti ve doğal dil üretimi dahil olmak üzere çeşitli görevlere uyum sağlamaya olanak tanır.

Uygulama alanları

  • Tıbbi teşhis: Hastalık sınıflandırması için, gerçek teşhisin yüksek olasılıkla dahil edildiğini garanti eden tahmin kümeleri üreterek güvenli klinik karar almayı desteklemek.
  • İlaç keşfi: Moleküler özellik tahminleri için güvenilir güven bölgeleri oluşturarak kimyagerlerin pahalı ıslak laboratuvar testleri için bileşikleri önceliklendirmesine yardımcı olmak.
  • Otonom sürüş: Güvenli geri dönüş davranışlarını tetiklemek için nesne algılama çıktıları etrafında kapsama garantili belirsizlik bölgeleri oluşturmak.
  • Doğal dil işleme: Metin sınıflandırması için kalibre edilmiş tahmin kümeleri ve büyük dil modeli çıktılarında belirteç düzeyinde belirsizlik.
  • Finansal risk değerlendirmesi: Parametrik modeller gerektirmeksizin düzenleyici inceleme altında geçerliliğini koruyan getiri tahminleri için dağılımdan bağımsız tahmin aralıkları.

Nasıl çalışır?

Nasıl çalışır?

1

Geleneksel bir makine öğrenimi modeli — herhangi bir sınıflandırıcı, regresör veya sinir ağı — özel bir eğitim bölümü üzerinde eğitilir. Konformal Tahmin bu modele karşı agnostiktir; onu bir kara kutu olarak ele alır. Nihai tahmin kümelerinin kalitesi, temel modelin ne kadar doğru olduğundan etkilenir, ancak geçerlilik garantisi buna bakılmaksızın geçerlidir.

Formül
\hat{f} \leftarrow \text{Train}(\{(x_i, y_i)\}_{i=1}^{n_{\text{train}}})
2

Temel modelin görmediği ayrı bir kalibrasyon bölümünde, her örnek için bir uyumsuzluk skoru hesaplanır. Regresyon için skor tipik olarak mutlak hata |y - f_hat(x)| iken; sınıflandırma için gerçek sınıfın tahmin edilen olasılığının 1 eksiği olabilir. Bu skorlar, her kalibrasyon noktasının modele göre ne kadar 'şaşırtıcı' olduğunu ölçer.

Formül
s_i = \|y_i - \hat{f}(x_i)\|, \quad i = 1, \dots, n_{\text{cal}}
3

Kalibrasyon uyumsuzluk skorlarının ampirik (1-alfa) kantili, sonlu örneklem düzeltme faktörü ile hesaplanır. Bu düzeltilmiş kantil q_hat, verilerin değişebilirliği sayesinde, yeni bir test noktasında kapsama garantisinin en az 1-alfa olasılıkla geçerli olmasını sağlayacak eşiktir.

Formül
\hat{q} = \text{Quantile}\!\left(\{s_i\}_{i=1}^{n_{\text{cal}}};\ \frac{\lceil (n_{\text{cal}}+1)(1-\alpha) \rceil}{n_{\text{cal}}}\right)
4

Yeni bir test girdisi x_new için, tahmin kümesi, uyumsuzluk skoru q_hat'ı aşmayan her aday etiketi y'yi içerir. Regresyonda bu, [f_hat(x_new) - q_hat, f_hat(x_new) + q_hat] aralığını verir; sınıflandırmada ise yeterince yüksek tahmin edilen olasılığa sahip sınıfların alt kümesini verir. Kümenin, gerçek etiketi en az 1-alfa marjinal olasılıkla kapsadığı garanti edilir.

Formül
\mathcal{C}(x_{\text{new}}) = \{y : s(x_{\text{new}}, y) \leq \hat{q}\}

Sık yapılan hatalar

  • Eğitim kümesini kalibrasyon kümesi olarak kullanmak iyimserliği artırır ve geçerlilik garantisini bozar — her zaman ayrılmış bir kalibrasyon bölümü kullanın.
  • Marjinal kapsama ile koşullu kapsamanın karıştırılması: garanti, her alt popülasyonun 1-alfa düzeyinde kapsandığı anlamına gelmez.
  • Dağılım kaymasının göz ardı edilmesi: geçmiş veriler üzerinde kalibre edilmiş bir konformal tahmincinin kaymış bir dağıtım dağılımına uygulanması teorik garantiyi bozar.
  • Küme boyutunun model kalitesi ve seçilen alfa'ya bağlı olduğunu göz ardı ederek tahmin kümesi boyutunu doğrudan bir güven ölçüsü olarak ele almak.

Sık sorulan sorular

Konformal Tahmin, verilerin dağılımını bilmeyi gerektirir mi?

Hayır. Marjinal kapsama garantisi yalnızca değişebilirlik varsayımına dayanır — kabaca kalibrasyon ve test noktalarının aynı dağılımdan bağımsız ve özdeş dağılmış (i.i.d.) olarak çekildiği varsayımına. Belirli bir parametrik aile belirtmeye gerek yoktur, bu da çerçeveyi 'dağılımdan bağımsız' kılar. Bu, Bayes güven aralıkları ve normalliğe dayalı klasik güven aralıklarına göre birincil teorik avantajıdır.

Kalibrasyon kümesi boyutu nasıl seçilir ve sonuçları nasıl etkiler?

Daha büyük bir kalibrasyon kümesi, daha sıkı, daha kararlı bir ampirik kantil tahmini sağlayarak daha küçük tahmin kümeleriyle sonuçlanır. Yaygın bir kural, en az birkaç yüz kalibrasyon örneğidir. Çok küçük kalibrasyon kümeleriyle (1/alfa noktasından az) sonlu örneklem düzeltmesi, tam kapsama kümelerini zorlar ve yöntemi bilgilendirici olmaktan çıkarır. Eğitim kümesi boyutu ile kalibrasyon kümesi boyutu arasında standart bir yanlılık-varyans değiş tokuşu vardır.

Konformal Tahmin, derin sinir ağlarına uygulanabilir mi?

Evet. Çerçeve model-agnostik olduğu için, herhangi bir sinir ağını değişiklik yapmadan sarar. Uyumsuzluk skoru tipik olarak sınıflandırma için modelin softmax çıktısı veya regresyon için nokta tahmini kullanılarak tanımlanır. Hesaplama açısından, kalibrasyon yalnızca kalibrasyon kümesi üzerinde tek bir ileri geçiş gerektirir, bu da büyük modeller için oldukça pratik olmasını sağlar.

İlgili yöntemler

Kaynaklar

  1. Vovk, V., Gammerman, A., & Shafer, G. (2005). Algorithmic Learning in a Random World. Springer.

    ISBN: 978-0-387-00152-4
    Kopyalandı.