İçeriğe atla
Arama sonuçlarına dön

Model Kalibrasyonu

Ortaya koyan
Platt; Guo et al.
Yıl
2017
Tür
Post-hoc probability correction technique
Aile
Trustworthy ML

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Model kalibrasyonu, eğitilmiş bir sınıflandırıcının olasılık çıktılarını ayarlayarak tahmin edilen güven skorlarının ampirik sonuç frekanslarıyla eşleşmesini sağlayan, eğitim sonrası (post-hoc) bir tekniktir.

Bir sınıflandırıcının, p güvenle yapılan tüm tahminler arasında, tam olarak p kesrinin doğru olması durumunda mükemmel şekilde kalibre edildiği söylenir. Modern derin sinir ağlarının sistematik yanlış kalibrasyonu, Guo ve ark. (2017) tarafından titizlikle belgelenmiştir; bu çalışma, standart çapraz entropi kaybı ile eğitilen ağların aşırı güvenli olma eğiliminde olduğunu göstermiş ve basit, etkili bir çözüm olarak sıcaklık ölçeklendirmeyi önermiştir.

Yöntemin mantığı

Yüz farklı günde 'yağmur yağma olasılığı %90' diyen bir hava tahmincisini düşünün. Eğer bu günlerin sadece 60'ında gerçekten yağmur yağarsa, tahminci aşırı güvenlidir. Kalibrasyon, tahmincinin ölçeğini yeniden ayarlamak gibidir, öyle ki %90 dediğinde, yağmur oranı gerçekten %90 olur. Bir sinir ağı için bu, ağın etiket üzerindeki sayıları, ağın ne sıklıkta doğru olduğunu sadakatle yansıtana kadar ham güven skorlarını germek veya sıkıştırmak anlamına gelir.

Tarih

Olasılık kalibrasyonunun kökleri, SVM çıktılarına bir sigmoid uyduran Platt ölçeklendirme (Platt, 1999) ve naive Bayes sınıflandırıcılarına uygulanan izotonik regresyona dayanmaktadır. Modern yaklaşım, ResNet ve diğer mimarileri karşılaştıran ve model kapasitesiyle ilişkili sistematik aşırı güveni bulan Guo ve ark. (2017) tarafından önemli ölçüde geliştirilmiştir. Onların sıcaklık ölçeklendirme önerisi standart bir temel haline gelmiş, 2010'ların sonları ve 2020'ler boyunca sınıf koşullu kalibrasyon, topluluk kalibrasyonu ve dağılım kayması altında kalibrasyon üzerine takip çalışmalarını teşvik etmiştir.

Ne zaman kullanılır?

Tahmin edilen olasılıklar, tıbbi risk sınıflandırması, dolandırıcılık puanlama eşikleri veya maliyet-duyarlı sınıflandırıcılar gibi, nominal değerlerine bağlı olan aşağı akış kararlarını besleyecekse model kalibrasyonunu kullanın. Özellikle derin sinir ağları için önemlidir; Guo ve ark. (2017), model derinliği ve genişliği arttıkça bu ağların giderek daha fazla aşırı güvenli hale geldiğini göstermiştir. Kalibrasyon, temsili bir tutulan küme varsayar; kalibrasyon ve dağıtım dağılımları arasındaki dağılım kaymasını düzeltemez. Nokta olasılıkları yerine tahmin aralıkları gerektiğinde, bunun yerine konformal tahmini düşünün.

Sınırlar ve dikkat edilmesi gerekenler

  • Kalibrasyon, tutulan bir doğrulama kümesi gerektirir; küçük kalibrasyon kümeleri güvenilmez sıcaklık tahminleri üretir.
  • Sıcaklık ölçeklendirme, tek bir global skalerin yeterli olduğunu varsayar, bu da yanlış kalibrasyonun sınıfa veya bölgeye özgü olduğu durumlarda başarısız olabilir.
  • ECE, bölme sayısına ve genişliğine duyarlıdır, bu da standardizasyon olmadan çalışmalar arası karşılaştırmaları gürültülü hale getirir.
  • Kalibrasyon, keskinliği veya ayırt edici yeteneği iyileştirmez; kötü ayırt edici bir model, kalibrasyondan sonra da öyle kalır.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Sıcaklık ölçeklendirme yalnızca bir parametre ekler ve sınıflandırma doğruluğunu azaltamaz, bu da onu son derece hafif yapar.
  • ECE, düzeltme öncesi ve sonrası yanlış kalibrasyonu nicelendiren, yorumlanabilir, eyleme geçirilebilir bir teşhis sağlar.
  • Eğitim sonrası kalibrasyon modelden bağımsızdır ve yeniden eğitim gerektirmeden herhangi bir önceden eğitilmiş sınıflandırıcıya uygulanabilir.
  • İyi kalibre edilmiş olasılıklar, aşağı akış hatlarında güvenilir eşik seçimi ve beklenen değer hesaplamalarını mümkün kılar.

Uygulama alanları

  • Yanlış kalibre edilmiş risk skorlarının yanlış tedavi eşiklerine yol açtığı tıbbi teşhis sistemleri.
  • Olasılık çıktılarının maliyet-duyarlı kabul/red kararlarını yönlendirdiği kredi puanlama ve dolandırıcılık tespiti.
  • Model çıktılarının güven ağırlıklı birleştirilmesinin gerektiği doğal dil işleme sınıflandırıcıları.
  • Aşağı akış muhakemesinden önce aday tespitlerini filtrelemek için güven eşiklerini kullanan nesne algılama hatları.
  • Birden fazla modelden gelen çıktıların ortak bir olasılık ölçeğinde birleştirilmesi gereken topluluk ve birleşik öğrenme ortamları.

Nasıl çalışır?

Nasıl çalışır?

1

Her doğrulama örneği için, modelin bildirdiği güven olarak tüm sınıflar arasındaki maksimum softmax olasılığını çıkarın. Bu skaler, modelin en iyi tahmini hakkında ne kadar emin olduğunu iddia ettiğini temsil eder ve kalibrasyon hattına ham girdi olarak hizmet eder.

Formül
\hat{p}_i = \max_c \, \hat{\sigma}_c(\mathbf{x}_i)
2

Tahminleri güvene göre M eşit genişlikte bölmelere ayırın. Her bölme için, ortalama güven ile ortalama doğruluk arasındaki farkı hesaplayın, ardından bölmeler arasında ağırlıklı bir ortalama alın. Ortaya çıkan Beklenen Kalibrasyon Hatası (ECE) birincil teşhis aracıdır: daha düşük bir ECE, tahmin edilen olasılıklar ile gözlemlenen frekanslar arasında daha iyi bir uyumu gösterir.

Formül
\mathrm{ECE} = \sum_{m=1}^{M} \frac{|B_m|}{n} \left| \mathrm{acc}(B_m) - \mathrm{conf}(B_m) \right|
3

Softmax öncesi logit vektörünü softmax'tan önce tek bir öğrenilebilir T skaleri ile bölün. T 1'den büyük olduğunda, dağılım düzleşir, aşırı güveni azaltır; T 1'den küçük olduğunda ise keskinleşir. Sıcaklık ölçeklendirme, tahminlerin sıralamasını değiştirmez, doğruluğu sabit tutarken kalibrasyonu iyileştirir.

Formül
\hat{q}_i = \max_c \, \sigma_{\mathrm{SM}}\!\left(\mathbf{z}_i / T\right)_c, \quad T > 0
4

Tutulan doğrulama kümesinin negatif log-olasılığını (NLL) minimize ederek optimal sıcaklık T*'yi bulun. Bu, gradyan inişi veya çizgi araması ile verimli bir şekilde çözülen tek boyutlu bir dışbükey optimizasyon problemidir. Ortaya çıkan T* daha sonra sabitlenir ve çıkarım zamanında gelecekteki tüm tahminlere uygulanır.

Formül
T^* = \arg\min_{T} \, \mathcal{L}_{\mathrm{NLL}}\!\left(\sigma_{\mathrm{SM}}(\mathbf{z}/T),\, y\right)

Sık yapılan hatalar

  • Eğitim için kullanılan aynı veriler üzerinde kalibrasyon yapmak, aşırı uyuma ve eğitim kümesinde yanıltıcı derecede düşük ECE'ye yol açar.
  • Kalibre edilmiş olasılıkları belirsizlik tahminleri gibi kullanmak, aleatorik ve epistemik belirsizliği karıştırır.
  • Yalnızca ECE raporlamak, kuyruklardaki zayıf kalibrasyonu maskeleyebilir; skaler metrikle birlikte her zaman güvenilirlik diyagramını görselleştirin.
  • Kalibre edilmiş bir modeli kaymış bir dağıtım dağılımına uygulamak, kalibrasyonu geçersiz kılar ve yanıltıcı güven üretebilir.

Sık sorulan sorular

Kalibrasyon, sınıflandırma doğruluğunu etkiler mi?

Sıcaklık ölçeklendirme, sınıf olasılıklarının sıralamasını değiştirmez, bu nedenle en iyi-1 doğruluğu değişmez. İzotonik regresyon gibi diğer kalibrasyon yöntemleri nadir durumlarda argmax tahminini değiştirebilir, ancak birincil hedefleri sınıflandırma doğruluğundan ziyade olasılık doğruluğudur ve herhangi bir doğruluk etkisi genellikle ihmal edilebilir düzeydedir.

Modelimin kalibrasyona ihtiyacı olup olmadığını nasıl anlarım?

Bir güvenilirlik diyagramı çizin: tahminleri güven bölmesine göre gruplandırın ve ortalama güveni ampirik doğruluğa karşı çizin. Mükemmel şekilde kalibre edilmiş bir model köşegeni takip eder. Köşegenin sürekli üzerinde olan bir eğri aşırı güveni; altında olan ise yetersiz güveni işaret eder. Tek bir özet istatistik olarak ECE'yi hesaplayın; yaklaşık 0.05'in üzerindeki değerler pratikte genellikle önemsiz olmayan yanlış kalibrasyon olarak kabul edilir.

Sıcaklık ölçeklendirme yerine ne zaman izotonik regresyon kullanmalıyım?

İzotonik regresyon, parametrik olmayan monoton bir fonksiyondur ve olasılık aralığı boyunca karmaşık, tekdüze olmayan yanlış kalibrasyonu yakalayabilir. Güvenilirlik diyagramı monoton olmayan veya düzensiz bir desen gösterdiğinde bunu tercih edin. Ancak, izotonik regresyonun güvenilir bir şekilde uyması için daha fazla veri gerekir ve kalibrasyon kümesi küçük olduğunda veya basitlik ve yorumlanabilirlik öncelikli olduğunda genellikle sıcaklık ölçeklendirme tercih edilir.

İlgili yöntemler

Kaynaklar

  1. Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). On calibration of modern neural networks. International Conference on Machine Learning, 1321–1330.

    Yayın kaynağını aç
    Kopyalandı.