Aktif Öğrenme Doğrusal Regresyon
- Ortaya koyan
- Cohn, D. A.; Ghahramani, Z.; Jordan, M. I.
- Yıl
- 1996
- Tür
- Active learning / iterative supervised learning
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Aktif Öğrenme Doğrusal Regresyon, doğrusal regresyon modelini akıllı bir sorgu stratejisiyle birleştirerek en bilgilendirici etiketlenmemiş noktaları etiketleme için seçen iteratif bir makine öğrenmesi yaklaşımıdır.
Belirsizliğin en yüksek olduğu yerlere etiketleme çabası odaklanarak, pasif rastgele örneklemeye göre çok daha az etiketlenmiş örnekle rekabetçi tahmin doğruluğu elde eder.
Yöntemin mantığı
Veri etiketlemek genellikle pahalıdır — klinik ölçümler, uzman açıklamaları veya laboratuvar deneyleri düşünün. Her şeyi rastgele etiketlemek yerine, aktif bir öğrenici sahip olduğu küçük etiketlenmiş küme üzerinde doğrusal regresyon uygular, tahminlerinin en belirsiz olduğu yerleri belirler, bir oracle'dan bu noktaları etiketlemesini ister ve sonra yeniden eğitir. Bu döngü, bütçe tükendiğinde veya performans bir hedefi karşıladığında tekrarlanır. Sonuç, etiketleme kaynaklarını en çok ihtiyaç duyulan yerlere — karar sınırlarının yakınına veya veri seyrek bölgelerine — harcayarak verimli bir şekilde öğrenen bir modeldir.
Tarih
İstatistiksel modellerle aktif öğrenme için resmi çerçeve, 1996'da Cohn, Ghahramani ve Jordan tarafından oluşturuldu; olasılıksal bir model altında varyans azaltmanın ilkeli bir sorgu kriteri sağladığını gösterdiler. Bu çalışma, aktif öğrenmeyi klasik optimal deneysel tasarım literatürüyle (Kiefer ve Wolfowitz, 1959'a kadar uzanan) birleştirdi. Settles (2012) daha sonra daha geniş aktif öğrenme alanını pekiştirdi ve aktif doğrusal regresyon, sorgu-belirsizlik yoluyla temel ilkeleri gösteren kanonik bir örnek olarak kalmaktadır.
Ne zaman kullanılır?
Öncüller ve sürekli bir sonuç arasındaki ilişki yaklaşık olarak doğrusal olduğunda, etiketler az veya elde edilmesi pahalı olduğunda (örn. ıslak laboratuvar deneyleri, klinik deneyler, uzman açıklaması) ve büyük bir etiketlenmemiş aday havuzu olduğunda Aktif Öğrenme Doğrusal Regresyonu kullanın. Özellikle düşük boyutlu deneysel tasarım problemleri için uygundur. Gerçek ilişkinin güçlü bir şekilde doğrusal olmadığı durumlarda (aktif Gauss süreci veya sinir ağı varyantlarını tercih edin), etiket maliyeti ihmal edilebilir olduğunda (pasif örnekleme yeterlidir) veya etiketlenmemiş havuz seçilimden faydalanmak için çok küçük olduğunda bundan kaçının.
Sınırlar ve dikkat edilmesi gerekenler
- Gerçek ilişkinin doğrusal olduğunu varsayar; yanlış belirtim, kötü sorgu kararlarına ve yanlı tahminlere yol açabilir.
- Yüksek boyutlu ayarlarda, ilk etiketlenmiş havuzun varyansı güvenilir bir şekilde tahmin etmek için çok seyrek olduğu durumlarda performans düşer.
- Açgözlü sorgu stratejisi, toplu kapsamı ihmal ederken sınır bölgelerine aşırı odaklanabilir.
- İstendiğinde herhangi bir sorgulanan noktayı etiketleyebilen bir oracle'a (insan uzmanı veya deney) erişim gerektirir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- En bilgilendirici örnekleri önce hedefleyerek etiketleme çabasını önemli ölçüde azaltır.
- Klasik optimal deneysel tasarım teorisine dayanır, varyans azaltma konusunda teorik garantiler sağlar.
- Basit ve yorumlanabilir: altta yatan model, şeffaf katsayılara sahip adi doğrusal regresyon olarak kalır.
- Hesaplama açısından ucuzdur — doğrusal regresyon için tahminsel varyansın kapalı form bir güncellemesi vardır.
- Gerçekten doğrusal ilişkilere sahip düşük ila orta boyutlu ayarlarda iyi çalışır.
Uygulama alanları
- İlaç keşfi ve malzeme bilimi: sentezlenecek ve test edilecek sonraki kimyasal bileşiklerin hangileri olduğunu seçmek.
- Klinik deneyler: doz-yanıt eğrilerini tahmin ederken örneklem boyutunu en aza indirmek için ölçülecek hastaları iteratif olarak seçmek.
- Çevresel izleme: kirlilik veya sıcaklık alanlarını en iyi şekilde tahmin etmek için sensör yerleştirme konumlarını seçmek.
- Açıklayıcı döngüsündeki NLP işlem hatları: regresyon tabanlı puanlama görevlerinde uzman etiketlemesi için cümleleri seçmek.
- Endüstriyel süreç optimizasyonu: minimum çalıştırmayla sürekli bir çıktı yüzeyini haritalamak için deneylerin sıralı tasarımı.
Nasıl çalışır?
Nasıl çalışır?
Algoritma, küçük bir etiketlenmiş başlangıç kümesi ve büyük bir etiketlenmemiş örnek havuzu ile başlar. Başlangıç kümesi, ilk regresyona makul bir başlangıç uyumu sağlamak için yeterince çeşitli olmalıdır; yaygın bir seçim 5-20 noktanın rastgele örneklenmesidir.
Mevcut etiketlenmiş küme üzerinde adi en küçük kareler kullanılarak bir doğrusal regresyon modeli uygulanır. Tahmini katsayı vektörü beta-şapka, tüm girdilerdeki mevcut tahmin yüzeyini tanımlar.
Formül
\hat{\beta} = (X^\top X)^{-1} X^\top yHer etiketlenmemiş nokta için, tipik olarak regresyon modelinin o noktadaki tahminsel varyansı olan bir sorgu kriteri hesaplanır. En yüksek varyansa (en fazla belirsizlik) sahip nokta, etiketleme için en bilgilendirici aday olarak seçilir. Varyans tabanlı seçim, klasik optimal deneysel tasarıma (D-optimal veya A-optimal kriterler) karşılık gelir.
Formül
x^* = \arg\max_{x \in \mathcal{U}} \sigma^2(x)Seçilen etiketlenmemiş nokta bir oracle'a — bir insan açıklayıcı, bir laboratuvar cihazı veya otomatik bir ölçüm sistemi — sunulur, bu da gerçek etiketi (sürekli yanıt değeri) sağlar. Bu etiketleme adımı genellikle maliyet ve zaman açısından darboğazdır.
Yeni etiketlenmiş nokta etiketlenmiş kümeye eklenir ve doğrusal regresyon modeli genişletilmiş küme üzerinde yeniden uygulanır. Sorgu-etiket-yeniden uygulama döngüsü, etiketleme bütçesi tükendiğinde veya bir durdurma kriteri (örn. minimum varyans eşiği) karşılandığında devam eder.
Sık yapılan hatalar
- Çok küçük veya temsili olmayan bir başlangıç kümesiyle başlamak, erken sorguların kötü uyumlanmış bir model tarafından yönlendirilmesine neden olur.
- Model yanlış belirtimini göz ardı etmek — eğer veri doğrusal değilse, varyans kriteri sistematik olarak yararsız noktalar seçecektir.
- Son modelin pasif rastgele bir örneklemden uyumlanmış gibi ele alınması; aktif örnekler IID değildir, bu da standart standart hata formüllerini geçersiz kılabilir.
- Tahminsel varyansı artık varyans ile karıştırmak; sorgu kriteri, eğitim artıklarından ziyade yeni noktalardaki tahminin varyansı olmalıdır.
Sık sorulan sorular
Aktif öğrenme, adi doğrusal regresyondan nasıl farklıdır?
Adi doğrusal regresyon, pasif olarak toplanan etiketlenmiş bir veri kümesi üzerinde uygulanır. Aktif öğrenme doğrusal regresyon bir sorgu döngüsü ekler: her uygulamadan sonra, model en çok belirsiz olduğu etiketlenmemiş noktayı seçer, etiketini ister ve yeniden eğitir — etiketleme bütçesi harcanana kadar yinelenir.
Hangi sorgu stratejisi en iyi çalışır?
Doğrusal regresyon için, tahminsel varyansı en üst düzeye çıkarmak (D-optimal veya A-optimal deneysel tasarıma eşdeğer), hem teorik olarak haklı hem de pratikte etkilidir. Genel parametre belirsizliğini en çok azaltacak noktayı seçer.
Bunu düzenlileştirilmiş regresyon (Ridge, Lasso) ile kullanabilir miyim?
Evet. Tahminsel varyans, basit bir kapalı form ayarlamasıyla Ridge regresyonu için hesaplanabilir. Lasso için varyans ifadesi daha az nettir, bu nedenle uygulayıcılar genellikle Bootstrap tabanlı belirsizlik tahminlerini kullanır veya Bayes doğrusal regresyon formülasyonuna geçer.
Aktif örnekleme, regresyon katsayılarının standart hatalarını yanlı mı yapar?
Evet. Etiketlenmiş örnek popülasyondan IID çekilmediği için, standart OLS standart hata formülleri yanlıdır. Çözümler arasında ters olasılık ağırlıklı tahminciler veya rastgele bir tutma kümesiyle yeniden uygulama bulunur.
Başlamak için kaç başlangıç noktasına ihtiyacım var?
Bir p-öncüllü regresyonu uygulamak için minimum p + 1 etiketlenmiş noktaya ihtiyacınız vardır, ancak kararlı bir başlangıç varyans tahmini elde etmek için en az 2p noktalık bir başlangıç kümesi önerilir. Başlangıç kümesinin rastgele seçimi standart uygulamadır.
İlgili yöntemler
Kaynaklar
Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.
DOI kaynağını açKopyalandı.Cohn, D. A., Ghahramani, Z., & Jordan, M. I. (1996). Active learning with statistical models. Journal of Artificial Intelligence Research, 4, 129–145.
DOI kaynağını açKopyalandı.