İçeriğe atla
Arama sonuçlarına dön

Aktif Öğrenme K-En Yakın Komşular

Ortaya koyan
Settles, B. (active learning framework); Fix & Hodges (KNN base)
Yıl
1951–2010
Tür
Active learning with KNN base learner
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

K-en yakın komşularla aktif öğrenme, KNN'in örnek tabanlı tahminini, açıklama için en bilgilendirici etiketsiz örnekleri seçen yinelemeli bir sorgu stratejisiyle birleştirir.

Model, yalnızca komşuluk oylama marjlarının en dar olduğu örnekler için etiket talep eder ve tablo verilerinde tamamen denetimli KNN'den çok daha az etiketli örnekle rekabetçi doğruluk elde eder.

Yöntemin mantığı

KNN, bir noktayı k en yakın etiketli komşularına bakarak ve çoğunluk oyu alarak sınıflandırır. Bu komşular sınıflar arasında neredeyse eşit olarak bölündüğünde, model gerçekten belirsizdir — ve bu belirsizlik, hangi etiketsiz örneğin etiketlenmeye en çok değer olduğunu gösterir. Aktif öğrenme bu sinyali kullanır: her yinelemede, algoritma komşuluğu en eşit şekilde bölünmüş etiketsiz noktayı bulur, bir kahinden onu etiketlemesini ister, etiketli havuza ekler ve tekrarlar. Sonuç olarak, etiketleme çabası karar sınırlarına yakın yerlerde yoğunlaşır, burada yeni etiketler en çok öğretir.

Tarih

K-en yakın komşular sınıflandırıcısı Fix ve Hodges (1951) tarafından ortaya çıkmış ve Cover ve Hart (1967) tarafından resmileştirilmiştir. Prensip sahibi bir çerçeve olarak aktif öğrenme, Burr Settles (2010) tarafından sistematik olarak incelenmiş, havuz tabanlı belirsizlik örneklemesi, komite tarafından sorgulama ve yoğunluk ağırlıklı stratejiler belgelenmiştir. KNN, en az Cohn, Atlas ve Ladner'ın temel çalışmasından (1994) beri havuz tabanlı aktif öğrenme kıyaslamalarında temel bir öğrenici olarak yer almıştır, şeffaf belirsizlik sinyali ve yineleme başına sıfır yeniden eğitim maliyeti nedeniyle değerlidir.

Ne zaman kullanılır?

Etiketli veriler az veya elde edilmesi maliyetli olduğunda, etiketsiz örnekler bol olduğunda, özellik alanı orta boyutlu olduğunda ve karar sınırının yerel olarak pürüzsüz olması beklendiğinde KNN ile aktif öğrenme kullanın. Özellikle etiketlemenin rasyonel olarak yapılması gereken erken aşama sınıflandırma projelerinde pratiktir. Veri kümesi çok yüksek boyutlu olduğunda (KNN mesafe metrikleri yüksek boyutlarda bozulur, boyutluluk laneti), etiketli havuz zaten büyük olduğunda (pasif KNN yeterlidir), ölçekte düşük gecikmeli tahmin gerektiğinde (KNN tahmini etiketli kümede O(n)dir) veya etiket bütçesi o kadar küçük olduğunda ki komşuluk tahminleri güvenilmez olduğunda bundan kaçının.

Sınırlar ve dikkat edilmesi gerekenler

  • Tahmin maliyeti etiketli küme boyutuyla doğrusal olarak ölçeklenir, bu da havuz yinelemeler boyunca büyüdükçe çıkarımı yavaşlatır.
  • Boyutluluk laneti nedeniyle mesafe tabanlı belirsizlik yüksek boyutlu uzaylarda keskin bir şekilde bozulur.
  • KNN'in doğruluk tavanı topluluk yöntemlerinden daha düşüktür; aktif strateji temel öğrenicinin sınırlı kapasitesini telafi edemez.
  • k seçimine ve mesafe metriğine duyarlıdır; kötü varsayılanlar güvenilmez belirsizlik tahminlerine yol açar.
  • Tüm etiketli noktalar bellekte saklanır; büyük bütçeler yüksek bellek tüketimine neden olur.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Parametrik olmayan ve varsayımsız: veriler hakkında dağılımsal varsayımlar gerekmez.
  • Belirsizlik tahmini doğal ve yorumlanabilirdir — en yakın komşular arasındaki oy bölünmesini doğrudan yansıtır.
  • Tembel öğrenme, yineleme başına yeniden eğitim maliyeti olmaması anlamına gelir; genişletilmiş etiketli küme güncellenmiş modeldir.
  • Karar sınırlarına yakın etiketleri yoğunlaştırmada etkilidir, az sayıda açıklama ile iyi sınır çözünürlüğü sağlar.
  • Hem sürekli hem de ikili özelliklere sahip orta boyutlu tablo verilerinde iyi çalışır.

Uygulama alanları

  • Uzman etiketleme süresinin sınırlı olduğu ve karar sınırlarının yerel olarak pürüzsüz olduğu tıbbi kayıt veya görüntü açıklama.
  • Küçük etiketli metin veya belge sınıflandırması ve gömme tabanlı mesafeler kullanarak bol miktarda etiketsiz belge.
  • Olayların yalnızca bir kısmının manuel olarak doğrulanabildiği sensör ve endüstriyel hata tespit görevleri.
  • Tür etiketlerinin saha onayının pahalı ve yerel olarak kümelenmiş olduğu ekolojik araştırmalar.
  • Yeterli etiket toplandıktan sonra daha yüksek kapasiteli bir modele geçmeden önce erken aşama prototip sınıflandırıcılar.

Nasıl çalışır?

Nasıl çalışır?

1

Süreci başlatmak için küçük bir başlangıç etiketli örnek kümesi, daha büyük bir etiketsiz örnek havuzuyla birlikte oluşturulur. Her sınıf için en az bir örneğin bulunmasını sağlamak amacıyla tabakalı rastgele seçim önerilir, bu da aktif döngü başlamadan önce KNN'e anlamlı bir başlangıç komşuluğu sağlar.

2

Bir KNN sınıflandırıcısı, seçilen bir k ve mesafe metriği (genellikle Öklid veya kosinüs) kullanılarak mevcut etiketli küme üzerinde eğitilir. KNN tembel olduğu ve tüm eğitim noktalarını depoladığı için, eğitim anlıktır, ancak tahmin maliyeti etiketli küme boyutuyla doğrusal olarak ölçeklenir — havuz yinelemeler boyunca büyüdükçe ilgili bir husustur.

3

Her etiketsiz örnek, bir bilgilendiricilik kriterine göre puanlanır. Marj örneklemesi, k komşu arasındaki en iyi iki sınıfın oy payları arasındaki farkı hesaplar; entropi örneklemesi, tüm sınıf oranları üzerinden H(y-şapka | x) değerini hesaplar. En küçük marja veya en yüksek entropiye sahip örnek sorgulanır: x* = argmax H(y-şapka | x).

Formül
x^* = \arg\max_{x \in U} H(\hat{y} \mid x)
4

Sorgulanan örnek, gerçek etiketi için bir kahine — bir insan açıklayıcıya veya otomatik etiketleme mekanizmasına — gönderilir. Etiket eğitim kümesine eklenir ve örnek etiketsiz havuzdan çıkarılır. Gürültülü etiketler, sınırlar yakınında KNN performansını keskin bir şekilde düşürdüğü için açıklayıcı güvenilirliği izlenmelidir.

5

KNN tembel bir öğrenici olduğu için açık bir yeniden eğitim gerekmez; genişletilmiş etiketli küme hemen yeni modeli oluşturur. Sorgu-puanlama-etiketleme döngüsü, etiketleme bütçesi tükenene, bir doğrulama doğruluğu eşiği karşılanana veya maksimum yineleme sayısına ulaşılana kadar tekrarlanır. Nihai performans bağımsız bir ayrık test kümesi üzerinde rapor edilir.

Sık yapılan hatalar

  • Mesafeleri hesaplamadan önce özellikleri normalleştirmemek, yüksek büyüklükteki özelliklerin komşuluğa hakim olmasına neden olur.
  • Sorgu seçimini yönlendirmek veya değerlendirmek için test kümesini kullanmak, bu da veri sızıntısı oluşturur.
  • Karar sınırına yakın k'yi çok küçük ayarlamak (k=1), gerçek belirsizliği yansıtmayan oldukça değişken belirsizlik puanları üretir.
  • Başlangıç kümesindeki sınıf dengesizliğini göz ardı etmek, bu da erken sorguları çoğunluk sınıfı sınırlarına doğru yönlendirir.
  • Kullanılan etiket sayısını bildirmeden aktif öğrenme doğruluğunu tamamen denetimli bir temel çizgiye eşdeğer olarak ele almak.

Sık sorulan sorular

Neden aktif öğrenme tabanı olarak daha güçlü bir model yerine KNN kullanılmalı?

KNN'in oy bölünmesi belirsizliği hesaplaması ucuzdur ve yeniden eğitim gerektirmez — yeni bir etiketli nokta eklemek modeli hemen günceller. Bu, yineleme başına hesaplama maliyetinin önemli olduğu durumlarda cazip hale getirir. Sabit bir etiket bütçesinde maksimum doğruluk için, rastgele orman veya gradyan artırma gibi topluluk temel öğrenicileri genellikle KNN'den daha iyi performans gösterir.

Aktif öğrenme için k'yi nasıl seçerim?

Yaygın bir başlangıç aralığı k = 5 ila 15'tir. Daha küçük k değerleri daha gürültülü belirsizlik tahminleri üretir; daha büyük k değerleri sınırı yumuşatır ancak ince taneli belirsizliği kaçırabilir. Başlangıç etiketli çekirdek küme üzerinde k'yi çapraz doğrulayın ve etiketli havuz büyüdükçe ayarlayın.

Özellik ölçeklendirme önemli mi?

Evet, kritik derecede. Özellikler normalleştirilmezse KNN mesafesi yüksek büyüklükteki özellikler tarafından domine edilir. Mesafeleri ve belirsizlik puanlarını hesaplamadan önce her zaman min-max ölçeklendirme veya z-skoru standardizasyonu uygulayın.

Kaç tane başlangıç etiketli örnek gerekiyor?

Minimumda, KNN'in tüm sınıflar için komşuluklar oluşturabilmesi için sınıf başına bir veya iki etiketli örnek gereklidir. Pratikte, 5-20 etiketli örnek daha kararlı başlangıç belirsizlik tahminleri sağlar; daha azı, bilgilendirici olmayan erken sorgular üreten dejenere komşuluklar riskini taşır.

Aktif döngüyü ne zaman durdurmalıyım?

Önceden bir etiketleme bütçesi belirleyin veya doğrulama doğruluğunu izleyin ve yeni etiket başına iyileşme anlamlı bir eşiğin altına düştüğünde durun. Test kümesini asla durdurma sinyali olarak kullanmayın, çünkü bu, sorgu sürecine bilgi sızdırır.

İlgili yöntemler

Kaynaklar

  1. Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin-Madison.

    Yayın kaynağını aç
    Kopyalandı.
  2. Zhu, X., Lafferty, J., & Ghahramani, Z. (2003). Combining active learning and semi-supervised learning using Gaussian fields and harmonic functions. Proceedings of the ICML 2003 Workshop on the Continuum from Labeled to Unlabeled Data, 58–65.

    Yayın kaynağını aç
    Kopyalandı.