İçeriğe atla
Arama sonuçlarına dön

En Yakın K Komşu

Ortaya koyan
Cover, T.M. & Hart, P.E.
Yıl
1967
Tür
Instance-based (non-parametric) learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Cover ve Hart tarafından 1967'de biçimlendirilen En Yakın K Komşu (KNN), yeni bir gözlemi eğitim verilerindeki en yakın k örneğe bakarak sınıflandıran veya tahmin eden parametrik olmayan, örneğe dayalı bir yöntemdir.

Sınıflandırma için bu komşular arasında çoğunluk oyu alır; regresyon için değerlerinin ortalamasını alır.

Yöntemin mantığı

Fikir basittir: benzer girdiler benzer çıktılara eğilimlidir. Yeni bir noktayı etiketlemek için KNN, özellik uzayında ona en yakın olan az sayıda eğitim örneğini bulur ve onların karar vermesine izin verir. Önceden uyarlanmış bir denklem yoktur — eğitim verisinin kendisi modeldir ve yalnızca yeni bir nokta geldiğinde bir tahmin yapılır.

Tarih

En yakın komşu örüntü sınıflandırması, Thomas Cover ve Peter Hart tarafından 1967'de IEEE Transactions on Information Theory dergisinde yayınlanan makalelerinde resmi istatistiksel temeline kavuşturulmuş ve en yakın komşu kuralının hata oranını analiz etmiştir. KNN, en eski ve en kalıcı örnek tabanlı öğrenme yöntemlerinden biri haline gelmiş ve standart bir temel sınıflandırıcı olarak kalmaktadır.

Ne zaman kullanılır?

Sürekli, ikili veya sıralı özelliklere ve en az yaklaşık 30 gözleme sahip tablo verilerinde sınıflandırma veya tahmin için KNN kullanın. Belirli bir dağılım varsaymaz, ancak özelliklerin normalleştirilmesini ve özellik sayısının örnek boyutuna göre küçük kalmasını gerektirir (p'nin n'den çok daha küçük olması tercih edilir). Küçük veya yüksek boyutlu örneklerde boyutluluk laneti hakim olur — komşu mesafeleri anlamsız hale gelir — ve lojistik regresyon veya Naive Bayes gibi parametrik bir model daha iyi bir seçimdir.

Sınırlar ve dikkat edilmesi gerekenler

  • Özellik ölçeklendirmesine duyarlıdır; standardizasyon olmadan, büyük ölçekli özellikler mesafeye hakim olur.
  • Yüksek boyutlarda hızla bozulur (boyutluluk laneti), burada komşu mesafeleri anlamını yitirir.
  • Her tahmin, büyük verilerde tahmin zamanında yavaş olan tüm eğitim setini taramayı gerektirir.
  • En az orta düzeyde bir örneklem boyutu gerektirir; küçük örneklerde en yakın komşu mesafeleri anlamlı değildir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Kavramsal olarak basit ve açıklanması kolay: eğitim zamanı denklemi yok, veri modeldir.
  • Parametrik olmayan — temel dağılım hakkında varsayım yapmaz.
  • Doğal olarak çok sınıflı problemleri ve karmaşık, doğrusal olmayan karar sınırlarını ele alır.
  • Aynı temel fikirle hem sınıflandırma hem de regresyon için çalışır.

Uygulama alanları

  • Tablo verilerinin iki veya daha fazla kategoriye sınıflandırılması.
  • En yakın örneklerin ortalamasını alarak sayısal tahmin (regresyon).
  • Daha karmaşık modelleri denemeden önce basit, yorumlanabilir bir temel.
  • Bilinen örneklere benzerliğin kararı yönlendirdiği örüntü tanıma.

Nasıl çalışır?

Nasıl çalışır?

1

Yeni bir gözlem için KNN, tipik olarak özellikler boyunca Öklid mesafesini kullanarak her eğitim örneğinden ne kadar uzakta olduğunu ölçer. Mesafe ölçek hassasiyetine sahip olduğundan, özellikler önce standartlaştırılmalıdır — aksi takdirde büyük bir sayısal ölçekte ölçülen bir değişken hesaplamaya hakim olur ve hangi komşuların en yakın kabul edildiğini bozar.

Formül
d(x, x_i) = \sqrt{\sum_{j=1}^{p}(x_j - x_{ij})^2}
2

Yeni gözleme en küçük mesafeye sahip k eğitim noktası komşuları olarak seçilir. k'nin değeri kararın ne kadar yerel olduğunu kontrol eder: küçük bir k veriyi yakından takip eder ancak gürültüye duyarlıdır, daha büyük bir k ise sınırı yumuşatır. k, tahmin edilmek yerine çapraz doğrulama (örneğin, dirsek yöntemi) ile seçilmelidir.

3

Komşular tahmini belirler: sınıflandırma için yeni nokta k komşusu arasındaki en yaygın sınıfı (çoğunluk oyu) alır ve regresyon için değerlerinin ortalamasını alır. Bu, yöntemi anlamayı kolaylaştırır, ancak her tahmin eğitim setini taramayı gerektirir.

Formül
\hat{y} = \text{mode/mean of the } k \text{ nearest neighbors}

Sık yapılan hatalar

  • Özellik standardizasyonunu atlamak, böylece bir büyük ölçekli değişken mesafeyi sessizce kontrol eder.
  • k'yi çapraz doğrulama ile seçmek yerine elle seçmek.
  • Çok sayıda özellik ve az sayıda gözlemle KNN uygulamak, burada boyut/örnek oranı onu bozar.
  • Yalnızca doğruluğu bildirmek yerine kesinlik, duyarlılık, F1 ve bir karışıklık matrisi bildirmek.

Sık sorulan sorular

k değerini nasıl seçerim?

k, tahmin edilmek yerine çapraz doğrulama ile seçilmelidir — örneğin, bir dizi değer denenerek ve hatanın nerede iyileşmeyi durdurduğunu bulmak için dirsek yöntemi kullanılarak. Küçük bir k veriyi yakından takip eder ancak gürültüye duyarlıdır, daha büyük bir k ise karar sınırını yumuşatır.

Neden özellikleri standartlaştırmalıyım?

KNN, mesafeyi kullanarak 'en yakın' kim olduğuna karar verir, bu da ölçek hassasiyetine sahiptir. Bir özellik diğerlerinden çok daha büyük bir sayısal ölçekteyse, mesafeye hakim olur ve komşu kümesini bozar. Her özelliğin adil katkıda bulunmasını sağlamak için özelliklerin standartlaştırılması (örneğin bir StandardScaler ile) gereklidir.

KNN neden çok sayıda özellikle mücadele eder?

Yüksek boyutlu uzaylarda tüm noktalar kabaca eşit uzaklıkta olur — boyutluluk laneti — bu nedenle 'en yakın' komşular artık anlamlı derecede yakın değildir. KNN performansı hızla düşer ve genellikle Naive Bayes veya lojistik regresyon gibi parametrik bir model tercih edilir. p'nin n'den çok daha küçük tutulması yardımcı olur.

Bir eğitim adımı var mı?

Normal anlamda değil. KNN örneğe dayalıdır (tembel): eğitim verilerini basitçe depolar ve tüm işi tahmin zamanında yapar, bu sırada yeni bir noktanın en yakın komşularını bulmak için mesafeleri hesaplar.

İlgili yöntemler

Kaynaklar

  1. Cover, T.M. & Hart, P.E. (1967). Nearest Neighbor Pattern Classification. IEEE Transactions on Information Theory, 13(1), 21–27.

    DOI kaynağını aç
    Kopyalandı.