İçeriğe atla
Arama sonuçlarına dön

t-SNE

Ortaya koyan
van der Maaten, L. & Hinton, G.
Yıl
2008
Tür
Nonlinear dimensionality reduction (manifold visualization)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

t-SNE (t-Dağılımlı Stokastik Komşu Gömme), Laurens van der Maaten ve Geoffrey Hinton tarafından 2008'de tanıtılan, yüksek boyutlu verileri görselleştirme için 2B veya 3B uzaya eşleyen doğrusal olmayan bir boyut azaltma yöntemidir.

Yerel olasılıksal benzerlikleri korur, bu nedenle orijinal uzayda komşu olan noktalar birbirine yakın kalır, küme yapısını ve yerel komşulukları ortaya çıkarır.

Yöntemin mantığı

Veri onlarca veya yüzlerce boyutta yaşadığında, onu doğrudan göremeyiz. t-SNE, her nokta çifti için daha basit bir soru sorar: birinin diğerinin komşusu olarak seçilme olasılığı nedir? Daha sonra, bu komşu olasılıklarını mümkün olduğunca sadık bir şekilde yeniden üretecek şekilde bir 2B veya 3B resim düzenler. Sonuç, sıkı bir şekilde ilişkili gözlemlerin görünür yığınlar halinde toplandığı, gözün ham yüksek boyutlu tabloda görünmeyen grupları tespit etmesini sağlayan bir haritadır.

Tarih

t-SNE, Laurens van der Maaten ve Geoffrey Hinton tarafından 2008'de Makine Öğrenmesi Araştırmaları Dergisi'nde, kalabalıklaşma sorununu çözmek için düşük boyutlu Gauss çekirdeğini ağır kuyruklu bir Öğrenci-t dağılımıyla değiştirerek önceki Stokastik Komşu Gömme üzerine inşa edilerek tanıtıldı. Makine öğrenmesi, genomik ve nörobilim alanlarında yüksek boyutlu verileri görselleştirmek için hızla varsayılan araç haline geldi. Daha yakın zamanda UMAP, genellikle daha fazla küresel yapıyı koruyan daha hızlı bir alternatif olarak ortaya çıktı, ancak t-SNE keşifsel görselleştirme için standart bir referans olmaya devam ediyor.

Ne zaman kullanılır?

Yüksek boyutlu sürekli verileri - gömmeler, gen ifadesi profilleri, görüntü özellikleri - 2B veya 3B'de yerel küme yapısını görmek istediğinizde, en az yaklaşık 50 gözlemle görselleştirmek ve keşfetmek için t-SNE'yi kullanın. Bu, keşifsel, görsel bir araçtır: gruplama ve komşuluk desenleri için haritalarını okuyun, nicel çıkarım için değil. Öncelikle özellikleri standartlaştırın, şaşkınlığı ayarlayın (bir kural olarak n/10 civarında, 5-50 içinde) ve birkaç şaşkınlık değeri boyunca kararlılığı kontrol edin. Çok büyük veri kümelerinde yavaştır, bu nedenle UMAP daha hızlı bir alternatiftir.

Sınırlar ve dikkat edilmesi gerekenler

  • Yalnızca görselleştirme — haritadaki mesafeler ve küme boyutları nicel bir anlam taşımaz, bu nedenle ondan istatistiksel çıkarım yapılmamalıdır.
  • Büyük veri kümelerinde yavaş; UMAP daha hızlı bir alternatiftir.
  • Sonuçlar stokastiktir ve şaşkınlığa büyük ölçüde bağlıdır, bu nedenle farklı çalıştırmalar veya ayarlar farklı görünebilir.
  • Küçük örneklemlerde (yaklaşık 50'nin altındaki n) gömme kararsız ve tekrarlanamazdır.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Doğrusal yöntemlerin kaçırdığı yerel küme yapısını ve komşulukları ortaya çıkarmada mükemmeldir.
  • Doğrusal olmayan: PCA'nın yapamadığı eğri manifold yapısını yakalar.
  • Yüksek boyutlu gruplamaları bir bakışta görünür kılan sezgisel 2B/3B haritalar üretir.
  • Ağır kuyruklu Öğrenci-t çekirdeği, kümeleri iyi ayrılmış tutarak kalabalıklaşma sorununu önler.

Uygulama alanları

  • Yüksek boyutlu gömmeleri ve öğrenilmiş özellik uzaylarını 2B veya 3B'de görselleştirmek.
  • Tek hücreli veya gen ifadesi verilerinde küme yapısını keşfetmek.
  • Derin modellerden görüntü veya metin özelliği temsillerini incelemek.
  • Nicel kümeleme veya sınıflandırmadan önce keşifsel komşuluk analizi.

Nasıl çalışır?

Nasıl çalışır?

1

Orijinal yüksek boyutlu uzaydaki her nokta çifti için t-SNE, mesafelerini bir Gauss çekirdeği kullanarak diğerini komşu olarak seçeceği koşullu bir olasılığa dönüştürür. Bu çekirdeğin genişliği, etkili komşu sayısının, yerel ve küresel yapı arasındaki dengeyi kontrol eden seçilen şaşkınlığa (tipik olarak 5-50) eşit olacak şekilde nokta başına ayarlanır.

Formül
p_{j|i} = \frac{\exp(-\lVert x_i - x_j \rVert^2 / 2\sigma_i^2)}{\sum_{k \neq i}\exp(-\lVert x_i - x_k \rVert^2 / 2\sigma_i^2)}
2

Her noktaya düşük boyutlu haritada bir konum verilir ve oradaki ikili benzerlikler, bir Gauss yerine ağır kuyruklu bir Öğrenci-t dağılımı ile ölçülür. Ağır kuyruklar, uzak noktalara ayrılmaları için yer bırakır, bu da her şeyin merkeze ezilmesini önler - önceki yöntemlerin muzdarip olduğu 'kalabalıklaşma sorunu'.

Formül
q_{ij} = \frac{(1 + \lVert y_i - y_j \rVert^2)^{-1}}{\sum_{k \neq l}(1 + \lVert y_k - y_l \rVert^2)^{-1}}
3

t-SNE, yüksek boyutlu komşu olasılıkları ile düşük boyutlu olasılıklar arasındaki Kullback–Leibler ıraksamasını en aza indirmek için gradyan inişi ile düşük boyutlu noktaları hareket ettirir. Bu maliyet azaldıkça, haritanın komşuluk yapısı orijinal verinin yapısıyla eşleşir ve nihai kümelenmiş düzeni üretir.

Formül
C = \mathrm{KL}(P \,\Vert\, Q) = \sum_{i \neq j} p_{ij} \log \frac{p_{ij}}{q_{ij}}

Sık yapılan hatalar

  • Nicel anlamı olmayan küme boyutlarını veya kümeler arası mesafeleri okumak — bunlar anlamlı değildir.
  • Gömme işlemini çalıştırmadan önce özellik standardizasyonunu atlamak.
  • Tek bir şaşkınlık seçmek ve diğer değerler boyunca kararlılığı asla kontrol etmemek.
  • Yalnızca görsel keşif için tasarlanmış bir araçtan nicel sonuçlar çıkarmak.
  • t-SNE'yi yaklaşık 50'den az gözlemde çalıştırmak, haritanın stokastik ve yanıltıcı hale geldiği yer.

Sık sorulan sorular

Şaşkınlık neyi kontrol eder?

Şaşkınlık, her noktanın dikkate aldığı etkili komşu sayısını belirler, yerel ve daha geniş yapıya dikkat etmeyi dengeler. Tipik değerler 5-50 arasındadır, kural olarak n/10 civarındadır; birkaçını denemek ve görünen yapının kararlı olduğunu kontrol etmek akıllıcadır.

Bir t-SNE grafiğinden küme boyutlarını ve mesafelerini okuyabilir miyim?

Hayır. t-SNE yerel komşulukları korur ancak küresel geometriyi korumaz, bu nedenle bir kümenin boyutu ve kümeler arasındaki boşluklar nicel olarak anlamlı değildir. Gruplamayı tespit etmek için grafiği kullanın, ölçmek için değil.

t-SNE PCA'dan nasıl farklıdır?

PCA, maksimum varyans yönlerine doğrusal bir projeksiyondur ve küresel yapıyı korur, oysa t-SNE, yerel komşulukları koruyan ve kümeleri ortaya çıkarmada başarılı olan doğrusal olmayan bir yöntemdir. Tamamlayıcıdırlar; PCA genellikle t-SNE öncesi ön işleme adımı olarak kullanılır.

t-SNE mi yoksa UMAP mı kullanmalıyım?

Her ikisi de doğrusal olmayan görselleştirme yöntemleridir. t-SNE, yerel yapı için uzun süredir devam eden bir standarttır, oysa UMAP büyük veri kümelerinde daha hızlıdır ve daha fazla küresel yapıyı koruma eğilimindedir, bu nedenle veri hacmi yüksek olduğunda daha iyi bir seçimdir.

İlgili yöntemler

Kaynaklar

  1. van der Maaten, L. & Hinton, G. (2008). Visualizing Data using t-SNE. Journal of Machine Learning Research, 9(86), 2579–2605.

    Yayın kaynağını aç
    Kopyalandı.