Skip to content
Kembali ke hasil pencarian

t-SNE

Diperkenalkan oleh
van der Maaten, L. & Hinton, G.
Tahun
2008
Jenis
Nonlinear dimensionality reduction (manifold visualization)

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

t-SNE (t-Distributed Stochastic Neighbor Embedding) adalah metode reduksi dimensi nonlinier yang diperkenalkan oleh Laurens van der Maaten dan Geoffrey Hinton pada tahun 2008 yang memetakan data berdimensi tinggi ke dalam ruang 2D atau 3D untuk visualisasi.

Metode ini mempertahankan kesamaan lokal probabilistik, sehingga titik-titik yang bertetangga di ruang asli tetap berdekatan, mengungkap struktur klaster dan lingkungan lokal.

Intuisi di balik metode

Ketika data berada dalam puluhan atau ratusan dimensi, kita tidak dapat melihatnya secara langsung. t-SNE mengajukan pertanyaan yang lebih sederhana untuk setiap pasangan titik: seberapa mungkin satu titik dipilih sebagai tetangga dari titik lain? Kemudian metode ini mengatur gambar 2D atau 3D sehingga probabilitas tetangga tersebut direproduksi seakurat mungkin. Hasilnya adalah peta di mana observasi yang sangat terkait berkumpul menjadi kelompok yang terlihat, memungkinkan mata untuk melihat kelompok yang tidak terlihat dalam tabel data mentah berdimensi tinggi.

Sejarah

t-SNE diperkenalkan oleh Laurens van der Maaten dan Geoffrey Hinton pada tahun 2008 di Journal of Machine Learning Research, dibangun di atas Stochastic Neighbor Embedding sebelumnya dengan mengganti kernel berdimensi rendah Gaussian dengan distribusi Student-t berekor berat untuk mengatasi masalah penumpukan. Metode ini dengan cepat menjadi alat standar untuk memvisualisasikan data berdimensi tinggi di seluruh machine learning, genomik, dan neurosains. Baru-baru ini, UMAP muncul sebagai alternatif yang lebih cepat yang sering kali mempertahankan lebih banyak struktur global, tetapi t-SNE tetap menjadi referensi standar untuk visualisasi eksploratif.

Kapan digunakan

Gunakan t-SNE untuk memvisualisasikan dan mengeksplorasi data kontinu berdimensi tinggi — embedding, profil ekspresi gen, fitur gambar — ketika Anda ingin melihat struktur klaster lokal dalam 2D atau 3D, dengan setidaknya sekitar 50 observasi. Ini adalah alat visual eksploratif: baca peta untuk pola pengelompokan dan lingkungan, bukan untuk inferensi kuantitatif. Standarisasi fitur terlebih dahulu, sesuaikan perplexity (aturan praktisnya sekitar n/10, dalam 5–50), dan periksa stabilitas di beberapa nilai perplexity. Pada dataset yang sangat besar, metode ini lambat, sehingga UMAP adalah alternatif yang lebih cepat.

Batasan dan pertimbangan

  • Hanya visualisasi — jarak dan ukuran klaster dalam peta tidak memiliki makna kuantitatif, sehingga tidak ada inferensi statistik yang boleh ditarik darinya.
  • Lambat pada dataset besar; UMAP adalah alternatif yang lebih cepat.
  • Hasilnya stokastik dan sangat bergantung pada perplexity, sehingga eksekusi atau pengaturan yang berbeda dapat terlihat berbeda.
  • Pada sampel kecil (n di bawah sekitar 50) embedding tidak stabil dan tidak dapat direproduksi.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Sangat baik dalam mengungkap struktur klaster lokal dan lingkungan yang terlewatkan oleh metode linier.
  • Nonlinier: menangkap struktur manifold melengkung yang tidak bisa dilakukan PCA.
  • Menghasilkan peta 2D/3D intuitif yang membuat pengelompokan berdimensi tinggi terlihat sekilas.
  • Kernel Student-t berekor berat menghindari masalah penumpukan, menjaga klaster tetap terpisah dengan baik.

Penerapan

  • Memvisualisasikan embedding berdimensi tinggi dan ruang fitur yang dipelajari dalam 2D atau 3D.
  • Mengeksplorasi struktur klaster dalam data sel tunggal atau ekspresi gen.
  • Memeriksa representasi fitur gambar atau teks dari model deep learning.
  • Analisis lingkungan eksploratif sebelum pengelompokan atau klasifikasi kuantitatif.

Cara kerjanya

Cara kerjanya

1

Untuk setiap pasangan titik dalam ruang berdimensi tinggi asli, t-SNE mengubah jarak mereka menjadi probabilitas kondisional bahwa satu titik akan memilih titik lain sebagai tetangga, menggunakan kernel Gaussian. Lebar kernel ini diatur per titik sehingga jumlah tetangga efektif sesuai dengan nilai perplexity yang dipilih (biasanya 5–50), yang mengontrol keseimbangan antara struktur lokal dan global.

Rumus
p_{j|i} = \frac{\exp(-\lVert x_i - x_j \rVert^2 / 2\sigma_i^2)}{\sum_{k \neq i}\exp(-\lVert x_i - x_k \rVert^2 / 2\sigma_i^2)}
2

Setiap titik mendapatkan posisi dalam peta berdimensi rendah, dan kesamaan pasangan di sana diukur dengan distribusi Student-t berekor berat alih-alih Gaussian. Ekor yang berat memberikan ruang bagi titik-titik yang berjauhan untuk menyebar, yang mencegah semuanya terhimpit ke tengah — 'masalah penumpukan' yang diderita oleh metode sebelumnya.

Rumus
q_{ij} = \frac{(1 + \lVert y_i - y_j \rVert^2)^{-1}}{\sum_{k \neq l}(1 + \lVert y_k - y_l \rVert^2)^{-1}}
3

t-SNE memindahkan titik-titik berdimensi rendah dengan gradient descent untuk meminimalkan divergensi Kullback–Leibler antara probabilitas tetangga berdimensi tinggi dan probabilitas berdimensi rendah. Saat biaya ini berkurang, struktur lingkungan peta menjadi cocok dengan data asli, menghasilkan tata letak klaster akhir.

Rumus
C = \mathrm{KL}(P \,\Vert\, Q) = \sum_{i \neq j} p_{ij} \log \frac{p_{ij}}{q_{ij}}

Kesalahan umum

  • Membaca ukuran klaster atau jarak antar klaster seolah-olah bermakna — padahal tidak.
  • Melewatkan standarisasi fitur sebelum menjalankan embedding.
  • Memilih satu nilai perplexity dan tidak pernah memeriksa stabilitas di nilai lain.
  • Menarik kesimpulan kuantitatif dari alat yang hanya ditujukan untuk eksplorasi visual.
  • Menjalankan t-SNE pada kurang dari ~50 observasi, di mana peta menjadi stokastik dan menyesatkan.

Pertanyaan yang sering diajukan

Apa yang dikontrol oleh perplexity?

Perplexity mengatur jumlah efektif tetangga yang dipertimbangkan oleh setiap titik, menyeimbangkan perhatian pada struktur lokal versus struktur yang lebih luas. Nilai tipikal adalah 5–50, dengan aturan praktis sekitar n/10; sebaiknya coba beberapa nilai dan periksa apakah struktur yang terlihat stabil.

Bisakah saya membaca ukuran klaster dan jarak dari plot t-SNE?

Tidak. t-SNE mempertahankan lingkungan lokal tetapi tidak geometri global, sehingga ukuran klaster dan celah antar klaster tidak bermakna secara kuantitatif. Gunakan plot untuk melihat pengelompokan, bukan untuk mengukurnya.

Bagaimana t-SNE berbeda dari PCA?

PCA adalah proyeksi linier pada arah varians maksimum dan mempertahankan struktur global, sedangkan t-SNE adalah metode nonlinier yang mempertahankan lingkungan lokal dan unggul dalam mengungkap klaster. Keduanya saling melengkapi; PCA sering digunakan sebagai langkah pra-pemrosesan sebelum t-SNE.

Haruskah saya menggunakan t-SNE atau UMAP?

Keduanya adalah metode visualisasi nonlinier. t-SNE adalah standar lama untuk struktur lokal, sedangkan UMAP lebih cepat pada dataset besar dan cenderung mempertahankan lebih banyak struktur global, sehingga merupakan pilihan yang lebih baik ketika volume data tinggi.

Metode terkait

Sumber

  1. van der Maaten, L. & Hinton, G. (2008). Visualizing Data using t-SNE. Journal of Machine Learning Research, 9(86), 2579–2605.

    Buka referensi publikasi
    Disalin.