Skip to content
Kembali ke hasil pencarian

UMAP

Diperkenalkan oleh
McInnes, L.; Healy, J.; Melville, J.
Tahun
2018
Jenis
Nonlinear manifold-learning dimension reduction

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

UMAP (Uniform Manifold Approximation and Projection) adalah metode reduksi dimensi nonlinier yang cepat dan terukur, didasarkan pada teori pembelajaran manifold, yang diperkenalkan oleh McInnes, Healy dan Melville pada tahun 2018.

Metode ini mengompresi data berdimensi tinggi ke dalam penyematan berdimensi rendah untuk visualisasi dan analisis hilir.

Intuisi di balik metode

Data riil dengan banyak fitur sering kali terletak pada permukaan melengkung berdimensi jauh lebih rendah, atau manifold, yang tertanam dalam ruang berdimensi tinggi. UMAP mencoba mempelajari bentuk permukaan tersebut dari bagaimana titik-titik mengelompok di dekat tetangganya, kemudian membukanya ke dalam dua atau tiga dimensi sehingga strukturnya menjadi terlihat. Dibandingkan dengan t-SNE, UMAP cenderung mempertahankan lebih banyak tata letak global sambil tetap jauh lebih cepat pada dataset besar.

Sejarah

UMAP diperkenalkan pada tahun 2018 oleh Leland McInnes, John Healy dan James Melville, yang membangunnya di atas teori pembelajaran manifold sebagai alternatif yang lebih cepat dan lebih terukur daripada t-SNE. Metode ini dengan cepat menjadi alat standar untuk reduksi dimensi dan visualisasi, terutama di bidang dengan data berdimensi sangat tinggi, karena metode ini mempertahankan lebih banyak struktur global sambil diskalakan ke dataset besar.

Kapan digunakan

Gunakan UMAP untuk memvisualisasikan atau mengompresi data kontinu berdimensi tinggi pada setidaknya sekitar 50 observasi, baik untuk eksplorasi atau sebagai langkah pra-pemrosesan sebelum klasifikasi. Hiperparameter n_neighbors dan min_dist harus disesuaikan dengan struktur yang Anda pedulikan, dan random_state harus ditetapkan untuk reprodusibilitas. Di bawah sekitar 50 observasi, manifold tidak dapat dipelajari secara andal dan PCA linier adalah pilihan yang lebih aman.

Batasan dan pertimbangan

  • Jarak antar kluster dalam penyematan bisa menyesatkan dan tidak boleh diinterpretasikan secara berlebihan.
  • Hasil bergantung pada hiperparameter n_neighbors dan min_dist, yang harus disesuaikan.
  • Keluaran tidak deterministik kecuali random_state ditetapkan.
  • Pada sampel kecil (n di bawah sekitar 50) manifold tidak dapat dipelajari secara andal dan visual menjadi menyesatkan; PCA lebih disukai.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Cepat dan terukur untuk dataset besar, jauh lebih cepat daripada t-SNE.
  • Mempertahankan struktur global lebih baik daripada t-SNE sambil tetap menangkap kluster lokal.
  • Menangkap struktur nonlinier yang tidak dapat ditangkap oleh metode linier seperti PCA.
  • Menghasilkan penyematan 2 atau 3 dimensi yang cocok untuk visualisasi.

Penerapan

  • Memvisualisasikan data kontinu berdimensi tinggi dalam dua atau tiga dimensi.
  • Analisis eksploratif untuk mengungkap kluster dan struktur sebelum pemodelan formal.
  • Reduksi dimensi sebagai langkah pra-pemrosesan sebelum klasifikasi.
  • Mengompresi dataset besar dengan fitur banyak di mana kecepatan penting.

Cara kerjanya

Cara kerjanya

1

UMAP pertama-tama membangun graf tetangga berbobot dari data berdimensi tinggi: setiap titik terhubung ke tetangga terdekatnya, dikendalikan oleh hiperparameter n_neighbors, yang mengatur seberapa banyak struktur lokal versus global yang ditangkap. Graf ini adalah aproksimasi UMAP dari manifold yang mendasarinya.

2

Tata letak berdimensi rendah kemudian dioptimalkan sehingga graf tetangganya sendiri cocok dengan graf berdimensi tinggi sedekat mungkin, dengan meminimalkan entropi silang antara kedua representasi graf. Hiperparameter min_dist mengatur seberapa rapat titik-titik diizinkan untuk berkumpul, membentuk kepadatan kluster yang dihasilkan.

Rumus
Y = \arg\min_{Y} \; \text{cross-entropy}(G_{\text{high}}, G_{\text{low}})
3

Hasilnya adalah penyematan 2 atau 3 dimensi di mana observasi yang serupa berada berdekatan, siap untuk diplot atau dimasukkan ke dalam pengelompokan atau klasifikasi. Bentuk kluster dipertahankan, tetapi jarak antar kluster harus dibaca dengan hati-hati, dan random_state yang tetap diperlukan untuk keluaran yang dapat direproduksi.

Kesalahan umum

  • Membaca jarak antar kluster seolah-olah itu adalah kuantitas yang bermakna.
  • Meninggalkan n_neighbors dan min_dist pada default alih-alih menyesuaikannya dengan data.
  • Lupa mengatur random_state, sehingga penyematan tidak dapat direproduksi.
  • Menjalankan UMAP pada kurang dari sekitar 50 observasi dan mempercayai plot yang dihasilkan.

Pertanyaan yang sering diajukan

Bagaimana UMAP berbeda dari t-SNE?

Keduanya adalah metode nonlinier untuk memvisualisasikan data berdimensi tinggi, tetapi UMAP dibangun di atas teori pembelajaran manifold, cenderung mempertahankan struktur global dengan lebih baik, dan jauh lebih cepat pada dataset besar.

Bisakah saya menginterpretasikan jarak antar kluster dalam plot?

Berhati-hatilah. UMAP mempertahankan bentuk kluster, tetapi jarak antar kluster bisa menyesatkan dan tidak boleh dibaca sebagai kuantitas yang tepat.

Hiperparameter mana yang paling penting?

n_neighbors mengontrol keseimbangan antara struktur lokal dan global, dan min_dist mengontrol seberapa rapat titik-titik berkumpul. Keduanya harus disesuaikan, dan random_state harus ditetapkan sehingga penyematan dapat direproduksi.

Bagaimana jika saya memiliki sangat sedikit observasi?

Di bawah sekitar 50 observasi, manifold tidak dapat dipelajari secara andal dan penyematan menjadi menyesatkan. Dalam kasus tersebut, metode linier seperti PCA adalah pilihan yang lebih aman.

Metode terkait

Sumber

  1. McInnes, L., Healy, J. & Melville, J. (2018). UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. arXiv:1802.03426.

    Buka referensi publikasi
    Disalin.