Pengelompokan Hirarkis
- Diperkenalkan oleh
- Ward, J. H.
- Tahun
- 1963
- Jenis
- Unsupervised clustering (agglomerative)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Pengelompokan hirarkis adalah metode tanpa pengawasan yang mengelompokkan observasi ke dalam kluster bersarang dan menampilkan hasilnya sebagai dendrogram, sehingga jumlah kluster tidak perlu ditetapkan sebelumnya.
Bentuk aglomeratifnya bertumpu pada kriteria pengelompokan fungsi objektif yang diperkenalkan oleh Joe Ward pada tahun 1963.
Intuisi di balik metode
Bayangkan setiap observasi dimulai sebagai kelompok kecilnya sendiri. Pada setiap langkah, dua kelompok yang paling mirip digabungkan, lalu dua berikutnya, dan seterusnya, sampai semuanya bergabung menjadi satu pohon. Memotong pohon itu pada ketinggian yang berbeda memberi Anda jumlah kluster yang berbeda, sehingga Anda dapat memutuskan seberapa halus data akan dibagi setelah melihat strukturnya daripada berkomitmen pada jumlah yang tetap sebelumnya.
Sejarah
Bentuk aglomeratif pengelompokan hirarkis ditempatkan pada pijakan formal oleh Joe H. Ward pada tahun 1963, yang membingkai penggabungan kluster sebagai optimasi fungsi objektif — meminimalkan peningkatan varians dalam kelompok pada setiap penggabungan. Tautan Ward tetap menjadi salah satu kriteria yang paling banyak digunakan, dan dendrogram yang dihasilkannya adalah alat eksploratif standar di seluruh ilmu sosial, kesehatan, dan bisnis.
Kapan digunakan
Gunakan untuk pengelompokan eksploratif ketika Anda ingin menemukan struktur tanpa menentukan jumlah kluster sebelumnya, pada fitur kontinu, ordinal, atau kategorikal dengan setidaknya sekitar 10 observasi. Ini ringan asumsi tetapi bergantung pada dua pilihan: metrik jarak yang sesuai dan metode tautan yang sesuai. Di bawah sekitar 10 observasi, matriks jarak tidak dapat diandalkan dan dendrogram tidak dapat menunjukkan struktur yang bermakna, sehingga K-means adalah alternatif yang lebih aman; pada sampel yang sangat kecil, hasilnya menjadi terlalu sensitif terhadap metode tautan dan keanggotaan kluster tidak stabil.
Batasan dan pertimbangan
- Hasil sangat bergantung pada metrik jarak dan metode tautan yang dipilih, yang merupakan keputusan pengguna.
- Pada sampel kecil, keanggotaan kluster tidak stabil dan terlalu sensitif terhadap metode tautan.
- Dengan kurang dari sekitar 10 observasi, matriks jarak tidak dapat diandalkan dan dendrogram tidak menunjukkan struktur yang bermakna.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Tidak memerlukan jumlah kluster untuk ditetapkan sebelumnya — Anda membacanya dari dendrogram.
- Dendrogram memberikan peta visual yang dapat diinterpretasikan tentang bagaimana kluster bersarang pada tingkat kesamaan yang berbeda.
- Ringan asumsi: tidak ada persyaratan normalitas, dan mengakomodasi fitur kontinu, ordinal, dan kategorikal melalui pilihan jarak.
- Berfungsi sebagai alat eksploratif untuk mengungkap struktur sebelum berkomitmen pada partisi.
Penerapan
- Segmentasi eksploratif observasi ketika jumlah kelompok tidak diketahui.
- Membangun dendrogram untuk memvisualisasikan bagaimana kasus bersarang pada tingkat kesamaan yang berbeda.
- Mengelompokkan responden, sampel, atau unit pada fitur campuran kontinu, ordinal, dan kategorikal.
- Menghasilkan jumlah kluster kandidat untuk menginformasikan metode partisi selanjutnya.
Cara kerjanya
Cara kerjanya
Pertama, jarak dihitung antara setiap pasangan observasi menggunakan metrik jarak yang dipilih, menghasilkan matriks jarak. Pilihan metrik penting: ia mendefinisikan apa yang dianggap 'mirip', dan fitur kontinu, ordinal, dan kategorikal mungkin memerlukan definisi jarak yang berbeda.
Dimulai dari setiap observasi sebagai klusternya sendiri, algoritma berulang kali menggabungkan dua kluster yang paling dekat sesuai dengan metode tautan yang dipilih. Kriteria Ward, misalnya, menggabungkan pasangan yang menghasilkan peningkatan terkecil dalam jumlah kuadrat dalam kluster, menjaga kluster yang dihasilkan sekecil mungkin. Pilihan tautan sangat membentuk pengelompokan akhir.
Rumus
\Delta(A,B) = \sum_{i \in A \cup B} \lVert x_i - m_{A \cup B}\rVert^2 - \sum_{i \in A}\lVert x_i - m_A\rVert^2 - \sum_{i \in B}\lVert x_i - m_B\rVert^2Urutan penggabungan dicatat sebagai dendrogram, sebuah pohon yang ketinggian cabangnya menunjukkan jarak di mana kluster bergabung. Memotong dendrogram pada ketinggian yang dipilih menghasilkan penugasan kluster, sehingga jumlah kluster dibaca dari pohon daripada ditentukan sebelumnya.
Kesalahan umum
- Menjalankannya pada kurang dari sekitar 10 observasi, di mana matriks jarak dan dendrogram tidak dapat dipercaya.
- Memilih metrik jarak dan metode tautan tanpa justifikasi dan memperlakukan hasilnya sebagai definitif.
- Mempercayai keanggotaan kluster yang tidak stabil pada sampel kecil alih-alih beralih ke K-means atau campuran Gaussian.
- Memaksakan jumlah kluster tetap sebelum memeriksa titik potong alami dendrogram.
Pertanyaan yang sering diajukan
Apakah saya perlu memilih jumlah kluster terlebih dahulu?
Tidak. Pengelompokan hirarkis membangun pohon penggabungan penuh apa pun yang terjadi, dan Anda memutuskan jumlah kluster setelahnya dengan memotong dendrogram pada ketinggian yang dipilih — itu adalah salah satu keuntungan utamanya dibandingkan metode seperti K-means.
Metrik jarak dan tautan mana yang harus saya gunakan?
Keduanya adalah pilihan yang disengaja yang sangat membentuk hasil. Metrik jarak harus sesuai dengan jenis fitur Anda, dan tautan Ward adalah default umum karena menjaga kluster tetap kompak dengan meminimalkan peningkatan varians dalam kluster pada setiap penggabungan.
Berapa banyak observasi yang saya butuhkan?
Setidaknya sekitar 10. Di bawah itu, matriks jarak tidak dapat diandalkan dan dendrogram tidak dapat mengungkapkan struktur yang bermakna, sehingga K-means adalah alternatif yang lebih aman.
Mengapa kluster saya tidak stabil?
Pada sampel kecil, hasilnya terlalu sensitif terhadap metode tautan, sehingga keanggotaan kluster bergeser dengan perubahan kecil. Dalam situasi tersebut, pertimbangkan K-means atau model campuran Gaussian sebagai gantinya.
Metode terkait
Sumber
Ward, J. H. (1963). Hierarchical Grouping to Optimize an Objective Function. Journal of the American Statistical Association, 58(301), 236–244.
Buka referensi DOIDisalin.