Skip to content
Kembali ke hasil pencarian

Generalisasi Bertumpuk

Diperkenalkan oleh
David Wolpert
Tahun
1992
Jenis
meta-learning aggregation
Keluarga
Ensemble

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Generalisasi bertumpuk, atau *stacking*, adalah metode ansambel dua tingkat di mana pengklasifikasi tingkat dasar dilatih pada data asli, dan pembelajar meta dilatih pada prediksi pengklasifikasi dasar.

Pembelajar meta belajar cara terbaik menggabungkan prediksi dasar daripada menggunakan aturan agregasi tetap. Diperkenalkan oleh David Wolpert pada tahun 1992, *stacking* mencapai kinerja *state-of-the-art* dengan secara otomatis mempelajari bobot optimal dan pola interaksi di antara model dasar.

Intuisi di balik metode

Stacking mengatasi keterbatasan mendasar dari pemungutan suara sederhana: tidak semua pengklasifikasi dasar memiliki akurasi yang sama, dan aturan tetap mengabaikan hal ini. Alih-alih pemungutan suara mayoritas atau rata-rata sederhana, *stacking* melatih model tingkat kedua yang belajar untuk lebih mempercayai pengklasifikasi dasar berkinerja tinggi dan tidak mempercayai yang tidak dapat diandalkan. Pembelajar meta melihat pola dalam prediksi dasar dan belajar kapan harus menggabungkannya. Anggap saja seperti mengajari pengambil keputusan untuk mengenali ahli mana yang harus dipercaya dalam situasi yang berbeda.

Sejarah

Stacking diformalkan oleh David Wolpert pada tahun 1992 dan diperluas oleh Breiman (1996) untuk regresi. Teknik ini tetap relatif khusus sampai kompetisi pembelajaran mesin (Kaggle, Netflix Prize) menunjukkan efektivitasnya. Varian modern seperti *super-learner* (Van der Laan & Polley, 2007) dan *blending* lebih menyempurnakan pendekatan ini. Stacking sekarang menjadi teknik standar dalam pembelajaran ansambel, terutama dalam pembelajaran mesin kompetitif.

Kapan digunakan

Gunakan *stacking* ketika Anda memiliki pengklasifikasi dasar yang beragam dengan akurasi individu sedang dan ingin mengoptimalkan kombinasinya. Ini sangat efektif ketika model dasar memiliki kekuatan dan kelemahan yang berbeda (misalnya, pohon keputusan, jaringan saraf, SVM). Hindari *stacking* jika pengklasifikasi dasar sangat berkorelasi atau jika biaya komputasi sangat penting, karena *stacking* memerlukan pelatihan model meta tambahan.

Batasan dan pertimbangan

  • Memerlukan desain yang cermat untuk menghindari *overfitting*: pembelajar meta dapat menghafal prediksi dasar jika tidak divalidasi dengan benar.
  • Peningkatan biaya komputasi: melatih K+1 model alih-alih hanya K.
  • Pemilihan pembelajar meta seringkali spesifik masalah; tidak ada pilihan terbaik universal.
  • Interpretasi berkurang seiring peningkatan kompleksitas—sulit untuk memahami logika pengambilan keputusan akhir.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Mempelajari bobot agregasi optimal secara otomatis, mengungguli aturan pemungutan suara tetap.
  • Beradaptasi dengan kekuatan dan kelemahan pengklasifikasi dasar individual.
  • Menangani pembelajar dasar yang heterogen (algoritma, hiperparameter yang berbeda).
  • Sering mencapai kinerja *state-of-the-art* dalam kompetisi pembelajaran mesin.

Penerapan

  • Analisis citra medis: menumpuk CNN, *random forest*, dan *gradient boosting* untuk mendiagnosis penyakit dari X-ray dan MRI.
  • Peramalan keuangan: menggabungkan prediksi ARIMA, jaringan saraf, dan SVM untuk meramal harga saham atau risiko kredit.
  • Pemrosesan bahasa alami: menumpuk BERT, GPT, dan pengklasifikasi fitur buatan tangan untuk klasifikasi teks dan analisis sentimen.
  • Kompetisi Kaggle: solusi pemenang sering kali menggunakan *stacking* canggih dari 50+ model dasar dengan beberapa pembelajar meta.
  • Sistem rekomendasi: menumpuk *collaborative filtering*, berbasis konten, dan model saraf untuk memprediksi preferensi pengguna.

Cara kerjanya

Cara kerjanya

1

Latih K pengklasifikasi dasar yang beragam (model level-0) pada data pelatihan asli menggunakan algoritma atau sampel data yang berbeda.

2

Hasilkan meta-fitur dengan memasukkan data pelatihan melalui setiap pengklasifikasi dasar dan mengumpulkan prediksinya. Prediksi ini membentuk kumpulan data pelatihan baru untuk pembelajar meta.

3

Latih pembelajar meta (model level-1, biasanya model sederhana seperti regresi logistik) pada meta-fitur untuk mempelajari bobot kombinasi optimal.

4

Untuk memprediksi sampel baru: pertama, masukkan melalui semua pengklasifikasi dasar, kumpulkan prediksinya sebagai meta-fitur, lalu masukkan melalui pembelajar meta untuk menghasilkan prediksi akhir.

Kesalahan umum

  • Melatih pembelajar meta pada prediksi dari data yang sama dengan tempat pengklasifikasi dasar dilatih (kebocoran informasi). Gunakan validasi silang k-lipatan (*k-fold cross-validation*) atau set data validasi terpisah (*holdout validation set*).
  • Memilih pembelajar meta yang terlalu kompleks dibandingkan dengan jumlah pengklasifikasi dasar (misalnya, pembelajar meta *random forest* dengan hanya 3 prediksi dasar).
  • Mengabaikan untuk memastikan pengklasifikasi dasar cukup beragam—*stacking* memperkuat korelasi daripada menguranginya.
  • Melakukan *over-tuning* hiperparameter pembelajar meta, yang dapat menyebabkan *overfitting* pada meta-fitur validasi.

Pertanyaan yang sering diajukan

Bagaimana cara menghindari *overfitting* dalam *stacking*?

Gunakan validasi silang k-lipatan (*k-fold cross-validation*) untuk menghasilkan meta-fitur: prediksi pengujian setiap lipatan menjadi data meta-pelatihan. Ini mencegah pembelajar meta melihat prediksi pada data yang digunakan untuk melatih pengklasifikasi dasar. Selalu gunakan set data validasi terpisah (*hold-out validation set*) untuk evaluasi akhir.

Model apa yang harus saya gunakan sebagai pembelajar meta?

Model sederhana sering kali bekerja paling baik: regresi logistik, regresi linier, atau pohon keputusan kecil. Pembelajar meta yang kompleks (*random forest*, jaringan saraf) berisiko *overfitting* pada meta-fitur. Mulailah dengan yang sederhana dan hanya tambahkan kompleksitas jika kinerja validasi stagnan.

Haruskah pengklasifikasi dasar dilatih pada data yang sama?

Tidak. Pengklasifikasi dasar yang beragam yang dilatih pada sampel data yang berbeda (*bagging*) atau dengan algoritma yang berbeda meningkatkan generalisasi pembelajar meta. Pengklasifikasi dasar yang identik menghasilkan prediksi yang identik, tidak memberikan informasi yang berguna kepada pembelajar meta.

Bisakah saya menggunakan *stacking* dengan regresi dan klasifikasi?

Ya. Untuk regresi, pembelajar meta memprediksi nilai kontinu dari keluaran regressor dasar. Untuk klasifikasi, ia memprediksi kelas dari skor probabilitas pengklasifikasi dasar. Prinsipnya identik.

Metode terkait

Sumber

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241-259.

    Buka referensi DOI
    Disalin.
  2. Breiman, L. (1996). Stacked regressions. Machine Learning, 24(1), 49-64.

    Buka referensi DOI
    Disalin.