Random Forest
- Diperkenalkan oleh
- Breiman, L.
- Tahun
- 2001
- Jenis
- Ensemble (bagging of decision trees)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Random Forest adalah metode pembelajaran ansambel, yang diperkenalkan oleh Leo Breiman pada tahun 2001, yang menumbuhkan banyak pohon keputusan pada sampel bootstrap dari data dan menggabungkan suara mereka untuk menghasilkan klasifikasi dan regresi yang kuat.
Dengan menggabungkan banyak pohon yang sedikit berbeda, ia menghasilkan prediksi yang lebih akurat dan lebih stabil daripada pohon tunggal mana pun.
Intuisi di balik metode
Pohon keputusan tunggal yang tumbuh dalam-dalam sangat cocok dengan data pelatihan tetapi tidak stabil: perubahan kecil pada data dapat menghasilkan pohon yang sangat berbeda. Random Forest mengatasi hal ini dengan membangun banyak pohon, masing-masing pada tampilan data acak yang sedikit berbeda, dan membiarkan mereka memilih. Kesalahan pohon individu cenderung saling meniadakan, sehingga prediksi gabungan jauh lebih andal daripada salah satu pohon sendirian.
Sejarah
Random Forest diusulkan oleh Leo Breiman pada tahun 2001, menggabungkan agregasi bootstrap dengan pemilihan fitur acak pada setiap pemisahan. Ia menjadi salah satu metode pembelajaran mesin siap pakai yang paling banyak digunakan dan andal untuk data tabular, dan merupakan referensi standar dalam teks seperti An Introduction to Statistical Learning (Bab 8). Baru-baru ini, alat seperti nilai SHAP telah membawa interpretasinya lebih dekat ke regresi logistik, meningkatkan penerimaannya di ilmu sosial.
Kapan digunakan
Cocok untuk klasifikasi, regresi, atau prediksi yang akurat dan kuat pada data tabular dengan banyak fitur — kemungkinan nonlinier dan interaktif — dan setidaknya sekitar 50 observasi, ketika kinerja prediktif lebih penting daripada melaporkan koefisien eksplisit. Random Forest ringan asumsi: ia tidak memerlukan data yang terdistribusi normal dan menangani fitur kontinu, kategorikal, biner, ordinal, dan hitungan. Penyetelan hyperparameter direkomendasikan. Ketika ukuran sampel jatuh di bawah sekitar 50, model yang lebih sederhana seperti regresi logistik atau linier lebih aman.
Batasan dan pertimbangan
- Tidak ada koefisien untuk ditafsirkan; sifat kotak hitamnya dapat bertentangan dengan peninjau yang mengharapkan efek eksplisit.
- Penyetelan hyperparameter direkomendasikan, dan hutan besar memakan memori dan komputasi.
- Pada sampel kecil (n di bawah sekitar 50) banyak pohon overfitting dan hasil validasi silang menjadi menyesatkan.
- Perkiraan pentingnya fitur bisa tidak stabil dan tidak dapat direproduksi pada ukuran sampel kecil.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Akurasi siap pakai yang kuat pada data tabular untuk klasifikasi dan regresi.
- Tahan terhadap overfitting berkat bagging ditambah pemilihan fitur acak pada setiap pemisahan.
- Pentingnya fitur bawaan mengintegrasikan peringkat variabel langsung ke dalam model.
- Kesalahan di luar kantong memberikan perkiraan validasi yang jujur tanpa melewati validasi silang terpisah.
- Ringan asumsi: tidak ada persyaratan normalitas, dan ia menangani campuran tipe fitur dan interaksi nonlinier.
Penerapan
- Klasifikasi dan regresi pada data tabular dengan banyak fitur.
- Pemilihan dan peringkat variabel melalui pentingnya fitur asli.
- Penilaian risiko dan prediksi di mana ketahanan lebih penting daripada koefisien eksplisit.
- Pemodelan dasar sebelum mencoba ansambel yang lebih kompleks seperti gradient boosting.
Cara kerjanya
Cara kerjanya
Banyak sampel bootstrap ditarik dari set pelatihan — masing-masing adalah sampel acak yang diambil dengan penggantian, sehingga pohon melihat data yang sedikit berbeda. Observasi yang ditinggalkan dari sampel tertentu (set di luar kantong) memberikan perkiraan validasi bawaan tanpa memerlukan lipatan penahan terpisah.
Pada setiap pemisahan di setiap pohon, hanya subset acak dari fitur yang tersedia yang dipertimbangkan sebagai kandidat. Pemilihan fitur acak ini mendekorasi pohon sehingga tidak semuanya terpaku pada prediktor dominan yang sama, yang memungkinkan ansambel memotong varians di bawah pohon tunggal mana pun.
Setiap pohon membuat prediksinya sendiri, dan hutan menggabungkannya: suara mayoritas di antara pohon untuk klasifikasi, atau rata-rata keluaran mereka untuk regresi. Agregasi ini yang mengubah banyak pohon yang berisik menjadi satu prediktor yang kuat.
Rumus
\hat{y} = \text{mode/mean of } T \text{ trees}Kesalahan umum
- Melewatkan pemisahan latih/uji atau validasi silang dan mempercayai kinerja dalam sampel.
- Mengabaikan ketidakseimbangan kelas alih-alih menimbang ulang kelas (class_weight='balanced') atau mengambil sampel ulang.
- Melaporkan hanya akurasi tanpa F1 dan AUC bersamanya.
- Memperlakukan peringkat pentingnya fitur sampel kecil sebagai stabil.
- Menerima hyperparameter default secara membabi buta alih-alih menyetel jumlah pohon.
Pertanyaan yang sering diajukan
Berapa banyak pohon yang harus dimiliki hutan?
Lebih banyak pohon mengurangi varians dan menstabilkan suara dengan mengorbankan komputasi dan memori. Titik awal yang umum adalah sekitar 100 pohon, meningkat sampai kesalahan di luar kantong berhenti membaik.
Apakah Random Forest overfitting?
Ia sangat tahan terhadap overfitting karena bagging dan pemilihan fitur acak mendekorasi pohon dan merata-ratakan kesalahan individu mereka. Risiko utama adalah mencocokkan banyak pohon dalam pada dataset yang sangat kecil, di mana model overfitting dan validasi silang menjadi menyesatkan.
Bisakah saya mempercayai pentingnya fitur?
Pentingnya fitur berguna untuk memberi peringkat prediktor, tetapi pada ukuran sampel kecil ia bisa tidak stabil dan tidak dapat direproduksi, jadi perlakukan peringkat sampel kecil dengan hati-hati. Memasangkannya dengan analisis SHAP memberikan pandangan yang lebih jelas tentang kontribusi setiap fitur.
Apa yang harus saya periksa sebelum dan sesudah pemasangan?
Sebelumnya, tangani nilai yang hilang, enkode variabel kategorikal, dan siapkan pemisahan latih/uji atau validasi silang k-lipatan. Sesudahnya, evaluasi kesalahan di luar kantong, jalankan validasi silang, dan periksa kontribusi fitur (misalnya dengan SHAP).
Metode terkait
Sumber
Breiman, L. (2001). Random Forests. Machine Learning, 45, 5–32.
Buka referensi DOIDisalin.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8). Springer.
ISBN: 978-1-4614-7138-7Disalin.