Skip to content
Kembali ke hasil pencarian

Pohon Ekstra

Diperkenalkan oleh
Geurts, P.; Ernst, D.; Wehenkel, L.
Tahun
2006
Jenis
Ensemble (extremely randomized decision trees)
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Pohon Ekstra (Extremely Randomized Trees), diperkenalkan oleh Geurts, Ernst, dan Wehenkel pada tahun 2006, adalah sebuah ansambel pohon keputusan yang mendorong pengacakan lebih jauh daripada Random Forest.

Baik fitur kandidat maupun ambang batas pemisahan dipilih sepenuhnya secara acak pada setiap node, menghilangkan pencarian serakah atas ambang batas. Pengacakan ekstra ini mengurangi varians, sering kali menyamai atau melampaui akurasi Random Forest, dan berjalan jauh lebih cepat pada waktu pelatihan.

Intuisi di balik metode

Random Forest sudah mendekorrelasi pohon dengan mengambil sampel fitur secara acak pada setiap pemisahan, tetapi masih mencari ambang batas terbaik di antara fitur-fitur tersebut. Extra Trees melangkah lebih jauh: untuk setiap fitur kandidat, ia memilih ambang batas acak daripada mengoptimalkannya. Awalnya ini terdengar akan merusak akurasi, tetapi karena pohon yang dihasilkan bahkan lebih tidak berkorelasi satu sama lain, rata-rata ansambel membatalkan lebih banyak varians. Kerugian dari pemisahan tunggal yang buruk sangat kecil setelah Anda merata-ratakan banyak pohon, dan keuntungan kecepatan dari tidak mencari ambang batas optimal sangat besar.

Sejarah

Extra Trees diusulkan oleh Pierre Geurts, Damien Ernst, dan Louis Wehenkel dalam makalah Machine Learning tahun 2006. Para penulis menunjukkan bahwa memperkenalkan pengacakan penuh ambang batas pemisahan — daripada mencari pemotongan optimal — secara substansial mengurangi varians sambil menukar sedikit peningkatan bias. Metode ini sejak itu menjadi alternatif standar untuk Random Forest dalam ekosistem scikit-learn dan banyak digunakan sebagai baseline cepat dengan akurasi tinggi untuk tolok ukur data tabular.

Kapan digunakan

Gunakan Extra Trees ketika Anda menginginkan pelatihan cepat dan akurasi kuat pada data tabular dengan fitur kontinu atau tipe campuran. Ini sangat berguna ketika waktu pelatihan merupakan kendala — penghapusan optimasi ambang batas membuatnya jauh lebih cepat daripada Random Forest dengan akurasi yang sebanding. Ini cocok untuk tugas klasifikasi dan regresi dengan sampel sedang hingga besar (sekitar 50 atau lebih observasi). Pilih Random Forest atau gradient boosting jika Anda memerlukan perkiraan di luar kantong bawaan atau jika kebisingan data sangat tinggi dan Anda menduga ambang batas yang sepenuhnya acak merusak akurasi. Untuk kumpulan data yang sangat kecil, model yang lebih sederhana seperti regresi logistik atau pohon keputusan tunggal lebih aman dan lebih dapat diinterpretasikan.

Batasan dan pertimbangan

  • Tidak ada perkiraan di luar kantong bawaan (tidak seperti Random Forest), sehingga validasi silang diperlukan untuk penilaian kesalahan yang tidak bias.
  • Ambang batas yang sepenuhnya acak dapat merusak data yang sangat bising di mana pemisahan optimal informatif.
  • Kotak hitam: tidak memberikan koefisien eksplisit, membatasi interpretasi untuk audiens yang mengharapkan ukuran efek.
  • Penggunaan memori tumbuh dengan jumlah pohon dan kedalaman pohon.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Pelatihan lebih cepat daripada Random Forest karena tidak ada optimasi ambang batas yang dilakukan pada setiap pemisahan.
  • Keanekaragaman tinggi di antara pohon mengarah pada pengurangan varians yang kuat dan sering kali menyamai atau mengalahkan akurasi Random Forest.
  • Menangani tipe fitur campuran dan interaksi nonlinier tanpa asumsi pra-pemrosesan.
  • Menyediakan kepentingan fitur asli untuk pemeringkatan dan pemilihan variabel.
  • Skala dengan baik ke data berdimensi tinggi dengan banyak fitur yang tidak relevan.

Penerapan

  • Baseline klasifikasi dan regresi cepat pada data tabular.
  • Pemilihan fitur dan pemeringkatan kepentingan dalam kumpulan data berdimensi tinggi.
  • Pemodelan prediktif dalam bioinformatika, penginderaan jauh, dan analisis data sensor.
  • Pencarian hyperparameter pipeline di mana kecepatan pelatihan sangat penting.
  • Skenario data skala besar di mana waktu pelatihan Random Forest memberatkan.

Cara kerjanya

Cara kerjanya

1

Berbeda dengan Random Forest, Extra Trees secara default melatih setiap pohon pada seluruh set pelatihan daripada sampel bootstrap. Ini mengurangi bias yang diperkenalkan oleh pengambilan sampel tetapi berarti tidak ada set di luar kantong (out-of-bag) bawaan; oleh karena itu, validasi silang diperlukan untuk estimasi kesalahan yang jujur.

2

Pada setiap node internal, subset fitur acak ditarik. Untuk setiap fitur kandidat, ambang batas pemisahan diambil sampelnya secara seragam secara acak dari rentang nilai fitur tersebut yang diamati — tidak ada pencarian titik potong optimal yang dilakukan. Pasangan fitur-ambang batas yang menghasilkan skor terbaik (misalnya, pengurangan ketidakmurnian Gini) di antara kandidat acak tersebut dipilih.

3

Pohon ditumbuhkan hingga kedalaman penuh secara default, yang berarti daun semurni mungkin. Kedalaman penuh, dikombinasikan dengan pemisahan acak, adalah apa yang menurunkan varians di seluruh ansambel: pohon individu memiliki varians tinggi tetapi sangat beragam.

4

Prediksi dari semua pohon digabungkan: suara mayoritas untuk klasifikasi dan rata-rata keluaran untuk regresi. Keanekaragaman yang kuat di antara pohon berarti bahwa kesalahan individu cenderung saling meniadakan, membuat ansambel lebih stabil daripada pohon tunggal mana pun.

Rumus
\hat{y} = \text{mode/mean of } T \text{ trees}

Kesalahan umum

  • Melewatkan validasi silang dan mengandalkan akurasi dalam sampel, karena tidak ada perkiraan OOB yang dihasilkan secara default.
  • Mengabaikan ketidakseimbangan kelas — gunakan class_weight='balanced' atau resampling sebelum fitting.
  • Melaporkan hanya akurasi tanpa metrik pelengkap seperti F1, AUC, atau RMSE.
  • Memperlakukan peringkat kepentingan fitur sebagai stabil tanpa memeriksa reproduktifitas di seluruh seed.

Pertanyaan yang sering diajukan

Bagaimana Extra Trees berbeda dari Random Forest?

Keduanya adalah ansambel pohon keputusan dengan subset fitur acak pada setiap pemisahan. Perbedaan utamanya adalah bahwa Extra Trees memilih ambang batas pemisahan sepenuhnya secara acak daripada mengoptimalkannya, dan secara default melatih pada seluruh set pelatihan daripada sampel bootstrap. Ini membuat Extra Trees lebih cepat dan biasanya menghasilkan pohon yang lebih beragam dan kurang berkorelasi.

Mana yang harus saya pilih — Extra Trees atau Random Forest?

Ketika kecepatan pelatihan penting atau data relatif bersih, Extra Trees sering kali menyamai atau melampaui akurasi Random Forest dengan biaya komputasi yang lebih rendah. Jika Anda menginginkan perkiraan di luar kantong bawaan atau data Anda bising (di mana ambang batas pemisahan yang lebih baik membantu), Random Forest lebih aman.

Berapa banyak pohon yang saya butuhkan?

Mulai dengan 100 pohon dan tingkatkan hingga kinerja stabil pada set validasi atau dalam validasi silang. Lebih banyak pohon meningkatkan stabilitas tetapi meningkatkan latensi memori dan prediksi.

Apakah Extra Trees mengalami overfitting?

Pohon individu ditumbuhkan hingga kedalaman penuh dan dapat mengalami overfitting secara terisolasi, tetapi rata-rata ansambel sangat mengurangi varians. Overfitting ansambel penuh umumnya jarang terjadi, meskipun pada kumpulan data yang sangat kecil dengan banyak fitur, itu masih bisa terjadi.

Bagaimana cara menilai kinerja model tanpa set OOB?

Gunakan validasi silang k-lipat — biasanya 5 atau 10 lipatan. Evaluasi tugas klasifikasi dengan akurasi, F1, dan AUC; evaluasi tugas regresi dengan RMSE dan R-squared.

Metode terkait

Sumber

  1. Geurts, P., Ernst, D. & Wehenkel, L. (2006). Extremely randomized trees. Machine Learning, 63(1), 3–42.

    Buka referensi DOI
    Disalin.
  2. Extra-Trees. Wikipedia.

    Buka referensi publikasi
    Disalin.