Pohon Keputusan
- Diperkenalkan oleh
- Breiman, Friedman, Olshen & Stone
- Tahun
- 1984
- Jenis
- Recursive partitioning (if-then rules)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Pohon Keputusan adalah metode klasifikasi dan regresi yang dapat diinterpretasikan, diformalkan oleh Breiman, Friedman, Olshen, dan Stone dalam kerangka CART mereka tahun 1984, yang mempartisi data dengan aturan jika-maka hierarkis.
Setiap pemisahan mengirim observasi ke satu cabang atau cabang lain hingga prediksi dibaca dari daun.
Intuisi di balik metode
Anggap pohon keputusan sebagai diagram alur pertanyaan ya/tidak. Dimulai dari semua data, pohon berulang kali menanyakan satu pertanyaan tentang satu fitur yang paling baik memisahkan kasus — misalnya, 'apakah usia di atas 40?' — dan membagi data menjadi dua kelompok. Pohon terus membagi setiap kelompok hingga kasus di dalamnya cukup homogen, dan kelompok akhir (daun) memberikan prediksi. Rangkaian pertanyaan dari akar ke daun adalah aturan yang dapat diikuti oleh siapa pun.
Sejarah
Pohon keputusan ditempatkan pada dasar yang kuat oleh Leo Breiman, Jerome Friedman, Richard Olshen, dan Charles Stone dalam monograf mereka tahun 1984 Classification and Regression Trees, yang memperkenalkan algoritma CART dan penggunaannya untuk mengukur ketidakmurnian seperti indeks Gini. Struktur jika-maka yang transparan menjadikan pohon sebagai pokok analisis terapan, dan kemudian menjadi blok bangunan inti dari ensemble yang lebih kuat — dibagging menjadi Random Forests dan ditingkatkan dalam Gradient Boosting — di mana banyak pohon digabungkan untuk mengatasi ketidakstabilan satu pohon pun.
Kapan digunakan
Gunakan pohon keputusan ketika Anda menginginkan model yang dapat diinterpretasikan untuk klasifikasi, prediksi, atau penjelasan pada data tabular cross-sectional dengan setidaknya sekitar 30 observasi, mencampur fitur kontinu, kategorikal, biner, dan ordinal. Tidak diperlukan penskalaan fitur dan aturan mudah dikomunikasikan. Di bawah sekitar 30 kasus, pohon mudah mengalami overfitting — daun dapat menampung satu observasi — dan model yang lebih sederhana dan lebih stabil seperti regresi logistik atau naive Bayes lebih aman.
Batasan dan pertimbangan
- Rentan terhadap overfitting kecuali dipangkas melalui max_depth atau min_samples_leaf.
- Pada sampel kecil (n di bawah sekitar 30) pohon mudah mengalami overfitting, dengan daun yang mungkin berisi satu observasi.
- Setelah pemangkasan, pohon sampel kecil mungkin mempertahankan terlalu sedikit pemisahan untuk berguna, di mana regresi logistik lebih stabil.
- Satu pohon tidak stabil — perubahan data kecil dapat menghasilkan struktur yang sangat berbeda.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Sangat dapat diinterpretasikan: jalur dari akar ke daun adalah aturan jika-maka yang jelas.
- Tidak diperlukan penskalaan fitur; menangani fitur kontinu, kategorikal, biner, dan ordinal secara langsung.
- Tingkat kesulitan rendah — cocok bahkan untuk pengguna pemula.
- Berfungsi sebagai blok bangunan untuk ensemble seperti Random Forest dan Gradient Boosting.
Penerapan
- Klasifikasi data tabular cross-sectional yang dapat diinterpretasikan.
- Prediksi dan segmentasi risiko di mana aturan transparan dihargai.
- Analisis penjelasan untuk mengungkap fitur dan ambang batas mana yang mendorong hasil.
- Pembelajar dasar di dalam ensemble seperti Random Forest dan Gradient Boosting.
Cara kerjanya
Cara kerjanya
Pada setiap node, pohon mencari setiap fitur dan setiap ambang batas yang memungkinkan untuk pemisahan yang paling meningkatkan kemurnian — algoritma CART biasanya menggunakan indeks Gini atau perolehan informasi untuk klasifikasi. Pemisahan yang menghasilkan pengurangan ketidakmurnian terbesar dipilih, sehingga setiap cabang berisi kasus yang lebih mirip dari sebelumnya.
Rumus
\Delta i = i(t) - p_L\, i(t_L) - p_R\, i(t_R)
Pemisahan yang dipilih diterapkan dan prosedur berulang pada setiap cabang yang dihasilkan, mempartisi data berulang kali. Karena penskalaan fitur tidak diperlukan, fitur kontinu, kategorikal, biner, dan ordinal semuanya dapat digunakan secara langsung. Jika tidak terkendali, pohon terus tumbuh hingga daun hampir murni — di sinilah overfitting terjadi.
Untuk mengontrol overfitting, pohon dibatasi — dengan membatasi kedalaman (max_depth), mengharuskan jumlah minimum kasus per daun (min_samples_leaf), atau memangkas cabang yang sedikit menambah nilai. Hasilnya adalah seperangkat aturan ringkas yang dapat dibaca: jalur dari akar ke daun adalah aturan keputusan yang transparan, itulah sebabnya pohon keputusan sangat cocok bahkan untuk pemula.
Kesalahan umum
- Menumbuhkan pohon hingga kedalaman penuh tanpa membatasi max_depth atau min_samples_leaf.
- Mempercayai satu pohon dalam pada sampel kurang dari sekitar 30 observasi.
- Membaca pohon sampel kecil yang rapuh sebagai penjelasan data yang stabil.
- Melaporkan akurasi dalam sampel tanpa pemisahan latih/uji atau validasi silang.
Pertanyaan yang sering diajukan
Bagaimana pemisahan dipilih?
Algoritma CART mengevaluasi kandidat pemisahan di semua fitur dan ambang batas dan memilih yang paling mengurangi ketidakmurnian node, yang umumnya diukur dengan indeks Gini atau perolehan informasi untuk klasifikasi.
Mengapa pohon keputusan mengalami overfitting, dan bagaimana cara menghentikannya?
Jika dibiarkan tumbuh bebas, pohon terus membelah hingga daun hampir murni, menghafal noise. Batasi dengan membatasi kedalaman (max_depth), mengharuskan jumlah minimum kasus per daun (min_samples_leaf), atau memangkas cabang yang sedikit menambah nilai.
Berapa banyak data yang saya butuhkan?
Targetkan setidaknya sekitar 30 observasi. Di bawah itu, pohon mudah mengalami overfitting — daun dapat berisi satu kasus — dan model yang lebih sederhana seperti regresi logistik atau naive Bayes lebih stabil.
Bagaimana pohon keputusan berhubungan dengan Random Forest?
Satu pohon keputusan adalah blok bangunan ensemble: Random Forest menumbuhkan banyak pohon pada data yang di-resample dan menggabungkan suara mereka, dan Gradient Boosting membangun pohon secara berurutan — keduanya menukar transparansi pohon tunggal dengan akurasi dan stabilitas yang lebih besar.
Metode terkait
Sumber
Breiman, L., Friedman, J.H., Olshen, R.A. & Stone, C.J. (1984). Classification and Regression Trees. Wadsworth.
Buka referensi DOIDisalin.