Bagging Daring
- Diperkenalkan oleh
- Oza, N. C. & Russell, S.
- Tahun
- 2001
- Jenis
- Online ensemble (streaming bagging)
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Bagging Daring adalah metode ansambel streaming yang diperkenalkan oleh Oza dan Russell pada tahun 2001 yang mengadaptasi kerangka kerja agregasi bootstrap (Bagging) klasik ke pengaturan pembelajaran daring.
Alih-alih mengambil sampel ulang kumpulan data tetap, setiap instans yang masuk diberi makan ke setiap pembelajar dasar sejumlah kali yang terdistribusi Poisson(1), secara akurat memperkirakan pengambilan sampel bootstrap saat aliran berkembang. Hasilnya adalah ansambel yang kuat dan diperbarui secara inkremental yang dapat menangani pergeseran konsep dan kedatangan data berkelanjutan tanpa menyimpan seluruh kumpulan data.
Intuisi di balik metode
Bagging Klasik mengambil sampel bootstrap acak dari kumpulan data tetap dan melatih satu pohon per sampel. Bagging Daring meniru ini tanpa pernah melihat seluruh kumpulan data sekaligus: ketika contoh baru tiba, ia diteruskan ke setiap pembelajar dasar sejumlah acak kali yang diambil dari distribusi Poisson dengan rata-rata 1. Rata-rata setiap pembelajar melihat contoh sekali — persis seperti yang dicapai oleh pengambilan sampel ulang bootstrap dalam mode batch — tetapi keacakan mengurangi korelasi antar pembelajar. Karena tidak ada data yang perlu disimpan, ansambel dapat tumbuh tanpa batas seiring aliran dan menyesuaikan diri secara alami dengan distribusi yang bergeser seiring waktu.
Sejarah
Bagging Daring diperkenalkan oleh Nitesh Oza dan Stuart Russell di AISTATS 2001 sebagai perpanjangan teoretis dan praktis dari algoritma Bagging Breiman tahun 1996 ke pengaturan daring. Wawasan kuncinya — mengganti pengambilan sampel ulang bootstrap dengan pembobotan Poisson(1) per instans — membuat aproksimasi tersebut secara matematis ketat. Ini menjadi algoritma dasar dalam literatur pembelajaran mesin streaming dan merupakan ansambel dasar di platform seperti MOA (Massive Online Analysis), yang telah mendorong sebagian besar evaluasi empiris pengklasifikasi aliran sejak 2010.
Kapan digunakan
Gunakan Bagging Daring ketika data tiba sebagai aliran berkelanjutan dan menyimpan seluruh kumpulan data tidak memungkinkan atau dilarang (misalnya, log sensor, clickstream, data tick keuangan, pemantauan waktu nyata). Ini sesuai ketika Anda memerlukan klasifikasi atau regresi yang diperbarui dengan setiap pengamatan baru, mentolerir pergeseran konsep ringan, dan tetap efisien memori. Jangan gunakan Bagging Daring sebagai pengganti langsung untuk Random Forest batch pada kumpulan data tetap berukuran kecil hingga menengah — ansambel batch dengan validasi silang akan mengunggulinya di sana. Hindari juga ketika aliran data menunjukkan pergeseran tiba-tiba yang parah tanpa menambahkan mekanisme deteksi pergeseran eksplisit.
Batasan dan pertimbangan
- Pada kumpulan data statis, metode batch seperti Random Forest atau XGBoost secara konsisten mengungguli Bagging Daring karena mereka dapat menggunakan validasi silang penuh dan pemisahan optimal.
- Bagging Daring dasar hanya menawarkan ketahanan terbatas terhadap pergeseran konsep yang parah; detektor pergeseran khusus (misalnya, ADWIN) harus ditambahkan secara eksternal.
- Pembobotan Poisson memperkenalkan varians tambahan per instans, yang dapat memperlambat konvergensi pada aliran pendek.
- Interpretasi rendah: ansambel dari banyak pohon yang tumbuh secara inkremental lebih sulit untuk diperiksa daripada satu pohon keputusan.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Memproses data satu instans pada satu waktu dengan memori konstan, memungkinkan aliran yang benar-benar tidak terbatas.
- Pembobotan Poisson secara terbukti memperkirakan pengambilan sampel ulang bootstrap, memberikan pengurangan varians ansambel yang sebanding dengan Bagging batch.
- Secara alami dapat diparalelkan: setiap pembelajar dasar memperbarui secara independen, membuatnya cocok untuk arsitektur streaming terdistribusi.
- Tidak ada hyperparameter yang sensitif seperti kedalaman pohon — ansambel melakukan regulasi diri melalui keragaman.
- Memperluas secara langsung ke klasifikasi multi-kelas dan regresi tanpa perubahan struktural.
Penerapan
- Deteksi penipuan waktu nyata pada aliran transaksi berkelanjutan.
- Pemeliharaan prediktif dari aliran data sensor di lingkungan IoT industri.
- Prediksi tingkat klik tayang dalam periklanan daring di mana perilaku pengguna terus berkembang.
- Deteksi intrusi jaringan pada aliran paket throughput tinggi.
- Pemantauan lingkungan: klasifikasi inkremental dari pembacaan sensor kualitas udara atau cuaca.
Cara kerjanya
Cara kerjanya
Untuk setiap instans yang tiba, bobot k diambil secara independen dari distribusi Poisson(1) untuk setiap pembelajar dasar. Bobot 0 berarti pembelajar melewati instans ini sama sekali; bobot 2 berarti ia belajar dari instans tersebut dua kali. Pembobotan stokastik ini adalah analog daring dari pengambilan sampel ulang bootstrap dan merupakan inti matematis dari algoritma.
Rumus
k \sim \text{Poisson}(1)Setiap pembelajar dasar — biasanya pohon keputusan inkremental seperti Pohon Hoeffding — menerima instans saat ini dengan bobot yang ditugaskan dan segera memperbarui model internalnya. Tidak ada instans yang disimpan setelah pemrosesan. Properti satu lintasan ini menjaga memori tetap terbatas dan memungkinkan ansambel untuk diskalakan ke aliran yang sangat panjang.
Ketika prediksi diperlukan, semua M pembelajar dasar menghasilkan keluaran individual mereka untuk instans kueri. Ansambel menggabungkannya dengan suara mayoritas untuk klasifikasi atau dengan rata-rata aritmatika untuk regresi, memberikan logika agregat yang sama seperti Bagging batch tetapi dihitung pada model yang dilatih secara inkremental.
Rumus
\hat{y} = \text{mode/mean of } M \text{ base learners}Kesalahan umum
- Mengevaluasi Bagging Daring dengan set tes yang ditahan yang dibuat sebelum pelatihan dimulai — gunakan evaluasi prequential (tes-sebelum-latih) sebagai gantinya, yang merupakan standar dalam pembelajaran mesin streaming.
- Mengasumsikan jumlah pembelajar dasar default (seringkali 10) sudah cukup; ansambel dengan setidaknya 50–100 pembelajar biasanya diperlukan untuk prediksi yang stabil.
- Mengabaikan pergeseran konsep: menerapkan Bagging Daring pada aliran yang bergeser tanpa deteksi pergeseran menyebabkan penurunan akurasi yang senyap.
- Membandingkan akurasi pada tolok ukur statis dengan metode batch dan menyimpulkan Bagging Daring lebih rendah — perbandingan yang benar adalah akurasi per instans yang dilihat pada tolok ukur streaming.
- Menggunakan pembelajar dasar yang tidak benar-benar inkremental (misalnya, pohon batch yang dilatih ulang), yang meniadakan keuntungan memori dan kecepatan dari kerangka kerja daring.
Pertanyaan yang sering diajukan
Mengapa secara spesifik Poisson(1)?
Distribusi Poisson dengan rata-rata 1 memperkirakan jumlah kali suatu observasi muncul dalam sampel bootstrap berukuran n saat n mendekati tak terhingga. Menggunakan Poisson(1) per instans per pembelajar mereplikasi perilaku batas ini secara tepat, membuat aproksimasi daring secara teoretis kuat.
Bagaimana Bagging Daring berbeda dari Adaptive Random Forest?
Adaptive Random Forest (Gomes et al., 2017) memperluas Bagging Daring dengan menambahkan subsampling fitur acak di setiap pemisahan (seperti Random Forest batch) dan mengintegrasikan detektor pergeseran per-pohon yang mengatur ulang pembelajar individual ketika pergeseran konsep terdeteksi. Bagging Daring adalah fondasi yang lebih sederhana; Adaptive Random Forest adalah ansambel streaming canggih saat ini yang dibangun di atasnya.
Pembelajar dasar apa yang harus saya gunakan?
Pilihan yang paling umum adalah Pohon Hoeffding (juga disebut VFDT), yang merupakan pohon keputusan inkremental kanonik. Ini menggunakan batas Hoeffding untuk memutuskan kapan data yang cukup telah dilihat pada sebuah node untuk memisahkannya, menjaga pohon tetap dapat diperbarui tanpa menyimpan instans sebelumnya.
Berapa banyak pembelajar dasar yang saya butuhkan?
Tolok ukur empiris dalam kerangka MOA menyarankan 50–100 pembelajar dasar untuk kinerja ansambel yang stabil pada sebagian besar tugas streaming. Lebih sedikit pembelajar mengurangi biaya komputasi tetapi meningkatkan varians prediksi, terutama di awal aliran.
Bagaimana seharusnya saya mengevaluasi pengklasifikasi Bagging Daring?
Gunakan evaluasi prequential: untuk setiap instans yang masuk, pertama prediksi labelnya, lalu perbarui modelnya. Akurasi dihitung sebagai rata-rata berjalan prediksi yang benar. Ini menghindari bias pandangan ke depan dan mencerminkan kondisi penerapan yang sebenarnya.
Metode terkait
Sumber
Oza, N. C., & Russell, S. (2001). Online bagging and boosting. In Proceedings of the Eighth International Workshop on Artificial Intelligence and Statistics (AISTATS 2001), pp. 105–112.
Buka referensi publikasiDisalin.Bifet, A., Holmes, G., Kirkby, R., & Pfahringer, B. (2010). MOA: Massive Online Analysis. Journal of Machine Learning Research, 11, 1601–1604.
Buka referensi publikasiDisalin.