Peningkatan Daring
- Diperkenalkan oleh
- Oza, N. C. & Russell, S.
- Tahun
- 2001
- Jenis
- Online ensemble (incremental boosting)
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Peningkatan Daring mengadaptasi kerangka kerja peningkatan klasik ke aliran data, memperbarui ansambel pembelajar lemah satu per satu contoh tanpa menyimpan seluruh kumpulan data.
Formulasi Oza-Russell memperkirakan pembobotan ulang AdaBoost menggunakan jumlah instans yang diambil sampelnya secara Poisson, memungkinkan klasifikasi yang akurat dan adaptif secara real-time atau di lingkungan yang terbatas sumber daya.
Intuisi di balik metode
Peningkatan batch memberi bobot ulang contoh pelatihan untuk memaksa pembelajar berturut-turut memperbaiki kesalahan satu sama lain, tetapi ini memerlukan melihat semua data sekaligus. Peningkatan Daring menggantikan pembobotan ulang eksplisit dengan trik pengambilan sampel Poisson: setiap contoh yang tiba diteruskan ke rantai pembelajar lemah, dan berapa kali setiap pembelajar melihatnya (bobot efektifnya) diambil dari distribusi Poisson yang lajunya bergeser naik ketika pembelajar sebelumnya salah mengklasifikasikan contoh dan turun ketika benar. Hasilnya sangat mirip dengan dinamika koreksi AdaBoost tanpa pernah memutar ulang data masa lalu.
Sejarah
Peningkatan Daring diformalkan oleh Nikunj Oza dan Stuart Russell dalam makalah mereka tahun 2001 'Online Bagging and Boosting', yang menunjukkan bahwa trik pengambilan sampel Poisson memberikan perkiraan yang secara statistik sah untuk AdaBoost batch dalam pengaturan streaming. Karya ini dibangun di atas AdaBoost Freund dan Schapire (1997) dan bagging Breiman (1996). Penelitian selanjutnya memperluas pendekatan untuk menangani pergeseran konsep, masalah multi-kelas, dan pembelajaran yang peka terhadap biaya, memperkuat Peningkatan Daring sebagai alat standar dalam literatur penambangan aliran data.
Kapan digunakan
Gunakan Peningkatan Daring ketika data tiba sebagai aliran berkelanjutan dan model harus diperbarui secara inkremental tanpa mengunjungi kembali contoh-contoh sebelumnya — misalnya dalam deteksi penipuan waktu nyata, pemantauan intrusi jaringan, klasifikasi berbasis sensor, atau pengaturan apa pun di mana menyimpan seluruh kumpulan data tidak memungkinkan. Kinerjanya lebih baik daripada pembelajar daring tunggal dan bagging daring ketika aliran memiliki pergeseran konsep yang mendapat manfaat dari pembobotan ulang adaptif. Jangan gunakan ketika kumpulan data statis dan muat dalam memori — peningkatan gradien batch (XGBoost, LightGBM) hampir selalu akan menghasilkan akurasi yang lebih tinggi. Hindari juga ketika aliran memiliki pergeseran konsep yang parah dan tiba-tiba, yang mungkin memerlukan mekanisme reset deteksi pergeseran eksplisit yang tidak dibangun ke dalam Peningkatan Daring dasar.
Batasan dan pertimbangan
- Sensitif terhadap kebisingan label dalam aliran karena label yang salah menyebabkan laju Poisson meningkat, memperkuat kesalahan pada pembelajar berikutnya.
- Tidak secara otomatis pulih dari pergeseran konsep yang tiba-tiba kecuali digabungkan dengan mekanisme deteksi pergeseran eksplisit.
- Keberagaman pembelajar yang lebih lemah daripada peningkatan batch karena contoh-contoh sebelumnya tidak dapat diputar ulang untuk koreksi.
- Ukuran ansambel M tetap pada inisialisasi; menambahkan atau menghapus pembelajar di tengah aliran memerlukan kehati-hatian untuk menghindari ketidakstabilan.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Memproses setiap contoh tepat satu kali, membuatnya cocok untuk aliran data berkecepatan tinggi atau terbatas memori.
- Mewarisi sifat pengurangan bias yang kuat dari peningkatan, seringkali mengungguli bagging daring pada tugas klasifikasi yang sulit.
- Pembobotan ulang adaptif memungkinkan contoh-contoh berikutnya untuk memperbaiki kesalahan yang diperkenalkan oleh bagian-bagian awal aliran.
- Tidak diperlukan penyetelan hyperparameter bobot sampel; perkiraan Poisson mengatur dirinya sendiri.
- Kompatibel dengan pembelajar lemah apa pun yang dapat diperbarui secara inkremental, memberikan fleksibilitas dalam pilihan model.
Penerapan
- Deteksi penipuan dan anomali waktu nyata pada aliran transaksi.
- Deteksi intrusi jaringan dengan data tingkat paket yang terus-menerus tiba.
- Pemeliharaan prediktif dari aliran sensor frekuensi tinggi dalam manufaktur.
- Penyaringan spam email yang beradaptasi secara inkremental terhadap taktik pengirim spam yang berkembang.
- Prediksi tingkat klik dalam platform periklanan daring.
- Pemantauan medis di mana data pasien tiba secara berurutan dan pembaruan model harus segera dilakukan.
Cara kerjanya
Cara kerjanya
Urutan terurut dari M pembelajar lemah — biasanya pohon keputusan dangkal atau tunggul — diinisialisasi dengan laju Poisson yang sama. Setiap pembelajar dikaitkan dengan bobot alpha dan hitungan berjalan prediksi berbobot yang benar dan salah yang digunakan untuk memperkirakan kontribusinya.
Contoh berlabel baru tiba dari aliran. Tidak ada data historis yang disimpan; algoritma memprosesnya sekali dan melanjutkan. Batasan satu kali jalan ini adalah fitur penentu yang membedakan peningkatan daring dari padanannya secara batch.
Untuk pembelajar pertama, instans direplikasi k kali di mana k diambil dari Poisson(1). Ini memperkirakan pengambilan sampel dengan penggantian seperti dalam bagging batch. Laju Poisson lambda merambat melalui rantai dan bertindak sebagai bobot efektif instans untuk setiap pembelajar berikutnya.
Rumus
k \sim \text{Poisson}(\lambda),\; \lambda = 1 \text{ initially}Setiap pembelajar lemah memperbarui model internalnya menggunakan instans yang direplikasi k kali sesuai dengan laju Poisson saat ini. Tunggul keputusan, misalnya, memperbarui ambang batas pemisahan secara inkremental. Pembelajar kemudian mengeluarkan prediksi biner untuk contoh tersebut.
Jika pembelajar lemah saat ini salah mengklasifikasikan instans, laju Poisson yang diteruskan ke pembelajar berikutnya dikurangi (tidak perlu memberi bobot pada kasus yang ditangani dengan benar). Jika salah, laju ditingkatkan sehingga pembelajar berikutnya lebih fokus pada contoh sulit ini. Bobot kontribusi pembelajar alpha diperbarui dari akurasi kumulatifnya.
Rumus
\lambda_{m+1} = \lambda_m \cdot \frac{e^{\pm \alpha_m}}{Z_m}Untuk inferensi, prediksi akhir adalah suara mayoritas berbobot di seluruh M pembelajar lemah, dengan setiap suara diskalakan oleh bobot alpha pembelajar. Ini mencerminkan jumlah berbobot bertanda AdaBoost, memberikan kepercayaan yang terkalibrasi bersama dengan label kelas.
Rumus
\hat{y} = \operatorname{sign}\!\left(\sum_{m=1}^{M} \alpha_m h_m(x)\right)Kesalahan umum
- Mencampuradukkan peningkatan daring dengan peningkatan batch dan mengharapkan akurasi yang identik pada kumpulan data statis — gunakan metode batch jika Anda bisa.
- Mengabaikan kebisingan label: aliran yang berisik menurunkan Peningkatan Daring lebih cepat daripada Bagging Daring karena peningkatan memperkuat contoh yang sulit (yang mungkin salah label).
- Memilih M (jumlah pembelajar lemah) terlalu kecil dan menerima kinerja buruk tanpa penyetelan.
- Gagal memantau pergeseran konsep dan terus mengandalkan model yang asumsi distribusinya telah bergeser.
- Melaporkan hanya akurasi sesaat daripada evaluasi prequential (uji-kemudian-latih), yang dapat menutupi penurunan kinerja.
Pertanyaan yang sering diajukan
Bagaimana Peningkatan Daring berbeda dari AdaBoost batch?
AdaBoost batch memberi bobot ulang contoh pelatihan dengan menskalakan ulang probabilitas pengambilan sampelnya di berbagai lintasan. Peningkatan Daring memperkirakan ini dengan meneruskan setiap contoh yang tiba melalui rantai pembelajar lemah dan menyesuaikan laju Poisson yang mengontrol berapa kali setiap pembelajar melihat contoh tersebut, tanpa pernah menyimpan atau memutar ulang data historis.
Berapa banyak pembelajar lemah M yang harus saya gunakan?
Nilai M antara 10 dan 50 adalah tipikal untuk tunggul dangkal atau pohon kecil. Lebih banyak pembelajar mengurangi bias tetapi meningkatkan latensi inferensi. Sesuaikan M menggunakan evaluasi prequential pada irisan data yang representatif sebelum penerapan.
Apakah Peningkatan Daring kuat terhadap pergeseran konsep?
Peningkatan Daring dasar tidak secara eksplisit mendeteksi atau merespons pergeseran konsep. Untuk aliran yang bergeser, pasangkan dengan algoritma deteksi pergeseran seperti ADWIN atau DDM yang memicu reset parsial atau penuh ansambel ketika pergeseran terdeteksi.
Kapan saya harus memilih Bagging Daring daripada Peningkatan Daring?
Ketika aliran berisi kebisingan label yang signifikan, Bagging Daring lebih kuat karena tidak memperkuat dampak contoh yang sulit (yang mungkin salah label) seperti yang dilakukan peningkatan. Peningkatan Daring lebih disukai ketika aliran relatif bersih dan Anda membutuhkan akurasi maksimum.
Bisakah saya mengevaluasi model streaming tanpa set pengujian terpisah?
Ya. Gunakan evaluasi prequential (uji-kemudian-latih): prediksi setiap contoh yang tiba sebelum memperbarui model, dan akumulasikan prediksi ini ke dalam akurasi berjalan atau F1. Ini memberikan perkiraan kinerja yang tidak bias tanpa memerlukan data yang ditahan.
Metode terkait
Sumber
Oza, N. C., & Russell, S. (2001). Online Bagging and Boosting. In Artificial Intelligence and Statistics 2001 (pp. 105–112). Morgan Kaufmann.
Buka referensi publikasiDisalin.Online machine learning. Wikipedia.
Buka referensi publikasiDisalin.