Skip to content
Kembali ke hasil pencarian

Peningkat Gradien Daring

Diperkenalkan oleh
Grubb, A. & Bagnell, J. A.; Beygelzimer, A. et al.
Tahun
2011–2015
Jenis
Online ensemble (sequential boosting on streaming data)
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Peningkat Gradien Daring mengadaptasi kerangka kerja peningkat gradien untuk pengaturan aliran (streaming) di mana data tiba satu per satu alih-alih sebagai kumpulan tetap.

Pada setiap langkah, model menghitung residu semu untuk observasi yang masuk dan memperbarui pembelajar lemah (weak learner) di tempat, menumbuhkan ansambel aditif tanpa menyimpan atau meninjau kembali data masa lalu. Hal ini membuatnya cocok untuk prediksi waktu nyata dan alur kerja aliran skala besar di mana pelatihan ulang dari awal tidak memungkinkan.

Intuisi di balik metode

Peningkat gradien standar berulang kali memproses seluruh set pelatihan untuk menyesuaikan pohon-pohon berturut-turut, yang memerlukan semua data tersedia di muka. Peningkat Gradien Daring menggantikan lintasan kumpulan tersebut dengan pembaruan satu sampel: ketika observasi baru tiba, ansambel saat ini memprediksinya, sinyal kesalahan (residu semu) dihitung, dan pembelajar lemah berikutnya dalam rantai didorong untuk memperbaiki kesalahan tersebut. Karena pembaruan terjadi secara inkremental, model dapat melacak pergeseran konsep (concept drift) dari waktu ke waktu — jika distribusi data yang mendasarinya bergeser, sampel terbaru secara otomatis akan mendapat pengaruh lebih besar daripada sampel yang lebih lama.

Sejarah

Peningkat dalam pengaturan daring pertama kali dieksplorasi oleh Oza dan Russell (2001) untuk bagging dan boosting dengan bobot yang diambil sampel Poisson. Grubb dan Bagnell (2011) memformalkan Peningkat Gradien Daring melalui penurunan gradien fungsional untuk kerugian cembung. Beygelzimer, Hazan, Langford, dan Zheng (2015) memberikan batas konversi daring-ke-kumpulan yang ketat yang menjembatani jaminan penyesalan dalam pengaturan daring ke kesalahan generalisasi dalam pengaturan kumpulan, menempatkan Peningkat Gradien Daring pada landasan teoretis yang kokoh.

Kapan digunakan

Gunakan Peningkat Gradien Daring ketika data tiba sebagai aliran berkelanjutan dan pelatihan ulang dari awal setelah setiap kumpulan baru terlalu lambat atau tidak praktis, ketika penyimpanan data historis tidak memungkinkan karena kendala volume atau privasi, atau ketika proses penghasil data dapat bergeser dari waktu ke waktu (pergeseran konsep) dan model harus beradaptasi secara inkremental. Ini juga sesuai untuk kumpulan data yang sangat besar di mana satu lintasan kumpulan sangat mahal. JANGAN gunakan ketika seluruh kumpulan data pas dengan nyaman di memori dan sumber daya komputasi memungkinkan peningkat gradien kumpulan standar — metode kumpulan seperti XGBoost atau LightGBM umumnya akan mencapai akurasi yang lebih tinggi dalam kondisi tersebut. Hindari jika jumlah putaran peningkat tidak dapat ditetapkan sebelumnya atau ketika interpretasi pohon individu merupakan persyaratan yang ketat.

Batasan dan pertimbangan

  • Umumnya mencapai akurasi lebih rendah daripada peningkat gradien kumpulan (XGBoost, LightGBM) ketika semua data tersedia, karena setiap sampel hanya dilihat sekali.
  • Jumlah putaran peningkat harus ditetapkan sebelum aliran dimulai, membatasi fleksibilitas struktural.
  • Peka terhadap urutan sampel yang masuk: pengacakan atau pergeseran distribusi dalam aliran dapat menstabilkan pelatihan.
  • Jaminan konvergensi lebih lemah daripada dalam pengaturan kumpulan dan sangat bergantung pada laju pembelajaran yang dipilih.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Memproses data dalam satu lintasan tanpa menyimpan seluruh kumpulan data, membuatnya efisien memori untuk aliran besar atau tak terbatas.
  • Beradaptasi dengan pergeseran konsep karena sampel terbaru terus memperbarui pembelajar lemah.
  • Mempertahankan kekuatan prediktif peningkat gradien dalam pengaturan di mana pelatihan kumpulan tidak memungkinkan.
  • Prediksi dapat disajikan secara waktu nyata pada setiap langkah — model selalu siap untuk memprediksi.
  • Kompatibel dengan fungsi kerugian terdiferensiasi apa pun, mendukung klasifikasi regresi, biner, dan multikelas.

Penerapan

  • Prediksi tingkat klik-tayang waktu nyata dalam sistem periklanan daring.
  • Deteksi penipuan pada aliran transaksi keuangan di mana pembaruan model segera diperlukan.
  • Klasifikasi data sensor dalam alur kerja IoT di mana data historis tidak dapat disimpan.
  • Peringkat dan rekomendasi adaptif dalam sistem di mana preferensi pengguna berkembang dari waktu ke waktu.
  • Deteksi anomali deret waktu skala besar dengan adaptasi model berkelanjutan.

Cara kerjanya

Cara kerjanya

1

Sejumlah pembelajar lemah tetap (biasanya pohon dangkal atau model linier) diinisialisasi, satu untuk setiap putaran peningkat. Dalam pengaturan daring, jumlah putaran harus diputuskan sebelum aliran dimulai, karena struktur ansambel tidak dapat tumbuh secara sembarangan pada waktu pengujian.

2

Sebuah contoh berlabel tunggal (x_t, y_t) tiba dari aliran. Ansambel saat ini F_t menghasilkan prediksi untuk x_t, dan label sebenarnya y_t segera diungkapkan setelahnya, memungkinkan sinyal kesalahan dihitung tanpa melihat ke depan.

3

Residu semu r_t adalah gradien negatif dari fungsi kerugian terhadap prediksi ansambel saat ini. Untuk kesalahan kuadrat, ini berkurang menjadi r_t = y_t - F_t(x_t); untuk kerugian logaritma, residu mengkodekan kesalahan probabilitas. Target ini mengarahkan pembelajar lemah berikutnya untuk memperbaiki kesalahan saat ini.

Rumus
r_t = -\nabla_{F} L(y_t, F(x_t))
4

Pembelajar lemah aktif h_t diperbarui menggunakan residu semu sebagai targetnya, menggunakan aturan pembelajaran daring (misalnya, penurunan gradien stokastik pada model linier atau pembaruan pemisahan gaya pohon Hoeffding). Setiap pembelajar lemah dengan demikian mengakumulasi koreksi di seluruh aliran tanpa menyimpan data masa lalu.

5

Ansambel diperbarui secara aditif: keluaran dari pembelajar lemah yang diperbarui h_t, diskalakan oleh laju pembelajaran eta, ditambahkan ke fungsi prediksi saat ini F_t. Hasil F_{t+1} segera tersedia untuk memprediksi sampel masuk berikutnya.

Rumus
F_{t+1}(x) = F_t(x) + \eta \, h_t(x)

Kesalahan umum

  • Memilih laju pembelajaran yang terlalu besar menyebabkan ansambel berosilasi dan gagal konvergen ke solusi yang stabil.
  • Memperlakukan metrik validasi daring sebagai setara dengan hasil validasi silang — evaluasi prequential (uji-kemudian-latih) harus digunakan sebagai gantinya.
  • Mengabaikan pergeseran konsep: jika distribusi aliran bergeser secara tiba-tiba, pembelajar lemah lama dapat mendominasi dan menurunkan kinerja kecuali mekanisme deteksi pergeseran atau strategi pelupaan diterapkan.
  • Menetapkan terlalu sedikit putaran peningkat sebelum aliran, membuat ansambel kekurangan kapasitas untuk memodelkan pola yang kompleks.

Pertanyaan yang sering diajukan

Bagaimana Peningkat Gradien Daring berbeda dari XGBoost atau LightGBM standar?

XGBoost dan LightGBM adalah metode kumpulan yang berulang kali memproses seluruh set pelatihan untuk menyesuaikan pohon secara serakah. Peningkat Gradien Daring memperbarui pembelajar lemahnya setelah setiap observasi tunggal dan tidak pernah meninjau kembali data masa lalu. Metode kumpulan lebih akurat ketika data pas di memori; varian daring menukar akurasi dengan skalabilitas dan kemampuan adaptasi waktu nyata.

Bagaimana cara mengevaluasi model daring secara adil?

Gunakan evaluasi prequential (uji-kemudian-latih): untuk setiap sampel yang masuk, catat prediksi model sebelum memperbaruinya dengan label sampel tersebut. Ini menghasilkan perkiraan kesalahan yang tidak bias dan jujur secara temporal tanpa memerlukan set pengujian yang disisihkan.

Bagaimana cara menangani pergeseran konsep?

Pasangkan Peningkat Gradien Daring dengan algoritma deteksi pergeseran (misalnya, ADWIN atau DDM) yang memberi sinyal ketika tingkat kesalahan meningkat secara signifikan. Setelah terdeteksi, atur ulang atau inisialisasi ulang pembelajar lemah yang terpengaruh sehingga ansambel dapat beradaptasi kembali dengan distribusi baru.

Apakah Peningkat Gradien Daring cocok untuk masalah multikelas?

Ya. Dengan fungsi kerugian multikelas yang terdiferensiasi (misalnya, softmax cross-entropy), residu semu menjadi vektor kesalahan spesifik kelas dan setiap pembelajar lemah diperbarui untuk memperbaiki semua keluaran kelas secara bersamaan, persis seperti dalam formulasi peningkat gradien multikelas kumpulan.

Pembelajar lemah apa yang paling baik bekerja dalam praktik?

Pohon Hoeffding dangkal (yang sendiri mendukung pemisahan daring) atau model linier daring adalah pilihan yang paling umum. Mereka memperbarui secara efisien dengan setiap sampel baru dan menghindari kebutuhan untuk menyimpan data untuk penyesuaian ulang kumpulan pada setiap langkah peningkat.

Metode terkait

Sumber

  1. Grubb, A. & Bagnell, J. A. (2011). Generalized Boosting Algorithms for Convex Optimization. Proceedings of the 28th International Conference on Machine Learning (ICML 2011), 1209–1216.

    Buka referensi publikasi
    Disalin.
  2. Beygelzimer, A., Hazan, E., Langford, J. & Zheng, T. (2015). Online-to-Batch Conversions and Applications. Advances in Neural Information Processing Systems (NeurIPS), 28.

    Buka referensi publikasi
    Disalin.