Regresi Logistik Daring
- Diperkenalkan oleh
- Rosenblatt, F. / Widrow, B. (perceptron era); modern SGD form: Bottou, L.
- Tahun
- 1960s (perceptron); formalized for logistic loss ~2000s
- Jenis
- Incremental supervised classifier
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Regresi Logistik Daring menyesuaikan pengklasifikasi logistik satu sampel (atau mini-batch) pada satu waktu melalui penurunan gradien stokastik, memperbarui bobot model saat setiap observasi tiba alih-alih menunggu untuk melihat seluruh kumpulan data.
Hal ini menjadikannya pilihan standar untuk masalah klasifikasi biner bervolume tinggi, streaming, atau terbatas memori di mana pelatihan batch tidak memungkinkan.
Intuisi di balik metode
Regresi logistik klasik memerlukan pemuatan semua data ke dalam memori dan optimasi atas seluruh kumpulan data. Regresi logistik daring sebaliknya membaca setiap contoh yang masuk, membuat prediksi probabilitas, menghitung kesalahan prediksi, dan mengambil langkah gradien kecil untuk memperbaiki bobotnya sebelum beralih ke contoh berikutnya. Selama banyak contoh, bobot akan konvergen ke nilai yang mendekati apa yang akan ditemukan oleh pemecah batch, namun model dapat diperbarui secara terus-menerus tanpa pernah menyimpan seluruh kumpulan data. Tingkat pembelajaran yang menyusut memastikan pembaruan menjadi lebih halus seiring matangnya model, menukar kecepatan adaptasi dengan stabilitas.
Sejarah
Akar pembelajaran berbasis gradien daring dapat ditelusuri ke perseptron Rosenblatt (1958) dan aturan LMS Widrow dan Hoff (1960). Varian kerugian logistik mendapatkan perhatian dalam literatur pembelajaran skala besar tahun 2000-an, terutama melalui karya Bottou tentang penurunan gradien stokastik untuk pembelajaran mesin, dan kerangka kerja teoretis Shalev-Shwartz untuk optimasi cembung daring. Ini menjadi standar produksi dalam prediksi tingkat klik skala web dan penyaringan spam, di mana kumpulan data mengalir terus menerus dan model harus diperbarui secara real time.
Kapan digunakan
Gunakan Regresi Logistik Daring ketika data tiba sebagai aliran atau ketika seluruh kumpulan data terlalu besar untuk disimpan dalam memori, ketika batas kelas diharapkan bergeser secara bertahap dari waktu ke waktu (pergeseran konsep), atau ketika pembaruan model latensi rendah diperlukan. Ini juga merupakan baseline cepat untuk kumpulan data statis yang sangat besar di mana satu lintasan SGD dapat diterima. Hindari jika kumpulan data cukup kecil untuk dilatih secara batch (regresi logistik batch akan konvergen ke solusi yang lebih baik dengan lebih sedikit penyesuaian), ketika batas keputusan sangat nonlinier (metode berbasis pohon atau kernel akan lebih cocok), atau ketika interpretasi standar error koefisien dan nilai p yang tepat diperlukan untuk pelaporan.
Batasan dan pertimbangan
- Sensitif terhadap pilihan tingkat pembelajaran: terlalu besar menyebabkan divergensi, terlalu kecil menyebabkan konvergensi lambat atau underfitting.
- Tidak menyediakan interval kepercayaan bentuk tertutup atau nilai p untuk koefisien.
- Konvergen ke solusi yang lebih berisik daripada penurunan gradien batch mengingat data yang sama; beberapa lintasan atau rata-rata (Polyak-Ruppert) diperlukan untuk menutup kesenjangan.
- Kinerja menurun ketika fitur berada pada skala yang sangat berbeda kecuali standardisasi atau AdaGrad diterapkan.
- Mengasumsikan batas keputusan linier; tidak dapat menangkap struktur nonlinier tanpa rekayasa fitur.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Jejak memori konstan: memproses satu contoh pada satu waktu tanpa menyimpan seluruh kumpulan data.
- Beradaptasi dengan pergeseran konsep dengan terus memperbarui bobot saat data berlabel baru tiba.
- Skalabilitas hingga miliaran contoh di mana optimasi batch akan memberatkan.
- Menghasilkan keluaran probabilitas terkalibrasi melalui tautan sigmoid, cocok untuk penilaian risiko.
- Kompatibel dengan regularisasi L1 dan L2 serta jadwal tingkat pembelajaran yang mencerminkan solusi batch penuh.
Penerapan
- Prediksi tingkat klik dalam periklanan daring dengan aliran data berkelanjutan.
- Deteksi spam dan penipuan di mana pola berkembang dan model harus beradaptasi setiap hari.
- Klasifikasi sentimen waktu nyata dari posting media sosial saat tiba.
- Penilaian risiko biner skala besar ketika seluruh kumpulan data tidak muat di RAM.
- Skenario pergeseran konsep dalam pemantauan transaksi keuangan.
- Pengklasifikasi streaming dasar sebelum mengevaluasi ansambel daring yang lebih kompleks.
Cara kerjanya
Cara kerjanya
Vektor bobot dan bias diinisialisasi ke nol (atau nilai acak kecil). Tidak diperlukan lintasan data pada tahap ini — model siap untuk memproses observasi pertamanya segera.
Rumus
\mathbf{w}_0 = \mathbf{0},\; b_0 = 0Untuk setiap observasi yang masuk, model menghitung kombinasi linear dari bobot dan fitur saat ini, kemudian meneruskannya melalui fungsi sigmoid untuk mendapatkan probabilitas bahwa label adalah 1. Probabilitas ini digunakan baik sebagai prediksi maupun sebagai bahan dalam perhitungan gradien.
Rumus
\hat{p}_t = \sigma(\mathbf{w}_t^\top \mathbf{x}_t + b_t),\quad \sigma(z)=\frac{1}{1+e^{-z}}Biner entropi silang (log-loss) antara probabilitas yang diprediksi dan label sebenarnya mengukur seberapa salah prediksi saat ini. Entropi silang bersifat cembung pada bobot, yang menjamin bahwa langkah gradien secara andal mengurangi kesalahan rata-rata di seluruh aliran data.
Rumus
\ell_t = -[y_t \log \hat{p}_t + (1-y_t)\log(1-\hat{p}_t)]Gradien kerugian terhadap bobot berkurang menjadi residu sederhana (probabilitas yang diprediksi dikurangi label sebenarnya) dikalikan dengan vektor fitur. Suku regularisasi (L2 atau L1) ditambahkan untuk menghukum bobot besar dan mencegah overfitting. Bobot diperbarui dengan mengurangi gradien yang diskalakan dalam satu lintasan per contoh.
Rumus
\mathbf{w}_{t+1} = \mathbf{w}_t - \eta_t (\hat{p}_t - y_t)\mathbf{x}_t - \eta_t \lambda \mathbf{w}_tTingkat pembelajaran dianil dari waktu ke waktu — dimulai besar untuk bergerak cepat pada tahap awal dan menyusut sehingga pembaruan selanjutnya membuat koreksi halus tanpa berosilasi. Jadwal umum adalah peluruhan waktu terbalik atau adaptasi per fitur gaya AdaGrad, yang menangani fitur dengan skala yang sangat berbeda secara otomatis.
Rumus
\eta_t = \eta_0 / (1 + \alpha t)
Kesalahan umum
- Lupa menstandardisasi fitur: SGD daring sangat sensitif terhadap perbedaan skala karena tingkat pembelajaran yang sama diterapkan pada semua dimensi.
- Menggunakan tingkat pembelajaran tetap sepanjang pelatihan: bobot berosilasi di dekat optimum dan tidak pernah menetap.
- Mengabaikan ketidakseimbangan kelas dalam aliran data: kelas yang kurang terwakili menerima sedikit sinyal gradien dan model cenderung ke kelas mayoritas.
- Memperlakukan perkiraan bobot fase awal sebagai final: model membutuhkan contoh yang cukup sebelum bobotnya stabil; jangan mengevaluasi terlalu dini.
- Mencampuradukkan kemampuan pembaruan daring dengan deteksi pergeseran konsep otomatis: bobot bergeser dengan data tetapi pemantauan pergeseran eksplisit (misalnya, ADWIN) masih diperlukan untuk mendeteksi pergeseran mendadak.
Pertanyaan yang sering diajukan
Bagaimana regresi logistik daring berbeda dari regresi logistik standar?
Regresi logistik standar menggunakan semua data sekaligus (optimasi batch) dan mengembalikan koefisien maksimum-likelihood yang tepat dengan standar error. Regresi logistik daring memperbarui bobot setelah setiap contoh, hanya menggunakan memori konstan dan mentolerir aliran tak terbatas, tetapi perkiraannya lebih berisik dan tidak menghasilkan statistik inferensial.
Bagaimana cara memilih tingkat pembelajaran?
Titik awal yang umum adalah tingkat tetap kecil (misalnya, 0,01) dikombinasikan dengan peluruhan waktu terbalik, atau menggunakan AdaGrad yang mengadaptasi tingkat per fitur secara otomatis. Selalu standardisasi fitur terlebih dahulu, kemudian sesuaikan tingkat awal pada lipatan validasi yang ditahan atau dengan memantau log-loss berjalan pada jendela aliran yang baru saja terjadi.
Bisakah regresi logistik daring menangani masalah multikelas?
Ya — perluas ke pengklasifikasi biner satu-vs-rest yang dilatih secara paralel, atau gunakan generalisasi softmax (multinomial) dengan kerugian entropi silang kategorikal dan vektor bobot per kelas, terapkan aturan pembaruan SGD yang sama ke masing-masing.
Regularisasi apa yang harus saya gunakan?
Regularisasi L2 (ridge) adalah default: ia menyusutkan semua bobot secara halus dan bekerja dengan baik dengan SGD. L1 (lasso) menghasilkan bobot yang jarang dan berguna ketika Anda menginginkan pemilihan fitur otomatis di ruang berdimensi sangat tinggi, tetapi memerlukan pemotongan yang cermat atau pembaruan FOBOS agar tetap jarang secara tepat secara daring.
Bagaimana cara mengevaluasi model yang terus diperbarui?
Gunakan evaluasi prequential (uji-sebelum-latih): prediksi setiap contoh sebelum menggunakannya untuk pembaruan bobot, lalu laporkan log-loss berjalan atau AUC pada jendela geser. Ini memberikan perkiraan kualitas model saat ini yang tidak bias tanpa set yang ditahan tetap.
Metode terkait
Sumber
Bottou, L. (2010). Large-Scale Machine Learning with Stochastic Gradient Descent. In Proceedings of COMPSTAT 2010, 177–186. Physica-Verlag.
Buka referensi publikasiDisalin.Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.
Buka referensi DOIDisalin.