Skip to content
Kembali ke hasil pencarian

Regresi Linear Daring

Diperkenalkan oleh
Widrow, B. & Hoff, M. E. (LMS); Gauss / Plackett (RLS)
Tahun
1960 (LMS); 1950 (RLS formalization)
Jenis
Incremental supervised regression
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Regresi Linear Daring menyesuaikan model linear satu observasi pada satu waktu, memperbarui bobot secara inkremental saat setiap titik data baru tiba.

Berbeda dengan metode kuadrat terkecil batch, metode ini tidak pernah perlu menyimpan atau memproses ulang seluruh kumpulan data, menjadikannya pilihan alami untuk data streaming, kumpulan data yang sangat besar, dan lingkungan di mana proses penghasil data dapat bergeser seiring waktu.

Intuisi di balik metode

Bayangkan menyesuaikan kenop prediktor linear setelah setiap pengukuran tunggal daripada menunggu untuk mengumpulkan semua data terlebih dahulu. Setiap observasi baru memberi tahu Anda seberapa salah tebakan Anda saat ini, dan Anda menggeser vektor bobot selangkah kecil ke arah yang akan mengurangi kesalahan tersebut. Selama banyak observasi, bobot akan konvergen ke nilai yang mendekati solusi kuadrat terkecil biasa — tetapi Anda mencapainya tanpa pernah memuat seluruh kumpulan data ke dalam memori, dan Anda dapat terus beradaptasi jika hubungan yang mendasarinya bergeser.

Sejarah

Dasar-dasar teoritis berasal dari metode kuadrat terkecil Gauss (awal abad ke-19) dan formulasi rekursif Plackett tahun 1950. Varian online praktis muncul dengan algoritma Least Mean Squares (LMS) Widrow dan Hoff pada tahun 1960, yang awalnya dikembangkan untuk pemrosesan sinyal adaptif. Teori optimasi cembung online, yang diformalkan oleh Zinkevich (2003) dan disurvei secara komprehensif oleh Shalev-Shwartz (2012), menempatkan regresi linear online dalam kerangka kerja minimisasi penyesalan yang ketat dan menunjukkan jaminan konvergensi yang hampir optimal.

Kapan digunakan

Gunakan regresi linear daring ketika data tiba sebagai aliran berkelanjutan dan prediksi harus disajikan segera, ketika kumpulan data terlalu besar untuk disimpan dalam memori untuk penyesuaian batch, atau ketika hubungan antara prediktor dan hasil dapat bergeser seiring waktu dan model perlu beradaptasi. Ini juga merupakan pilihan yang baik sebagai baseline ringan dalam sistem produksi waktu nyata. Hindari jika hubungannya sangat non-linear, ketika rekayasa fitur harus dilakukan secara holistik pada seluruh kumpulan data, atau ketika Anda memerlukan koefisien OLS yang tepat dengan interval kepercayaan untuk inferensi statistik — gunakan regresi linear batch dalam kasus-kasus tersebut.

Batasan dan pertimbangan

  • Sensitif terhadap pilihan laju pembelajaran: terlalu besar menyebabkan osilasi, terlalu kecil menyebabkan konvergensi lambat.
  • Tidak menyediakan kesalahan standar bentuk tertutup atau nilai p, sehingga inferensi statistik klasik tidak tersedia secara langsung.
  • Dapat kesulitan dengan fitur yang sangat berkorelasi (multikolinearitas) kecuali jika regularisasi L2 ditambahkan.
  • Kinerja menurun dibandingkan dengan OLS batch ketika semua data sudah tersedia dan tidak ada pergeseran konsep.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Memproses data satu observasi pada satu waktu dengan memori O(p), di mana p adalah jumlah fitur — tidak memerlukan seluruh kumpulan data.
  • Beradaptasi terus-menerus terhadap pergeseran konsep, membuatnya cocok untuk lingkungan non-stasioner seperti deret waktu keuangan atau aliran sensor.
  • Murah secara komputasi per pembaruan: satu hasil kali titik dan penambahan vektor bobot.
  • Secara alami dapat diparalelkan di berbagai aliran atau pecahan.
  • Menghasilkan prediksi secara real-time tanpa menunggu penyesuaian ulang batch.

Penerapan

  • Prediksi harga waktu nyata dan peramalan permintaan di pasar e-niaga dan energi.
  • Pemrosesan sinyal adaptif dan pembatalan kebisingan menggunakan kuadrat terkecil rekursif.
  • Pembaruan model berkelanjutan dalam lingkungan IoT dan jaringan sensor di mana penyesuaian ulang batch tidak memungkinkan.
  • Regresi data tick keuangan di mana proses penghasil data sering bergeser.
  • Bobot fitur sistem rekomendasi skala besar diperbarui saat peristiwa pengguna tiba.
  • Model streaming baseline dalam pipeline AutoML sebelum model yang lebih kompleks dipertimbangkan.

Cara kerjanya

Cara kerjanya

1

Atur vektor bobot ke nol (atau nilai acak kecil) dan pilih laju pembelajaran eta yang mengontrol ukuran langkah. Secara opsional, inisialisasi istilah regularisasi seperti L2 (Ridge) untuk mencegah bobot tumbuh tanpa batas pada aliran non-stasioner.

Rumus
\mathbf{w}_0 = \mathbf{0},\; \eta > 0
2

Untuk setiap observasi yang masuk x_t, hitung prediksi keluaran sebagai hasil kali titik dari vektor bobot saat ini dengan vektor fitur. Prediksi ini dibuat sebelum label sebenarnya y_t diungkapkan, mencerminkan sifat sekuensial dari pengaturan streaming yang sebenarnya.

Rumus
\hat{y}_t = \mathbf{w}_t^\top \mathbf{x}_t
3

Setelah label sebenarnya diungkapkan, hitung kesalahan prediksi kuadrat. Kerugian seketika ini mendorong sinyal gradien; gradien dari kerugian kuadrat terhadap bobot hanyalah kesalahan dikalikan vektor fitur.

Rumus
\ell_t = (y_t - \hat{y}_t)^2
4

Terapkan aturan pembaruan LMS (least mean squares): gerakkan bobot ke arah gradien negatif dari kerugian. Laju pembelajaran eta mengontrol trade-off antara kecepatan adaptasi dan sensitivitas terhadap kebisingan. Eta yang lebih kecil menghasilkan konvergensi yang lebih mulus; eta yang lebih besar beradaptasi lebih cepat tetapi berisiko osilasi.

Rumus
\mathbf{w}_{t+1} = \mathbf{w}_t + \eta\,(y_t - \hat{y}_t)\,\mathbf{x}_t
5

Proses observasi berikutnya segera, atau simpan mini-batch kecil untuk varian online mini-batch. Dalam pengaturan non-stasioner, laju pembelajaran yang menurun atau faktor pelupaan jendela geser menjaga model tetap responsif terhadap pergeseran konsep. Tidak diperlukan penyesuaian ulang penuh.

Kesalahan umum

  • Menggunakan laju pembelajaran tetap pada data dengan skala fitur yang sangat berbeda — selalu standarisasi fitur secara online (misalnya, rata-rata dan varians berjalan) sebelum memperbarui.
  • Lupa menambahkan regularisasi dalam pengaturan berdimensi tinggi atau mendekati kolinear, yang memungkinkan bobot menyimpang pada aliran yang jarang.
  • Memperlakukan bobot online sebagai setara dengan estimasi OLS dan melaporkannya dengan interval kepercayaan OLS — keduanya tidak identik.
  • Mengabaikan deteksi pergeseran konsep: jika distribusi data bergeser tajam, laju pembelajaran tetap dapat melacak kebisingan daripada sinyal.
  • Mengevaluasi akurasi hanya di akhir aliran panjang alih-alih menggunakan evaluasi prequential (uji-latih) di sepanjang jalan.

Pertanyaan yang sering diajukan

Bagaimana regresi linear daring berbeda dari regresi linear standar (batch)?

Regresi linear batch menyelesaikan persamaan normal pada seluruh kumpulan data sekaligus, memberikan solusi OLS yang tepat. Regresi linear daring memperbarui bobot secara inkremental setelah setiap observasi menggunakan langkah gradien, konvergen ke solusi yang mendekati OLS tanpa pernah memuat semua data — dengan biaya kehilangan statistik inferensi yang tepat.

Berapa laju pembelajaran yang harus saya gunakan?

Titik awal yang umum adalah eta = 0,01 dibagi dengan norma kuadrat yang diharapkan dari vektor fitur. Pencarian grid atau metode adaptif (AdaGrad, Adam) secara otomatis menskalakan laju pembelajaran per fitur dan seringkali lebih mudah disetel daripada laju global tetap.

Bisakah regresi linear daring menangani pergeseran konsep?

Ya. Laju pembelajaran konstan (tidak menurun) membuat model tetap responsif terhadap pergeseran. Untuk pergeseran mendadak, tes deteksi pergeseran eksplisit (misalnya, ADWIN) dapat memicu pengaturan ulang bobot parsial. Laju yang menurun lebih baik ketika hubungannya stasioner dan Anda menginginkan konvergensi akhir.

Apakah regularisasi dimungkinkan dalam pengaturan daring?

Ya. Menambahkan penalti L2 memberikan pembaruan Ridge (Tikhonov) online: kurangi sebagian kecil dari vektor bobot saat ini di setiap langkah. Ini mencegah bobot menjadi besar pada aliran yang jarang atau berisik dan sangat direkomendasikan dalam pengaturan berdimensi tinggi.

Bagaimana cara mengevaluasi model daring secara adil?

Gunakan evaluasi prequential (uji-latih): catat kesalahan prediksi pada setiap observasi sebelum menggunakannya untuk memperbarui model. Ini memberikan perkiraan yang tidak bias dan sekuensial dari kesalahan generalisasi tanpa set data uji terpisah.

Metode terkait

Sumber

  1. Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    Buka referensi DOI
    Disalin.
  2. Haykin, S. (2002). Adaptive Filter Theory (4th ed.). Prentice Hall.

    ISBN: 978-0130901262
    Disalin.