Regresi Linier Pembelajaran Aktif
- Diperkenalkan oleh
- Cohn, D. A.; Ghahramani, Z.; Jordan, M. I.
- Tahun
- 1996
- Jenis
- Active learning / iterative supervised learning
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Regresi Linier Pembelajaran Aktif adalah pendekatan pembelajaran mesin iteratif yang menggabungkan model regresi linier dengan strategi kueri cerdas untuk memilih titik tak berlabel yang paling informatif untuk diberi label.
Dengan memfokuskan upaya pelabelan di mana ketidakpastian tertinggi, ia mencapai akurasi prediktif yang kompetitif dengan contoh berlabel jauh lebih sedikit daripada pengambilan sampel acak pasif.
Intuisi di balik metode
Melabeli data seringkali mahal — pikirkan pengukuran klinis, anotasi ahli, atau eksperimen laboratorium. Daripada melabeli semuanya secara acak, pembelajar aktif menyesuaikan regresi linier pada kumpulan kecil berlabel yang dimilikinya, mengidentifikasi di mana prediksinya paling tidak pasti, meminta oracle untuk melabeli titik-titik tersebut, dan kemudian melatih ulang. Siklus ini berulang hingga anggaran habis atau kinerja memenuhi target. Hasilnya adalah model yang belajar secara efisien, menghabiskan sumber daya pelabelan tepat di tempat yang paling penting — dekat batas keputusan atau di wilayah yang jarang datanya.
Sejarah
Kerangka kerja formal untuk pembelajaran aktif dengan model statistik didirikan oleh Cohn, Ghahramani, dan Jordan pada tahun 1996, yang menunjukkan bahwa pengurangan varians di bawah model probabilistik memberikan kriteria kueri yang berprinsip. Karya ini menyatukan pembelajaran aktif dengan literatur desain eksperimental optimal klasik (kembali ke Kiefer dan Wolfowitz, 1959). Settles (2012) kemudian mengkonsolidasikan bidang pembelajaran aktif yang lebih luas, dan regresi linier aktif tetap menjadi contoh kanonik yang mengilustrasikan prinsip-prinsip inti kueri berdasarkan ketidakpastian.
Kapan digunakan
Gunakan Regresi Linier Pembelajaran Aktif ketika hubungan antara prediktor dan hasil kontinu kira-kira linier, label langka atau mahal untuk diperoleh (misalnya, eksperimen laboratorium basah, uji klinis, anotasi ahli), dan ada kumpulan besar kandidat tak berlabel. Sangat cocok untuk masalah desain eksperimental berdimensi rendah. Hindari jika hubungan sebenarnya sangat nonlinier (lebih pilih varian proses Gaussian aktif atau jaringan saraf), ketika biaya label dapat diabaikan (pengambilan sampel pasif sudah cukup), atau ketika kumpulan tak berlabel terlalu kecil untuk mendapat manfaat dari pemilihan.
Batasan dan pertimbangan
- Mengasumsikan hubungan sebenarnya linier; salah spesifikasi dapat menyebabkan keputusan kueri yang buruk dan estimasi yang bias.
- Kinerja menurun dalam pengaturan berdimensi tinggi di mana kumpulan berlabel awal terlalu jarang untuk memperkirakan varians secara andal.
- Strategi kueri serakah dapat terlalu fokus pada wilayah batas sambil mengabaikan cakupan utama.
- Membutuhkan akses ke oracle (ahli manusia atau eksperimen) yang dapat memberi label pada titik mana pun yang dikueri sesuai permintaan.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Secara dramatis mengurangi upaya pelabelan dengan menargetkan contoh yang paling informatif terlebih dahulu.
- Didasarkan pada teori desain eksperimental optimal klasik, memberikan jaminan teoretis pada pengurangan varians.
- Sederhana dan dapat diinterpretasikan: model yang mendasarinya tetap regresi linier biasa dengan koefisien yang transparan.
- Murah secara komputasi — varians prediktif untuk regresi linier memiliki pembaruan bentuk tertutup.
- Bekerja dengan baik dalam pengaturan dimensi rendah hingga sedang dengan hubungan yang benar-benar linier.
Penerapan
- Penemuan obat dan ilmu material: memilih senyawa kimia mana yang akan disintesis dan diuji selanjutnya.
- Uji klinis: secara iteratif memilih pasien untuk pengukuran guna meminimalkan ukuran sampel sambil memperkirakan kurva respons dosis.
- Pemantauan lingkungan: memilih lokasi penempatan sensor untuk mengoptimalkan estimasi medan polusi atau suhu.
- Pipeline NLP anotator-dalam-loop: memilih kalimat untuk pelabelan ahli dalam tugas penilaian berbasis regresi.
- Optimasi proses industri: desain eksperimen sekuensial untuk memetakan permukaan keluaran kontinu dengan jumlah percobaan minimal.
Cara kerjanya
Cara kerjanya
Algoritma dimulai dengan sekumpulan kecil benih berlabel dan kumpulan besar instans tak berlabel. Kumpulan benih harus cukup beragam untuk memberikan kecocokan awal yang masuk akal pada regresi awal; sampel acak 5–20 titik adalah pilihan umum.
Model regresi linier disesuaikan pada kumpulan berlabel saat ini menggunakan metode kuadrat terkecil biasa. Vektor koefisien estimasi beta-topi mendefinisikan permukaan prediksi saat ini di semua masukan.
Rumus
\hat{\beta} = (X^\top X)^{-1} X^\top yUntuk setiap titik tak berlabel, kriteria kueri dihitung — biasanya varians prediktif dari model regresi pada titik tersebut. Titik dengan varians tertinggi (ketidakpastian tertinggi) dipilih sebagai kandidat paling informatif untuk pelabelan. Pemilihan berbasis varians sesuai dengan desain eksperimental optimal klasik (kriteria D-optimal atau A-optimal).
Rumus
x^* = \arg\max_{x \in \mathcal{U}} \sigma^2(x)Titik tak berlabel yang dipilih disajikan kepada oracle — anotator manusia, instrumen laboratorium, atau sistem pengukuran otomatis — yang memberikan label sebenarnya (nilai respons kontinu). Langkah pelabelan ini biasanya merupakan hambatan dalam biaya dan waktu.
Titik yang baru diberi label ditambahkan ke kumpulan berlabel dan model regresi linier disesuaikan kembali pada kumpulan yang diperluas. Siklus kueri-label-sesuaikan kembali berlanjut hingga anggaran pelabelan habis atau kriteria penghentian (misalnya, ambang batas varians minimum) terpenuhi.
Kesalahan umum
- Memulai dengan kumpulan benih yang terlalu kecil atau tidak representatif, menyebabkan kueri awal didorong oleh model yang dipasang dengan buruk.
- Mengabaikan salah spesifikasi model — jika datanya nonlinier, kriteria varians akan secara sistematis memilih titik yang tidak membantu.
- Memperlakukan model akhir seolah-olah dipasang dari sampel acak pasif; sampel aktif tidak IID, yang dapat membatalkan rumus standar kesalahan standar.
- Mencampuradukkan varians prediktif dengan varians residual; kriteria kueri haruslah varians prediksi pada titik-titik baru, bukan residual pelatihan.
Pertanyaan yang sering diajukan
Bagaimana pembelajaran aktif berbeda dari regresi linier biasa?
Regresi linier biasa disesuaikan pada kumpulan data berlabel yang dikumpulkan secara pasif. Regresi linier pembelajaran aktif menambahkan loop kueri: setelah setiap penyesuaian, model memilih titik tak berlabel yang paling tidak pasti, meminta labelnya, dan melatih ulang — berulang hingga anggaran pelabelan habis.
Strategi kueri mana yang paling baik?
Untuk regresi linier, memaksimalkan varians prediktif (setara dengan desain eksperimental D-optimal atau A-optimal) dibenarkan secara teoretis dan efektif secara praktis. Ini memilih titik yang akan paling mengurangi ketidakpastian parameter secara keseluruhan.
Bisakah saya menggunakan ini dengan regresi yang diregularisasi (Ridge, Lasso)?
Ya. Varians prediktif dapat dihitung untuk regresi Ridge dengan penyesuaian bentuk tertutup yang sederhana. Untuk Lasso, ekspresi varians tidak begitu jelas, sehingga praktisi sering menggunakan estimasi ketidakpastian berbasis Bootstrap atau beralih ke formulasi regresi linier Bayesian.
Apakah pengambilan sampel aktif membiaskan kesalahan standar koefisien regresi?
Ya. Karena sampel berlabel tidak ditarik secara IID dari populasi, rumus kesalahan standar OLS standar menjadi bias. Solusinya termasuk estimator berbobot probabilitas terbalik atau melatih ulang dengan penahan acak yang ditarik secara pasif.
Berapa banyak titik benih yang saya perlukan untuk memulai?
Minimal Anda memerlukan p + 1 titik berlabel untuk menyesuaikan regresi prediktor p, tetapi kumpulan benih setidaknya 2p titik direkomendasikan untuk mendapatkan estimasi varians awal yang stabil. Pemilihan acak kumpulan benih adalah praktik standar.
Metode terkait
Sumber
Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.
Buka referensi DOIDisalin.Cohn, D. A., Ghahramani, Z., & Jordan, M. I. (1996). Active learning with statistical models. Journal of Artificial Intelligence Research, 4, 129–145.
Buka referensi DOIDisalin.