Regresi Logistik Pembelajaran Aktif
- Diperkenalkan oleh
- Lewis, D. D. & Gale, W. A.; Settles, B. (survey)
- Tahun
- 1994–2010
- Jenis
- Active learning framework with logistic regression base learner
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Regresi Logistik Pembelajaran Aktif adalah kerangka kerja iteratif yang efisien label di mana model regresi logistik memilih contoh yang tidak berlabel yang paling tidak pasti, sebuah oracle (anotator manusia) memberi label pada contoh tersebut, dan model dilatih ulang — berulang hingga anggaran pelabelan atau target akurasi terpenuhi.
Ini secara dramatis mengurangi biaya anotasi dibandingkan dengan pelabelan acak.
Intuisi di balik metode
Pelabelan data itu mahal. Alih-alih menganotasi sampel acak, bayangkan model logistik menunjuk hanya pada contoh-contoh di mana probabilitas prediksinya paling dekat dengan 0,5 — yang berarti model benar-benar tidak dapat memutuskan. Seorang ahli hanya memberi label pada kasus-kasus batas tersebut, dan model dilatih ulang. Karena setiap contoh berlabel membawa informasi maksimum, model mencapai akurasi yang baik dengan label yang jauh lebih sedikit daripada pembelajaran pasif. Regresi logistik disukai di sini karena memberikan probabilitas terkalibrasi yang secara langsung mencerminkan ketidakpastian.
Sejarah
Pembelajaran aktif sebagai kerangka kerja diformalkan pada awal 1990-an. Lewis dan Gale (1994) memperkenalkan pengambilan sampel ketidakpastian untuk klasifikasi teks menggunakan pembelajar Naive Bayes, dan pendekatan tersebut dengan cepat diadaptasi untuk regresi logistik. Survei Settles tahun 2010 menjadi referensi kanonik, mengkatalogkan strategi kueri termasuk kepercayaan paling sedikit, pengambilan sampel margin, dan entropi. Regresi logistik tetap menjadi pembelajar dasar yang paling sering dikutip dalam tolok ukur pembelajaran aktif berbasis kumpulan karena probabilitasnya terkalibrasi dan biaya pelatihannya rendah.
Kapan digunakan
Gunakan pembelajaran aktif dengan regresi logistik ketika anotasi mahal (rekaman medis, dokumen hukum, survei spesialis) dan data tanpa label melimpah, tetapi anggaran pelabelan total terbatas. Ini unggul untuk klasifikasi teks biner atau multi-kelas, analisis sentimen, dan pengkodean klinis ketika fitur cukup dapat dipisahkan secara linier. Hindari jika (a) batas keputusan sangat nonlinier dan regresi logistik tidak dapat memodelkannya bahkan dengan rekayasa fitur, (b) oracle tidak dapat diandalkan atau mahal untuk dikueri berulang kali, (c) kumpulan berlabel sudah cukup besar untuk pengawasan penuh, atau (d) kumpulan tanpa label terlalu kecil untuk mendapatkan manfaat dari kueri selektif.
Batasan dan pertimbangan
- Kinerja menurun ketika batas keputusan sebenarnya bersifat nonlinier; dalam kasus seperti itu, SVM kernel atau pembelajar aktif neural lebih disukai.
- Pengambilan sampel ketidakpastian dapat membuat set berlabel yang bias yang terlalu mewakili contoh-contoh batas dan kurang mewakili sebagian besar dari setiap kelas.
- Membutuhkan interaksi berulang dengan oracle, yang menambah overhead logistik dibandingkan dengan satu batch pelabelan.
- Cold-start: set benih awal sangat memengaruhi kueri awal, sehingga benih yang dipilih dengan buruk dapat memperlambat konvergensi.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Secara dramatis mengurangi jumlah label yang dibutuhkan untuk mencapai target akurasi dibandingkan dengan pengambilan sampel acak.
- Regresi logistik menyediakan probabilitas yang terkalibrasi secara bawaan, membuat perkiraan ketidakpastian andal tanpa kalibrasi tambahan.
- Transparan dan dapat diaudit: model linier dan kriteria kueri keduanya dapat diperiksa.
- Murah secara komputasi untuk dilatih ulang setelah setiap kueri, memungkinkan alur kerja anotasi waktu nyata atau mendekati waktu nyata.
- Ditransfer dengan mulus ke klasifikasi teks dengan representasi fitur TF-IDF atau bag-of-words.
Penerapan
- Klasifikasi teks dan analisis sentimen dengan korpus berlabel terbatas.
- Pengkodean rekam medis dan NLP klinis di mana anotasi ahli mahal.
- Pipeline anotasi aktif untuk survei ilmu sosial dan moderasi konten.
- Umpan balik relevansi pengambilan informasi di mana pengguna hanya memberi label pada dokumen yang tidak pasti.
- Bootstrapping pengenalan entitas biomedis dengan anotasi benih minimal.
Cara kerjanya
Cara kerjanya
Sebuah set benih kecil contoh berlabel dikumpulkan — seringkali 10 hingga beberapa ratus contoh tergantung pada domainnya. Model regresi logistik dilatih pada set benih ini untuk menetapkan batas keputusan awal. Contoh yang tersisa tanpa label membentuk kumpulan dari mana kueri akan ditarik.
Regresi logistik menyesuaikan batas keputusan linier dengan memaksimalkan log-likelihood dari set berlabel. Keluaran adalah probabilitas P(y=1|x) = sigmoid(w^T x) untuk setiap contoh. Karena regresi logistik menghasilkan probabilitas terkalibrasi, skor kepercayaannya secara langsung dapat diinterpretasikan sebagai perkiraan ketidakpastian — alasan utama mengapa ia berpasangan secara alami dengan pembelajaran aktif.
Rumus
P(y=1 \mid x) = \sigma(\mathbf{w}^\top x)Setiap contoh tanpa label dalam kumpulan diberi skor berdasarkan kriteria ketidakpastian. Yang paling umum adalah pengambilan sampel paling sedikit percaya diri: model memilih contoh yang probabilitas kelas maksimumnya paling rendah (yaitu, model paling tidak yakin). Untuk masalah biner, ini berkurang menjadi pemilihan titik terdekat dengan batas keputusan (probabilitas prediksi paling dekat dengan 0,5).
Rumus
x^* = \arg\min_{x \in U} \max_y P(y \mid x, \hat{\theta})Contoh yang paling tidak pasti (atau sekumpulan k contoh paling tidak pasti) disajikan kepada anotator manusia atau oracle untuk diberi label. Oracle memberikan label kelas yang sebenarnya, yang ditambahkan ke set pelatihan berlabel. Anggaran pelabelan tetap menentukan berapa banyak kueri yang diizinkan oleh loop.
Model regresi logistik dilatih ulang pada set berlabel yang diperluas. Kinerja dievaluasi pada set validasi yang ditahan. Jika anggaran belum habis dan target akurasi belum tercapai, loop kembali ke langkah penilaian ketidakpastian. Proses berakhir ketika anggaran habis atau kinerja mendatar.
Kesalahan umum
- Mengevaluasi kinerja hanya pada set berlabel yang dipilih secara aktif daripada set terpisah yang ditahan i.i.d., yang meningkatkan perkiraan akurasi.
- Mengabaikan ketidakseimbangan kelas dalam set benih — benih yang tidak seimbang menyebabkan model mengkueri hampir secara eksklusif dari batas kelas minoritas.
- Menerapkan pengambilan sampel ketidakpastian ke kumpulan dengan pergeseran distribusi antara data berlabel dan tidak berlabel tanpa pembobotan kepadatan atau koreksi keterwakilan.
- Memperlakukan model akhir sebagai regresi logistik standar tanpa memperhitungkan pengambilan sampel yang bias saat melaporkan interval kepercayaan atau uji hipotesis.
Pertanyaan yang sering diajukan
Mengapa menggunakan regresi logistik alih-alih model yang lebih kuat?
Regresi logistik menyediakan probabilitas yang terkalibrasi dengan baik, dilatih ulang dengan cepat setelah setiap kueri, dan dapat diinterpretasikan — semuanya penting dalam loop pembelajaran aktif di mana model diperbarui berkali-kali dan skor ketidakpastian harus dapat dipercaya. Model yang lebih kompleks dapat digunakan tetapi meningkatkan biaya pelatihan ulang dan mungkin memerlukan kalibrasi probabilitas (misalnya, penskalaan Platt untuk SVM).
Berapa banyak label benih yang saya butuhkan untuk memulai?
Tidak ada aturan tetap, tetapi 10–50 contoh berlabel per kelas adalah titik awal umum dalam literatur. Terlalu sedikit benih menghasilkan model awal yang tidak stabil yang perkiraan ketidakpastiannya tidak dapat diandalkan; terlalu banyak mengalahkan tujuan pembelajaran aktif.
Apa perbedaan antara pengambilan sampel ketidakpastian dan query by committee?
Pengambilan sampel ketidakpastian menggunakan kepercayaan prediksi satu model untuk memilih kueri. Query by committee melatih komite model dan memilih titik-titik di mana mereka paling tidak setuju. Untuk regresi logistik, pengambilan sampel ketidakpastian (kepercayaan paling sedikit atau entropi) lebih umum karena hanya membutuhkan satu model.
Bisakah saya menggunakan kueri batch alih-alih satu per satu?
Ya. Pembelajaran aktif mode batch memilih k contoh paling tidak pasti teratas per putaran untuk mengurangi frekuensi interaksi oracle. Heuristik umum adalah menggunakan ukuran batch 10–50, melatih ulang setelah setiap batch daripada setelah setiap kueri tunggal.
Bagaimana cara mengevaluasi kurva pembelajaran aktif?
Plot akurasi klasifikasi (atau F1, AUC) pada set pengujian tetap yang ditahan sebagai fungsi dari jumlah label yang dikueri. Bandingkan kurva ini dengan baseline pengambilan sampel acak. Area di bawah kurva pembelajaran relatif terhadap pengambilan sampel acak mengukur peningkatan efisiensi pelabelan.
Metode terkait
Sumber
Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
Buka referensi publikasiDisalin.Lewis, D. D., & Gale, W. A. (1994). A sequential algorithm for training text classifiers. Proceedings of the 17th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 3–12.
Buka referensi DOIDisalin.