Skip to content
Kembali ke hasil pencarian

Regresi Logistik Semi-Terawasi

Diperkenalkan oleh
Nigam, K.; McCallum, A. et al. (EM variant); Yarowsky, D. (self-training)
Tahun
1995–2000
Jenis
Semi-supervised classifier
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Regresi logistik semi-terawasi memperluas pengklasifikasi logistik standar dengan memasukkan data tak berlabel selama pelatihan.

Menggunakan pembungkus *self-training*, *expectation-maximization*, atau *label-propagation*, metode ini secara iteratif menetapkan label lunak pada contoh tak berlabel dan menyempurnakan parameter model, sehingga meningkatkan generalisasi ketika data berlabel langka relatif terhadap keseluruhan kumpulan data.

Intuisi di balik metode

Bayangkan melatih pengklasifikasi penyakit hanya dengan 50 diagnosis terkonfirmasi tetapi 5.000 catatan pasien yang hasilnya tidak diketahui. Regresi logistik standar sepenuhnya mengabaikan catatan tak berlabel tersebut. Regresi logistik semi-terawasi menggunakan prediksi probabilistik model itu sendiri untuk menetapkan label tentatif pada kasus tak berlabel, melatih ulang pada kumpulan data yang diperbesar dengan label semu tersebut, dan mengulanginya. Setiap iterasi menggeser batas keputusan menuju wilayah kepadatan data yang tinggi, secara efektif membiarkan data tak berlabel memandu penempatan batas tanpa memerlukan anotasi ahli yang mahal.

Sejarah

Pembelajaran semi-terawasi untuk pengklasifikasi probabilistik disistematisasi pada akhir 1990-an. Yarowsky (1995) mempopulerkan *self-training* untuk tugas NLP, dan Nigam et al. (2000) memformalkan pendekatan EM untuk klasifikasi teks dengan model *naive Bayes* dan model mirip logistik. Volume MIT Press tahun 2006 oleh Chapelle, Scholkopf, dan Zien mengkonsolidasikan landasan teoretis. Regresi logistik semi-terawasi sekarang menjadi teknik standar dalam pengaturan di mana anggaran anotasi terbatas, diimplementasikan dalam pembungkus SelfTrainingClassifier scikit-learn dan pustaka SSL khusus.

Kapan digunakan

Pilih regresi logistik semi-terawasi ketika contoh berlabel sedikit — biasanya ketika fraksi berlabel di bawah 20% dari total data yang tersedia — tetapi terdapat kumpulan data tak berlabel yang besar dari distribusi yang sama dan anotasi mahal. Metode ini sangat cocok untuk klasifikasi teks, prediksi hasil klinis, dan penelitian survei di mana hasil diamati sebagian. Jangan gunakan ketika data tak berlabel berasal dari distribusi yang berbeda dari himpunan berlabel (pergeseran kovariat), ketika label hilang tidak secara acak dan ketidaklengkapan bersifat informatif, atau ketika himpunan berlabel sudah cukup besar sehingga regresi logistik standar mencapai kinerja yang baik — dalam kasus tersebut, kebisingan label semu justru menambah kerugian daripada manfaat.

Batasan dan pertimbangan

  • Jika data berlabel awal terlalu sedikit atau tidak representatif, label semu awal akan berisik dan kesalahan akan menumpuk di seluruh iterasi.
  • Mengasumsikan bahwa data tak berlabel diambil dari distribusi yang sama dengan data berlabel — seringkali dilanggar dalam skenario pengumpulan dunia nyata.
  • Konvergensi ke optimum lokal tidak dijamin lebih baik daripada *baseline* terawasi.
  • Ambang batas kepercayaan dalam *self-training* memerlukan penyetelan dan berinteraksi dengan ketidakseimbangan kelas dengan cara yang tidak jelas.
  • Interpretasi koefisien menjadi lebih sulit karena kumpulan data pelatihan yang efektif mencakup label yang dihasilkan secara algoritmik.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Memanfaatkan kumpulan data tak berlabel yang besar untuk meningkatkan pengklasifikasi logistik tanpa biaya pelabelan tambahan.
  • Mempertahankan interpretasi koefisien regresi logistik dan rasio peluang (*odds ratios*).
  • Pembungkus *self-training* bersifat *model-agnostic* dan mudah ditambahkan ke *pipeline* regresi logistik yang ada.
  • Varian EM menyediakan kerangka kerja probabilistik yang berprinsip dengan jaminan konvergensi formal.
  • Regularisasi (L1/L2) dapat digabungkan secara langsung untuk mengontrol *overfitting* pada data berlabel semu.

Penerapan

  • Prediksi hasil klinis di mana hanya sebagian pasien yang memiliki diagnosis terkonfirmasi.
  • Klasifikasi teks dengan korpus besar dan kumpulan data pelatihan berlabel pakar yang kecil.
  • Penelitian survei di mana responden hanya menjawab sebagian pertanyaan hasil.
  • Analisis sentimen dan penambangan opini dengan data media sosial yang diberi anotasi sebagian.
  • Deteksi penipuan di mana kasus penipuan yang dikonfirmasi jarang terjadi tetapi volume transaksi besar.
  • Studi pencitraan medis di mana label ahli radiologi tersedia untuk sebagian pemindaian.

Cara kerjanya

Cara kerjanya

1

Model regresi logistik standar disesuaikan pada contoh berlabel yang tersedia. Ini memberikan estimasi koefisien awal dan estimasi probabilitas kelas untuk setiap observasi. Bahkan dengan sedikit label, *warm start* ini menghasilkan batas keputusan awal yang masuk akal yang akan disempurnakan oleh iterasi berikutnya.

2

Model yang terlatih menilai setiap contoh tak berlabel, menghasilkan probabilitas posterior P(y=k | x) untuk setiap kelas. Dalam *self-training*, contoh yang probabilitas maksimumnya melebihi ambang batas kepercayaan diberi label semu yang keras. Dalam pendekatan berbasis EM, keanggotaan fraksional lunak ditetapkan daripada kelas yang keras, menjaga ketidakpastian tetap eksplisit di seluruh proses.

Rumus
\hat{y}_u = \arg\max_k \, p(y=k \mid x_u; \theta)
3

Regresi logistik disesuaikan ulang pada kumpulan gabungan contoh berlabel asli dan contoh tak berlabel berlabel semu (atau berlabel lunak). Regularisasi — L1 atau L2 — diterapkan untuk mencegah kumpulan data yang diperluas mendorong koefisien menuju sinyal label semu yang berisik secara terlalu agresif.

4

Langkah-langkah penilaian data tak berlabel dan pelatihan ulang diulang hingga konvergensi — biasanya ketika perubahan dalam *log-likelihood* atau nilai koefisien antar iterasi turun di bawah toleransi kecil. Varian EM secara formal bergantian antara langkah E (menghitung label yang diharapkan) dan langkah M (memaksimalkan *log-likelihood* data lengkap).

5

Setelah konvergen, model akhir dievaluasi pada set uji berlabel yang disisihkan menggunakan metrik standar seperti akurasi, AUC, dan F1. Validasi silang harus dilakukan hanya pada partisi berlabel untuk menghindari kebocoran label dari kumpulan tak berlabel ke estimasi validasi.

Kesalahan umum

  • Memasukkan contoh tak berlabel ke dalam kumpulan data validasi atau pengujian, yang membengkakkan estimasi kinerja dengan membocorkan informasi distribusi.
  • Menetapkan ambang batas kepercayaan yang rendah yang membanjiri kumpulan data pelatihan dengan label semu yang tidak pasti, memperparah kesalahan awal.
  • Mengabaikan ketidakseimbangan kelas saat menetapkan label semu, menyebabkan kelas mayoritas mendominasi iterasi berturut-turut.
  • Memperlakukan data berlabel semu seolah-olah data tersebut benar-benar berlabel dalam kuantifikasi ketidakpastian hilir atau pengujian signifikansi.
  • Melewatkan regularisasi pada kumpulan data pelatihan yang diperluas, memungkinkan kebisingan label semu mendorong *overfitting*.

Pertanyaan yang sering diajukan

Bagaimana regresi logistik semi-terawasi berbeda dari regresi logistik standar?

Regresi logistik standar hanya menggunakan contoh berlabel. Varian semi-terawasi secara iteratif menetapkan label tentatif pada data tak berlabel dan memasukkannya dalam pelatihan ulang, sehingga batas keputusan dibentuk oleh label terkonfirmasi dan struktur kumpulan data tak berlabel yang lebih besar.

Ambang batas kepercayaan berapa yang harus saya gunakan untuk *self-training*?

Titik awal umum adalah 0,85–0,95 untuk klasifikasi biner. Ambang batas yang tepat bergantung pada keseimbangan kelas dan kualitas label. Sesuaikan pada set validasi berlabel dan pantau fraksi contoh tak berlabel yang ditambahkan per iterasi untuk menghindari banjir label semu yang tidak pasti.

Bisakah saya masih menafsirkan koefisien sebagai rasio peluang (*odds ratios*)?

Ya, tetapi dengan hati-hati. Koefisien yang diestimasi mempertahankan interpretasi log-peluang (*log-odds*), tetapi interval kepercayaannya diremehkan karena data berlabel semu diperlakukan sebagai observasi nyata. Inferensi tentang signifikansi harus hanya mengandalkan bagian yang benar-benar berlabel.

Bagaimana jika data tak berlabel saya berasal dari periode waktu atau sumber yang berbeda?

Pergeseran distribusi antara himpunan berlabel dan tak berlabel adalah salah satu mode kegagalan utama. Jika data tak berlabel berasal dari populasi atau periode yang berbeda, label semu dapat memperkuat kesalahan sistematis. Periksa pergeseran kovariat sebelum melanjutkan.

Apakah ada implementasi yang siap pakai?

Ya. SelfTrainingClassifier scikit-learn membungkus pengklasifikasi probabilistik apa pun, termasuk LogisticRegression, untuk *self-training*. Varian EM memerlukan implementasi manual atau pustaka SSL khusus seperti SKSSL atau LASSL.

Metode terkait

Sumber

  1. Nigam, K., McCallum, A., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39, 103–134.

    Buka referensi DOI
    Disalin.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Disalin.