Skip to content
Kembali ke hasil pencarian

Regresi Teks — Memprediksi Angka dari Teks

Jenis
Supervised regression on text features

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Regresi berbasis teks memprediksi variabel target kontinu menggunakan fitur yang diekstrak dari teks — skor TF-IDF, embedding, atau n-gram — sebagai variabel independen.

Membangun program teks-sebagai-data yang dikonsolidasikan oleh Gentzkow, Kelly, dan Taddy (2019), metode ini memungkinkan hasil numerik seperti harga, peringkat, atau skor sentimen diperkirakan langsung dari dokumen, dan banyak digunakan dalam aplikasi ilmu sosial, ekonomi, dan keuangan.

Intuisi di balik metode

Model regresi biasanya membutuhkan prediktor numerik, tetapi bahan mentahnya adalah teks. Idenya adalah mengubah setiap dokumen menjadi vektor angka yang menangkap susunan katanya, kemudian menjalankan regresi target numerik pada fitur-fitur tersebut. Alih-alih mengkodekan secara manual apa arti sebuah dokumen, metode ini membiarkan kata-kata itu sendiri — diberi bobot berdasarkan seberapa informatifnya — mendorong prediksi kuantitas kontinu.

Sejarah

Regresi teks berada dalam gerakan teks-sebagai-data yang lebih luas yang disurvei oleh Gentzkow, Kelly, dan Taddy (2019), yang membingkai bagaimana teks tidak terstruktur dapat berfungsi sebagai input untuk model ekonometrik dan statistik. Taddy (2013) memajukan penggunaan prediktif teks dengan memperkenalkan regresi invers multinomial untuk memulihkan sentimen dan kuantitas lain dari hitungan kata, mengilustrasikan bagaimana hasil numerik dapat dibaca dari fitur kata.

Kapan digunakan

Gunakan regresi teks ketika Anda memiliki prediktor teks dan hasil numerik kontinu yang ingin Anda prediksi darinya, dengan setidaknya sekitar lima puluh dokumen untuk dipelajari. Teks harus di-vektorisasi terlebih dahulu, dan reduksi dimensi seringkali membantu mengingat betapa lebarnya ruang fitur teks. Metode ini tidak mengasumsikan input yang terdistribusi normal. Dengan dokumen yang jauh lebih sedikit, atau tanpa target numerik untuk diregresi, metode ini tidak sesuai.

Batasan dan pertimbangan

  • Membutuhkan sampel yang cukup (sekitar lima puluh dokumen atau lebih) untuk memperkirakan koefisien yang stabil.
  • Teks harus di-vektorisasi terlebih dahulu, dan dimensi yang sangat tinggi biasanya memerlukan reduksi dimensi.
  • Kualitas prediktif bergantung pada seberapa baik fitur teks yang dipilih membawa sinyal tentang target numerik.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Memungkinkan hasil kontinu diprediksi langsung dari teks, tanpa pengkodean manual konten dokumen.
  • Bekerja dengan beberapa jenis fitur — TF-IDF, embedding, atau n-gram — sehingga representasi dapat sesuai dengan korpus.
  • Tidak memerlukan input yang terdistribusi normal, menyesuaikan fitur yang jarang dan berdimensi tinggi yang dihasilkan oleh teks.

Penerapan

  • Memperkirakan peringkat atau skor numerik dari teks ulasan dan umpan balik.
  • Memprediksi kuantitas keuangan atau pasar dari berita, pengajuan, dan pengungkapan.
  • Memulihkan skor sentimen atau sikap kontinu dari teks media sosial dalam penelitian ilmu sosial.
  • Menghubungkan konten tertulis dengan hasil terukur dalam studi ekonomi dan kebijakan.

Cara kerjanya

Cara kerjanya

1

Setiap dokumen dikonversi menjadi fitur numerik sehingga teks menjadi input yang siap untuk regresi. Langkah vektorisasi ini menghasilkan skor TF-IDF, hitungan embedding kata atau dokumen, atau n-gram — mengubah susunan kata yang tidak terstruktur menjadi variabel independen yang akan dibaca oleh regresi.

2

Karena vektor teks biasanya berdimensi sangat tinggi, reduksi dimensi sering diterapkan untuk mengompresi ruang fitur sebelum penyesuaian. Memangkas fitur yang redundan atau jarang menjaga stabilitas model dan membantunya menggeneralisasi daripada menghafal susunan kata yang jarang.

3

Model regresi dilatih untuk memetakan fitur teks ke target kontinu. Regressor linier yang diregularisasi adalah pilihan alami untuk matriks fitur yang lebar dan jarang yang dihasilkan oleh teks, mempelajari koefisien yang menghubungkan susunan kata dengan hasil numerik.

4

Model yang disesuaikan dinilai pada data yang disisihkan dengan metrik regresi, dan kesalahan terbesar diperiksa sebelum model dipercaya. Ini melindungi dari model yang menyesuaikan teks pelatihan tetapi gagal memprediksi target pada dokumen baru.

Kesalahan umum

  • Melewatkan reduksi dimensi pada matriks fitur yang sangat lebar mengundang overfitting pada susunan kata yang jarang.
  • Penyesuaian pada terlalu sedikit dokumen menghasilkan koefisien yang tidak stabil yang tidak menggeneralisasi.
  • Menggunakan kembali vektorizer atau model yang dibangun pada satu korpus atau domain untuk yang lain menurunkan prediksi; sesuaikan kembali pada teks target.
  • Menilai model hanya berdasarkan kecocokan pelatihan — selalu evaluasi pada data yang disisihkan dan periksa kesalahan terbesar.

Pertanyaan yang sering diajukan

Jenis target apa yang diprediksi oleh regresi teks?

Variabel numerik kontinu — misalnya harga, peringkat, atau skor sentimen. Jika targetnya adalah kategori daripada angka, klasifikasi teks adalah metode yang cocok.

Fitur teks mana yang harus saya gunakan sebagai prediktor?

Skor TF-IDF, embedding kata atau dokumen, dan hitungan n-gram adalah pilihan standar. Representasi terbaik bergantung pada korpus dan sinyal yang Anda harapkan dibawa oleh susunan kata tentang target.

Berapa banyak data yang saya butuhkan?

Metode ini mengharapkan sekitar lima puluh dokumen atau lebih sehingga regresi dapat memperkirakan koefisien yang stabil. Karena fitur teks berdimensi tinggi, reduksi dimensi sering disarankan bahkan ketika sampel memadai.

Mengapa reduksi dimensi direkomendasikan?

Vektorisasi teks menghasilkan matriks fitur yang sangat lebar dan jarang. Mengurangi dimensi mengompresi fitur yang redundan, menstabilkan penyesuaian, dan membantu model menggeneralisasi alih-alih menghafal susunan kata yang jarang.

Metode terkait

Sumber

  1. Gentzkow, M., Kelly, B. & Taddy, M. (2019). Text as Data. Journal of Economic Literature, 57(3), 535-574.

    Buka referensi DOI
    Disalin.
  2. Taddy, M. (2013). Measuring Political Sentiment on Twitter: Factor Optimal Design for Multinomial Inverse Regression. Technometrics, 55(4), 415-425.

    Buka referensi DOI
    Disalin.