Skip to content
Kembali ke hasil pencarian

Sentence Embeddings

Diperkenalkan oleh
Kiros et al. (Skip-Thought, 2015); Reimers & Gurevych (Sentence-BERT, 2019)
Tahun
2015–2019
Jenis
Representation learning / embedding
Keluarga
Deep learning / NLP / CV

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Sentence Embeddings mengubah kalimat atau teks pendek menjadi satu vektor padat dengan panjang tetap yang menangkap makna semantiknya.

Vektor-vektor ini memungkinkan tugas hilir — kesamaan semantik, pengelompokan, pengambilan, dan klasifikasi — beroperasi pada representasi numerik alih-alih teks mentah, menjadikannya salah satu blok penyusun paling serbaguna dalam alur kerja NLP modern.

Intuisi di balik metode

Bayangkan setiap kalimat sebagai titik dalam ruang berdimensi tinggi di mana makna menentukan kedekatan: dua kalimat yang mengatakan hal yang sama dengan kata-kata berbeda akan berada sangat dekat, sementara kalimat yang tidak terkait akan berjauhan. Model sentence embedding mempelajari geometri ini dari korpus besar. Setelah model dilatih, menyematkan kalimat baru adalah satu kali lintasan maju — tidak diperlukan pelatihan lebih lanjut — dan tugas hilir apa pun cukup bekerja dengan koordinat ini. Penggunaan kembali geometri yang telah dilatih inilah yang membuat sentence embeddings menjadi kuat: Anda dapat membandingkan, mengelompokkan, atau mengklasifikasikan jutaan teks tanpa label khusus tugas.

Sejarah

Representasi kalimat awal menggunakan vektor kata rata-rata (word2vec, GloVe). Skip-Thought Vectors (Kiros et al., 2015) melatih encoder-decoder untuk memprediksi kalimat di sekitarnya, menghasilkan sentence embedding kontekstual dalam pertama. InferSent (Conneau et al., 2017) disesuaikan pada pasangan NLI dan menunjukkan transfer yang kuat. Sentence-BERT (Reimers & Gurevych, 2019) menerapkan arsitektur BERT Siamese pada data NLI dan secara dramatis meningkatkan kualitas embedding yang diturunkan dari BERT sambil memotong waktu komputasi kesamaan dari 65 jam menjadi sekitar 5 detik untuk 10.000 pasangan kalimat.

Kapan digunakan

Gunakan sentence embeddings ketika Anda perlu mengukur kesamaan semantik, mengelompokkan dokumen, melakukan pengambilan padat (dense retrieval), atau memasukkan teks ke dalam pengklasifikasi tanpa label khusus tugas untuk setiap contoh. Mereka unggul ketika Anda memiliki jumlah teks sedang hingga besar dan menginginkan representasi tujuan umum yang dapat ditransfer antar tugas. Jangan gunakan sentence embeddings mentah — tanpa fine-tuning atau kepala tugas (task head) — ketika Anda memerlukan probabilitas terkalibrasi atau bobot fitur yang dapat diinterpretasikan. Mereka juga kurang cocok untuk teks yang sangat pendek (satu atau dua kata), untuk bahasa yang tidak memiliki encoder yang telah dilatih sebelumnya, atau ketika sumber daya komputasi sangat terbatas, karena mengkodekan jutaan dokumen panjang bisa mahal.

Batasan dan pertimbangan

  • Kualitas embedding sangat bergantung pada kualitas dan domain model yang telah dilatih sebelumnya; teks di luar domain menurunkan kinerja.
  • Merepresentasikan dokumen yang sangat panjang sebagai satu vektor tetap kehilangan informasi lokal yang terperinci.
  • Ambang batas kesamaan kosinus untuk keputusan hilir harus dikalibrasi secara empiris dan tidak universal.
  • Model encoder besar memerlukan memori GPU; menyimpan embedding untuk jutaan dokumen memerlukan ruang disk yang signifikan.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Menangkap makna semantik kaya yang dilewatkan oleh bag-of-words dan TF-IDF, seperti sinonim dan parafrase.
  • Model yang telah dilatih sebelumnya dapat ditransfer langsung ke domain baru dengan sedikit atau tanpa data berlabel.
  • Cepat saat inferensi: setelah dikodekan, pencarian kesamaan pada jutaan vektor memakan waktu milidetik dengan indeks bergaya FAISS.
  • Serbaguna: embedding yang sama melayani pengelompokan, pengambilan, deduplikasi semantik, dan klasifikasi.
  • Varian multibahasa (misalnya, paraphrase-multilingual-mpnet) menangani kesamaan lintas bahasa dengan satu model.

Penerapan

  • Kesamaan tekstual semantik dan deteksi parafrase dalam korpus teks akademik dan komersial.
  • Pengambilan bagian padat (dense passage retrieval) dalam pertanyaan terbuka (open-domain question answering) dan mesin pencari.
  • Pengelompokan dokumen dan paragraf untuk penemuan topik tanpa kategori yang telah ditentukan.
  • Klasifikasi teks zero-shot dan few-shot dengan membandingkan embedding dengan prototipe label.
  • Deteksi dan deduplikasi dekat-duplikat dalam database bibliografi besar.
  • Penyelarasan semantik lintas bahasa dalam sintesis penelitian multibahasa.

Cara kerjanya

Cara kerjanya

1

Kalimat masukan dipecah menjadi token (subkata atau kata) sesuai dengan kosakata encoder — biasanya pemecah token gaya BERT WordPiece atau SentencePiece. Token khusus seperti [CLS] dan [SEP] disisipkan untuk menandai batas kalimat, mempersiapkan urutan untuk encoder.

2

Encoder dalam — paling umum adalah Transformer yang telah dilatih sebelumnya seperti BERT atau RoBERTa — memproses urutan token dan menghasilkan status tersembunyi kontekstual untuk setiap posisi. Setiap status tersembunyi membawa informasi tentang tokennya dalam konteks seluruh kalimat.

Rumus
\mathbf{s} = \text{Pooling}(\text{Encoder}(w_1, \ldots, w_n)) \in \mathbb{R}^d
3

Status tersembunyi per-token diruntuhkan menjadi satu vektor berukuran tetap melalui operasi penggabungan (pooling). Mean-pooling (merata-ratakan semua vektor token) dan ekstraksi token CLS adalah dua pilihan paling umum. Sentence-BERT menunjukkan bahwa mean-pooling atas semua status token secara konsisten mengungguli vektor CLS mentah.

4

Untuk embedding berkualitas tinggi, encoder disesuaikan (fine-tuned) dengan tujuan kontrastif atau kesamaan semantik. Sentence-BERT menggunakan jaringan Siamese yang dilatih pada pasangan inferensi bahasa alami (natural-language inference), mendorong kalimat yang bermakna serupa berdekatan dan yang tidak serupa berjauhan dalam ruang embedding.

5

Pada waktu inferensi, dua vektor kalimat dibandingkan dengan kesamaan kosinus: hasil kali titik dari vektor yang dinormalisasi satuan. Skor mendekati 1 menunjukkan kesetaraan semantik; skor mendekati 0 menunjukkan ortogonalitas. Angka tunggal ini mendorong tugas pengambilan, penghapusan duplikat, pengelompokan, dan klasifikasi.

Rumus
\text{sim}(\mathbf{s}_i, \mathbf{s}_j) = \frac{\mathbf{s}_i \cdot \mathbf{s}_j}{\|\mathbf{s}_i\|\|\mathbf{s}_j\|}

Kesalahan umum

  • Menggunakan token [CLS] mentah dari model BERT dasar sebagai sentence embedding tanpa fine-tuning — ini menghasilkan embedding berkualitas buruk dan non-isostropik.
  • Membandingkan embedding yang dihasilkan oleh arsitektur encoder atau strategi pooling yang berbeda, yang membuat skor kosinus tidak dapat dibandingkan.
  • Memilih ambang batas kesamaan (misalnya, 0,85 berarti 'duplikat') tanpa mengkalibrasinya pada data yang disisihkan dari domain Anda.
  • Mengabaikan kebutuhan untuk menormalisasi vektor sebelum menghitung kesamaan kosinus saat menggunakan indeks pencarian yang hanya menggunakan hasil kali titik (dot-product).
  • Memperlakukan embedding sebagai sesuatu yang dapat diinterpretasikan: dimensi individu tidak memiliki makna semantik dengan sendirinya.

Pertanyaan yang sering diajukan

Model pra-terlatih mana yang harus saya gunakan?

Untuk kesamaan tujuan umum bahasa Inggris, 'all-mpnet-base-v2' dari pustaka sentence-transformers adalah pilihan default yang kuat. Untuk tugas multibahasa, 'paraphrase-multilingual-mpnet-base-v2' mencakup lebih dari 50 bahasa. Selalu lakukan benchmark pada sampel kecil dari domain target Anda sebelum berkomitmen pada suatu model.

Bagaimana ini berbeda dengan menggunakan BERT secara langsung?

BERT standar menghasilkan representasi per-token yang dioptimalkan untuk tugas tingkat token. Menggunakan output mentahnya (misalnya, vektor [CLS]) sebagai sentence embedding menghasilkan hasil kesamaan kosinus yang buruk. Sentence-BERT menyetel BERT dengan tujuan kontrastif sehingga vektor yang dihasilkan secara eksplisit terstruktur untuk perbandingan tingkat kalimat.

Berapa banyak contoh berlabel yang saya butuhkan?

Model sentence embedding siap pakai dari pustaka sentence-transformers memerlukan nol contoh berlabel untuk inferensi. Jika Anda melakukan fine-tuning pada domain Anda, bahkan beberapa ratus pasangan kalimat dengan label kesamaan dapat meningkatkan kinerja secara nyata.

Bisakah saya menggunakan sentence embeddings untuk dokumen panjang?

Sebagian besar encoder memiliki batas token (512 token untuk model berbasis BERT). Untuk teks yang lebih panjang, Anda dapat memecah dokumen menjadi kalimat atau paragraf, menyematkan setiap bagian, dan menggabungkan vektor bagian tersebut. Alternatifnya, model seperti Longformer menangani konteks yang lebih panjang secara native.

Bagaimana cara mengevaluasi kualitas embedding saya?

Benchmark standar meliputi STS-B (Semantic Textual Similarity Benchmark) dan MTEB (Massive Text Embedding Benchmark). Pada data Anda sendiri, pasangan kalimat yang dianotasi manusia dengan skor kesamaan memungkinkan Anda menghitung korelasi Spearman antara skor model dan penilaian manusia.

Metode terkait

Sumber

  1. Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), 3980–3990.

    Buka referensi DOI
    Disalin.
  2. Kiros, R., Zhu, Y., Salakhutdinov, R., Zemel, R. S., Torralba, A., Urtasun, R., & Fidler, S. (2015). Skip-Thought Vectors. Advances in Neural Information Processing Systems (NeurIPS), 28.

    Buka referensi publikasi
    Disalin.