İçeriğe atla
Arama sonuçlarına dön

Cümle Gömme (Sentence Embeddings)

Ortaya koyan
Kiros et al. (Skip-Thought, 2015); Reimers & Gurevych (Sentence-BERT, 2019)
Yıl
2015–2019
Tür
Representation learning / embedding
Aile
Deep learning / NLP / CV

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Cümle Gömme, bir cümleyi veya kısa bir metni, anlamsal anlamını yakalayan tek, sabit uzunlukta yoğun bir vektöre dönüştürür.

Bu vektörler, anlamsal benzerlik, kümeleme, erişim ve sınıflandırma gibi sonraki görevlerin ham metin yerine sayısal temsiller üzerinde çalışmasına olanak tanır, bu da onları modern Doğal Dil İşleme (NLP) işlem hatlarındaki en çok yönlü yapı taşlarından biri haline getirir.

Yöntemin mantığı

Her cümleyi, anlamın yakınlığı belirlediği yüksek boyutlu bir uzaydaki bir nokta olarak düşünün: Farklı kelimelerle aynı şeyi söyleyen iki cümle birbirine çok yakın düşerken, ilgisiz cümleler birbirinden uzakta durur. Bir cümle gömme modeli bu geometriyi büyük veri kümelerinden öğrenir. Model eğitildikten sonra, yeni bir cümleyi gömmek tek bir ileri geçiştir — başka eğitim gerekmez — ve herhangi bir sonraki görev yalnızca bu koordinatlarla çalışır. Önceden eğitilmiş bir geometrinin bu yeniden kullanımı, cümle gömmeyi güçlü kılan şeydir: görevlere özgü etiketler olmadan milyonlarca metni karşılaştırabilir, kümeleyebilir veya sınıflandırabilirsiniz.

Tarih

Erken cümle temsilleri ortalama kelime vektörlerini (word2vec, GloVe) kullandı. Skip-Thought Vectors (Kiros ve ark., 2015), çevredeki cümleleri tahmin etmek için bir kodlayıcı-kod çözücü eğitti ve ilk derin bağlamsal cümle gömmelerini üretti. InferSent (Conneau ve ark., 2017), NLI çiftleri üzerinde ince ayar yaptı ve güçlü bir aktarım gösterdi. Sentence-BERT (Reimers & Gurevych, 2019), NLI verilerine bir Siamese BERT mimarisi uyguladı ve BERT'ten türetilen gömmelerin kalitesini önemli ölçüde iyileştirirken, 10.000 cümle çifti için benzerlik hesaplama süresini 65 saatten yaklaşık 5 saniyeye düşürdü.

Ne zaman kullanılır?

Anlamsal benzerliği ölçmeniz, belgeleri kümelemeniz, yoğun erişim gerçekleştirmeniz veya her örnek için görevlere özgü etiketler olmadan bir sınıflandırıcıya metin beslemeniz gerektiğinde cümle gömmeleri kullanın. Orta ila büyük miktarda metniniz olduğunda ve görevler arasında aktarılan genel amaçlı bir temsile ihtiyaç duyduğunuzda üstünlük sağlarlar. Ham cümle gömmeleri — ince ayar veya görev başlığı olmadan — kalibre edilmiş olasılıklar veya yorumlanabilir özellik ağırlıkları gerektirdiğinde kullanmayın. Ayrıca çok kısa metinler (bir veya iki kelime), önceden eğitilmiş bir kodlayıcının bulunmadığı diller veya milyonlarca uzun belgeyi kodlamak maliyetli olabileceğinden hesaplama kaynaklarının önemli ölçüde kısıtlı olduğu durumlar için uygun değildir.

Sınırlar ve dikkat edilmesi gerekenler

  • Gömme kalitesi, önceden eğitilmiş modelin kalitesine ve alanına büyük ölçüde bağlıdır; alan dışı metin performansı düşürür.
  • Çok uzun belgeleri tek bir sabit vektör olarak temsil etmek, ince taneli yerel bilgiyi kaybeder.
  • Sonraki kararlar için kosinüs benzerliği eşikleri ampirik olarak kalibre edilmeli ve evrensel değildir.
  • Milyonlarca belge için gömmeleri depolamak önemli disk alanı gerektirir; büyük kodlayıcı modeller GPU belleği gerektirir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Kelime torbası (bag-of-words) ve TF-IDF'nin kaçırdığı eşanlamlılık ve paralellik gibi zengin anlamsal anlamı yakalayın.
  • Önceden eğitilmiş modeller, az veya hiç etiketli veriyle yeni alanlara kutudan çıktığı gibi aktarılır.
  • Çıkarımda hızlı: kodlandıktan sonra, FAISS tarzı dizinlerle milyonlarca vektör üzerinde benzerlik araması milisaniyeler sürer.
  • Çok yönlü: aynı gömmeler kümeleme, erişim, anlamsal tekilleştirme ve sınıflandırma için hizmet eder.
  • Çok dilli varyantlar (örneğin, paraphrase-multilingual-mpnet) tek bir modelle diller arası benzerliği ele alır.

Uygulama alanları

  • Akademik ve ticari metin veri kümelerinde anlamsal metin benzerliği ve paralellik tespiti.
  • Açık alan soru cevaplama ve arama motorlarında yoğun pasaj erişimi.
  • Önceden tanımlanmış kategoriler olmadan konu keşfi için belge ve paragraf kümeleme.
  • Etiket prototiplerine karşı gömmeleri karşılaştırarak sıfır-çekim ve az-çekim metin sınıflandırma.
  • Büyük bibliyografik veritabanlarında yakın kopya tespiti ve tekilleştirme.
  • Çok dilli araştırma sentezinde diller arası anlamsal hizalama.

Nasıl çalışır?

Nasıl çalışır?

1

Girdi cümlesi, kodlayıcı sözlüğüne göre (genellikle BERT tarzı bir WordPiece veya SentencePiece belirteci) belirteçlere (alt kelimeler veya kelimeler) ayrılır. Cümle sınırlarını işaretlemek için [CLS] ve [SEP] gibi özel belirteçler eklenir ve dizi kodlayıcı için hazırlanır.

2

En yaygın olarak BERT veya RoBERTa gibi önceden eğitilmiş bir Transformer olan derin bir kodlayıcı, belirteç dizisini işler ve her konum için bağlamsal bir gizli durum üretir. Her gizli durum, tüm cümlenin bağlamındaki belirteci hakkında bilgi taşır.

Formül
\mathbf{s} = \text{Pooling}(\text{Encoder}(w_1, \ldots, w_n)) \in \mathbb{R}^d
3

Belirteç başına gizli durumlar, bir havuzlama işlemiyle tek bir sabit boyutlu vektöre indirgenir. Ortalama havuzlama (tüm belirteç vektörlerinin ortalamasını alma) ve CLS belirteci çıkarma en yaygın iki seçenektir. Sentence-BERT, tüm belirteç durumları üzerindeki ortalama havuzlamanın ham CLS vektöründen tutarlı bir şekilde daha iyi performans gösterdiğini göstermiştir.

4

Yüksek kaliteli gömmeler için kodlayıcı, zıt veya anlamsal benzerlik hedefiyle ince ayarlanır. Sentence-BERT, doğal dil çıkarım çiftleri üzerinde eğitilmiş bir Siamese ağı kullanarak, anlamsal olarak benzer cümleleri gömme uzayında birbirine yaklaştırır ve benzemeyenleri birbirinden uzaklaştırır.

5

Çıkarım zamanında, iki cümle vektörü kosinüs benzerliği ile karşılaştırılır: birim normalleştirilmiş vektörlerin nokta çarpımı. 1'e yakın puanlar anlamsal eşdeğerliği gösterir; 0'a yakın puanlar dikliği gösterir. Bu tek sayı, erişim, tekilleştirme, kümeleme ve sınıflandırma görevlerini yönlendirir.

Formül
\text{sim}(\mathbf{s}_i, \mathbf{s}_j) = \frac{\mathbf{s}_i \cdot \mathbf{s}_j}{\|\mathbf{s}_i\|\|\mathbf{s}_j\|}

Sık yapılan hatalar

  • İnce ayar yapmadan temel bir BERT modelinden ham [CLS] belirtecinin cümle gömme olarak kullanılması — bu, düşük kaliteli, izotropik olmayan gömmeler üretir.
  • Farklı kodlayıcı mimarileri veya havuzlama stratejileri tarafından üretilen gömmeleri karşılaştırmak, kosinüs puanlarını karşılaştırılamaz hale getirir.
  • Benzerlik eşiği seçmek (örneğin, 0.85 'kopya' anlamına gelir) alanınızdan ayrılmış veriler üzerinde kalibre etmeden.
  • Kosinüs benzerliği hesaplanırken vektörleri normalleştirme ihtiyacını göz ardı etmek, yalnızca nokta çarpımı arama dizinleri kullanıldığında.
  • Gömme'yi yorumlanabilir olarak ele almak: bireysel boyutlar kendi başlarına anlamsal anlam taşımaz.

Sık sorulan sorular

Hangi önceden eğitilmiş modeli kullanmalıyım?

İngilizce genel amaçlı benzerlik için, sentence-transformers kütüphanesinden 'all-mpnet-base-v2' güçlü bir varsayılan değerdir. Çok dilli görevler için 'paraphrase-multilingual-mpnet-base-v2' 50'den fazla dili kapsar. Bir modele karar vermeden önce her zaman hedef alanınızdan küçük bir örnek üzerinde kıyaslama yapın.

Bu, BERT'i doğrudan kullanmaktan nasıl farklıdır?

Standart BERT, belirteç düzeyindeki görevler için optimize edilmiş belirteç başına temsiller üretir. Ham çıktısını (örneğin, [CLS] vektörü) cümle gömme olarak kullanmak, zayıf kosinüs benzerliği sonuçları verir. Sentence-BERT, BERT'i zıt bir hedefle ince ayarlar, böylece ortaya çıkan vektörler açıkça cümle düzeyinde karşılaştırma için yapılandırılır.

Kaç etiketli örneğe ihtiyacım var?

Sentence-transformers kütüphanesinden kullanıma hazır cümle gömme modelleri, çıkarım için sıfır etiketli örnek gerektirir. Alanınızda ince ayar yaparsanız, benzerlik etiketlerine sahip birkaç yüz cümle çifti bile performansı fark edilir şekilde iyileştirebilir.

Uzun belgeler için cümle gömmeleri kullanabilir miyim?

Çoğu kodlayıcının bir belirteç sınırı vardır (BERT tabanlı modeller için 512 belirteç). Daha uzun metinler için belgeyi cümlelere veya paragraflara ayırabilir, her parçayı gömebilir ve parça vektörlerini havuzlayabilirsiniz. Alternatif olarak, Longformer gibi modeller daha uzun bağlamları yerel olarak işler.

Gömmelerimin kalitesini nasıl değerlendiririm?

Standart kıyaslamalar STS-B (Anlamsal Metin Benzerliği Kıyaslaması) ve MTEB'i (Kitlesel Metin Gömme Kıyaslaması) içerir. Kendi verilerinizde, benzerlik puanlarına sahip insan tarafından etiketlenmiş cümle çiftleri, model puanları ile insan yargıları arasındaki Spearman korelasyonunu hesaplamanıza olanak tanır.

İlgili yöntemler

Kaynaklar

  1. Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), 3980–3990.

    DOI kaynağını aç
    Kopyalandı.
  2. Kiros, R., Zhu, Y., Salakhutdinov, R., Zemel, R. S., Torralba, A., Urtasun, R., & Fidler, S. (2015). Skip-Thought Vectors. Advances in Neural Information Processing Systems (NeurIPS), 28.

    Yayın kaynağını aç
    Kopyalandı.