Przejdź do treści
Wróć do wyników wyszukiwania

Osadzanie zdań

Autor metody
Kiros et al. (Skip-Thought, 2015); Reimers & Gurevych (Sentence-BERT, 2019)
Rok
2015–2019
Typ
Representation learning / embedding
Rodzina
Deep learning / NLP / CV

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Osadzanie zdań przekształca zdanie lub krótki tekst w pojedynczy wektor gęsty o ustalonej długości, który oddaje jego znaczenie semantyczne.

Wektory te pozwalają zadaniom niższego poziomu — podobieństwo semantyczne, klasteryzacja, wyszukiwanie i klasyfikacja — działać na reprezentacjach numerycznych zamiast surowego tekstu, co czyni je jednym z najbardziej wszechstronnych elementów składowych nowoczesnych potoków NLP.

Intuicja stojąca za metodą

Wyobraź sobie każde zdanie jako punkt w przestrzeni wielowymiarowej, gdzie znaczenie określa bliskość: dwa zdania, które mówią to samo różnymi słowami, lądują bardzo blisko siebie, podczas gdy niepowiązane zdania znajdują się daleko od siebie. Model osadzania zdań uczy się tej geometrii z dużych korpusów. Po wytrenowaniu modelu, osadzenie nowego zdania to pojedyncze przejście w przód — nie wymaga dalszego trenowania — a każde zadanie niższego poziomu po prostu działa z tymi współrzędnymi. To ponowne wykorzystanie wstępnie wytrenowanej geometrii sprawia, że osadzanie zdań jest potężne: można porównywać, klasteryzować lub klasyfikować miliony tekstów bez etykiet specyficznych dla zadania.

Historia

Wczesne reprezentacje zdań wykorzystywały uśrednione wektory słów (word2vec, GloVe). Skip-Thought Vectors (Kiros i in., 2015) trenowały koder-dekoder do przewidywania otaczających zdań, generując pierwsze głębokie kontekstowe osadzenia zdań. InferSent (Conneau i in., 2017) dostrajał na parach NLI i wykazał silne przenoszenie. Sentence-BERT (Reimers & Gurevych, 2019) zastosował architekturę syjamską BERT do danych NLI i dramatycznie poprawił jakość osadzeń pochodnych od BERT, jednocześnie skracając czas obliczania podobieństwa z 65 godzin do około 5 sekund dla 10 000 par zdań.

Kiedy stosować

Używaj osadzeń zdań, gdy potrzebujesz mierzyć podobieństwo semantyczne, klasteryzować dokumenty, wykonywać gęste wyszukiwanie lub podawać tekst do klasyfikatora bez etykiet specyficznych dla zadania dla każdego przykładu. Sprawdzają się, gdy masz umiarkowaną do dużej ilości tekstu i chcesz uzyskać ogólnego przeznaczenia reprezentację, która przenosi się między zadaniami. Nie używaj surowych osadzeń zdań — bez dostrajania lub głowicy zadania — gdy potrzebujesz skalibrowanych prawdopodobieństw lub interpretowalnych wag cech. Są również słabo dopasowane do bardzo krótkich tekstów (jedno lub dwa słowa), dla języków, dla których nie ma dostępnego wstępnie wytrenowanego kodera, lub gdy zasoby obliczeniowe są mocno ograniczone, ponieważ kodowanie milionów długich dokumentów może być kosztowne.

Ograniczenia i uwagi

  • Jakość osadzeń zależy w dużej mierze od jakości i domeny wstępnie wytrenowanego modelu; tekst spoza domeny pogarsza wydajność.
  • Reprezentowanie bardzo długich dokumentów jako pojedynczego wektora o stałym rozmiarze powoduje utratę drobnoziarnistych informacji lokalnych.
  • Progi podobieństwa kosinusowego dla decyzji niższego poziomu muszą być kalibrowane empirycznie i nie są uniwersalne.
  • Duże modele kodujące wymagają pamięci GPU; przechowywanie osadzeń dla milionów dokumentów wymaga znacznej przestrzeni dyskowej.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Uchwyć bogate znaczenie semantyczne, którego brakuje w podejściach typu „worek słów” i TF-IDF, takie jak synonimia i parafraza.
  • Wstępnie wytrenowane modele działają od razu w nowych domenach z niewielką ilością lub bez danych etykietowanych.
  • Szybkie wnioskowanie: po zakodowaniu wyszukiwanie podobieństwa na milionach wektorów zajmuje milisekundy dzięki indeksom typu FAISS.
  • Wszechstronne: te same osadzenia służą do klasteryzacji, wyszukiwania, semantycznej deduplikacji i klasyfikacji.
  • Warianty wielojęzyczne (np. paraphrase-multilingual-mpnet) obsługują podobieństwo międzyjęzykowe za pomocą jednego modelu.

Zastosowania

  • Podobieństwo semantyczne tekstu i wykrywanie parafraz w akademickich i komercyjnych korpusach tekstowych.
  • Gęste wyszukiwanie fragmentów w otwartym wyszukiwaniu odpowiedzi na pytania i silnikach wyszukiwania.
  • Klasteryzacja dokumentów i akapitów w celu odkrywania tematów bez predefiniowanych kategorii.
  • Klasyfikacja tekstu w trybie zero-shot i few-shot poprzez porównywanie osadzeń z prototypami etykiet.
  • Wykrywanie i deduplikacja bliskich duplikatów w dużych bazach danych bibliograficznych.
  • Międzyjęzykowe wyrównanie semantyczne w wielojęzycznych syntezach badawczych.

Jak to działa

Jak to działa

1

Zdanie wejściowe jest dzielone na tokeny (podsłowa lub słowa) zgodnie ze słownictwem kodera — zazwyczaj tokenizator WordPiece lub SentencePiece w stylu BERT. Specjalne tokeny, takie jak [CLS] i [SEP], są wstawiane w celu oznaczenia granic zdania, przygotowując sekwencję dla kodera.

2

Głęboki koder — najczęściej wstępnie wytrenowany Transformer, taki jak BERT lub RoBERTa — przetwarza sekwencję tokenów i generuje kontekstowy stan ukryty dla każdej pozycji. Każdy stan ukryty niesie informacje o swoim tokenie w kontekście całego zdania.

Wzór
\mathbf{s} = \text{Pooling}(\text{Encoder}(w_1, \ldots, w_n)) \in \mathbb{R}^d
3

Stany ukryte na poziomie tokenów są agregowane do jednego wektora o stałym rozmiarze poprzez operację pooling. Uśrednianie (średnia arytmetyczna wszystkich wektorów tokenów) i ekstrakcja wektora tokenu CLS to dwa najczęstsze wybory. Sentence-BERT wykazał, że uśrednianie wszystkich stanów tokenów konsekwentnie przewyższa surowy wektor CLS.

4

Dla wysokiej jakości osadzeń koder jest dostrajany z celem kontrastowym lub celu podobieństwa semantycznego. Sentence-BERT wykorzystuje sieć syjamską trenowaną na parach wnioskowania w języku naturalnym, przyciągając do siebie zdania semantycznie podobne i odpychając od siebie zdania niepodobne w przestrzeni osadzeń.

5

W czasie wnioskowania dwa wektory zdań są porównywane za pomocą podobieństwa kosinusowego: iloczynu skalarnego znormalizowanych wektorów jednostkowych. Wyniki bliskie 1 wskazują na równoważność semantyczną; wyniki bliskie 0 wskazują na ortogonalność. Ta pojedyncza liczba napędza zadania wyszukiwania, deduplikacji, klasteryzacji i klasyfikacji.

Wzór
\text{sim}(\mathbf{s}_i, \mathbf{s}_j) = \frac{\mathbf{s}_i \cdot \mathbf{s}_j}{\|\mathbf{s}_i\|\|\mathbf{s}_j\|}

Częste pułapki

  • Używanie surowego tokenu [CLS] z podstawowego modelu BERT jako osadzenia zdania bez dostrajania — powoduje to uzyskanie osadzeń niskiej jakości, nieizotropowych.
  • Porównywanie osadzeń wygenerowanych przez różne architektury kodera lub strategie pooling, co sprawia, że wyniki podobieństwa kosinusowego są nieporównywalne.
  • Wybieranie progu podobieństwa (np. 0,85 oznacza „duplikat”) bez kalibracji na danych odłożonych na bok z Twojej domeny.
  • Ignorowanie potrzeby normalizacji wektorów przed obliczeniem podobieństwa kosinusowego przy użyciu indeksów wyszukiwania tylko iloczynu skalarnego.
  • Traktowanie osadzenia jako interpretowalnego: poszczególne wymiary same w sobie nie niosą znaczenia semantycznego.

Najczęściej zadawane pytania

Który wstępnie wytrenowany model powinienem użyć?

Dla ogólnego podobieństwa w języku angielskim, 'all-mpnet-base-v2' z biblioteki sentence-transformers jest silnym domyślnym wyborem. Dla zadań wielojęzycznych, 'paraphrase-multilingual-mpnet-base-v2' obejmuje ponad 50 języków. Zawsze przeprowadzaj testy porównawcze na małej próbce z docelowej domeny przed podjęciem decyzji o modelu.

Czym to się różni od bezpośredniego użycia BERT?

Standardowy BERT generuje reprezentacje na poziomie tokenów zoptymalizowane pod kątem zadań na poziomie tokenów. Użycie jego surowego wyjścia (np. wektora [CLS]) jako osadzenia zdania daje słabe wyniki podobieństwa kosinusowego. Sentence-BERT dostraja BERT z celem kontrastowym, dzięki czemu uzyskane wektory są jawnie ustrukturyzowane do porównywania na poziomie zdań.

Ile etykietowanych przykładów potrzebuję?

Gotowe modele osadzania zdań z biblioteki sentence-transformers wymagają zerowej liczby etykietowanych przykładów do wnioskowania. Jeśli dostrajasz do swojej domeny, nawet kilkaset par zdań z etykietami podobieństwa może zauważalnie poprawić wydajność.

Czy mogę używać osadzeń zdań do długich dokumentów?

Większość koderów ma limit tokenów (512 tokenów dla modeli opartych na BERT). Dla dłuższych tekstów można podzielić dokument na zdania lub akapity, osadzić każdy fragment i uśrednić wektory fragmentów. Alternatywnie, modele takie jak Longformer obsługują dłuższe konteksty natywnie.

Jak ocenić jakość moich osadzeń?

Standardowe benchmarki obejmują STS-B (Semantic Textual Similarity Benchmark) i MTEB (Massive Text Embedding Benchmark). Na własnych danych pary zdań anotowane przez człowieka z wynikami podobieństwa pozwalają obliczyć korelację Spearmana między wynikami modelu a ocenami ludzkimi.

Pokrewne metody

Źródła

  1. Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), 3980–3990.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Kiros, R., Zhu, Y., Salakhutdinov, R., Zemel, R. S., Torralba, A., Urtasun, R., & Fidler, S. (2015). Skip-Thought Vectors. Advances in Neural Information Processing Systems (NeurIPS), 28.

    Otwórz odnośnik do publikacji
    Skopiowano.