Przejdź do treści
Wróć do wyników wyszukiwania

Podobieństwo semantyczne — mierzenie znaczenia między tekstami

Autor metody
Nils Reimers & Iryna Gurevych (Sentence-BERT)
Rok
2019
Typ
NLP text-comparison task

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Analiza podobieństwa semantycznego mierzy, jak blisko w znaczeniu są dwa teksty, zamiast tego, ile słów dzielą na powierzchni.

Opierając się na pracy Sentence-BERT autorstwa Reimersa i Gurevycha (2019), reprezentuje każdy tekst jako wektor i porównuje te wektory, tak aby parafrazy uzyskiwały wysokie wyniki, nawet gdy ich sformułowania się różnią.

Intuicja stojąca za metodą

Dwa zdania mogą używać zupełnie różnych słów, a mimo to znaczyć to samo, podczas gdy dwa inne mogą dzielić słowa, a znaczyć coś innego. Zliczanie nakładających się słów tego nie wychwytuje. Chodzi o umieszczenie każdego tekstu w punkcie przestrzeni znaczeń — przy użyciu modelu osadzania (embedding model) — tak, aby teksty o podobnym znaczeniu znalazły się blisko siebie. Odległość między tymi punktami staje się wówczas wynikiem podobieństwa: wysokim dla parafraz, niskim dla niepowiązanych fragmentów.

Historia

Podobieństwo semantyczne wyewoluowało z zadań typu Semantic Textual Similarity (STS) wprowadzonych na *SEM i SemEval (Agirre et al., 2013), które ujęły problem oceny, jak bardzo dwa zdania są podobne pod względem znaczenia. Dziedzina ostro rozwinęła się wraz z Sentence-BERT (Reimers & Gurevych, 2019), który generuje osadzenia zdań, które można bezpośrednio porównywać za pomocą podobieństwa kosinusowego, czyniąc porównania semantyczne na dużą skalę praktycznymi.

Kiedy stosować

Używaj podobieństwa semantycznego, gdy masz pary tekstów i chcesz wiedzieć, jak blisko są one w znaczeniu, a nie ile słów dzielą — do wykrywania plagiatów i duplikatów, dopasowywania akapitów lub wyszukiwania informacji. Wymaga modelu osadzania obsługującego język tekstów i przynajmniej małego zestawu par tekstów do porównania; bez danych tekstowych nie może działać.

Ograniczenia i uwagi

  • Wymaga par tekstów do porównania; nie ma zastosowania, gdy nie ma danych tekstowych.
  • Jakość zależy całkowicie od modelu osadzania dopasowanego do języka tekstów.
  • Wynik podobieństwa odzwierciedla pojęcie znaczenia przez model, które może nie być zgodne z definicją „takiego samego” specyficzną dla domeny lub prawną.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Oddaje znaczenie, a nie nakładanie się słów na powierzchni, więc parafrazy o różnym sformułowaniu nadal są oceniane jako podobne.
  • Działa w różnych językach, gdy używany jest wielojęzyczny model osadzania.
  • Generuje pojedynczy, porównywalny wynik dla każdej pary, który łatwo jest progować dla zadań takich jak wykrywanie duplikatów lub wyszukiwanie.

Zastosowania

  • Wykrywanie plagiatów i kopii poprzez porównywanie tekstu zgłoszeniowego ze źródłami referencyjnymi.
  • Dopasowywanie akapitów i fragmentów między dokumentami.
  • Wyszukiwanie informacji — szeregowanie dokumentów według bliskości znaczenia do zapytania.
  • Deduplikacja niemal identycznych treści w dużych kolekcjach tekstów.

Jak to działa

Jak to działa

1

Zaczyna się od par tekstów, które chce się porównać — na przykład od akapitu zgłoszeniowego w stosunku do tekstu referencyjnego, lub od zapytania w stosunku do kandydatów na dokumenty. Potrzebny jest przynajmniej umiarkowany zbiór par, aby porównanie było sensowne, a oba człony każdej pary muszą być dostępne razem.

2

Każdy tekst jest przepuszczany przez model osadzania, który zamienia go w numeryczny wektor oddający jego znaczenie. Model osadzania musi obsługiwać język tekstów; wielojęzyczny model osadzania zdań jest używany, gdy korpus nie jest w języku angielskim. To jest krok, który pozwala, aby parafrazy o różnych słowach nadal mapowały się do pobliskich wektorów.

3

Wektory obu tekstów są porównywane, najczęściej za pomocą podobieństwa kosinusowego, co daje pojedynczą liczbę podsumowującą, jak blisko są teksty pod względem znaczenia. Wyższe wartości wskazują na bliższe znaczenie; wynik jest ograniczony i porównywalny między parami.

4

Wyniki podobieństwa są odczytywane w kontekście — oznaczając prawdopodobne kopie, szeregując pasujące akapity lub pobierając najbardziej trafne fragmenty. Zazwyczaj wybiera się próg dla danego zadania, a pary graniczne są sprawdzane przed podjęciem jakiejkolwiek decyzji.

Częste pułapki

  • Stosowanie modelu osadzania, który nie obsługuje języka korpusu, daje nierzetelne wyniki; dopasuj model do języka.
  • Traktowanie wyniku podobieństwa jako twardego werdyktu — wybierz próg odpowiedni do zadania i sprawdzaj pary graniczne, zamiast polegać wyłącznie na liczbie.
  • Porównanie zbyt małej liczby par daje niewielką podstawę do wyboru rozsądnego progu.

Najczęściej zadawane pytania

Czym to się różni od porównywania wspólnych słów?

Miary nakładania się słów zliczają tylko pasujące tokeny, więc pomijają parafrazy, które znaczą to samo różnymi słowami. Podobieństwo semantyczne osadza każdy tekst w przestrzeni znaczeń i porównuje wektory, więc bliskość znaczenia jest wychwytywana nawet wtedy, gdy sformułowanie się różni.

Czy to działa w językach innych niż angielski?

Tak, pod warunkiem, że model osadzania obsługuje język docelowy. Wielojęzyczny model osadzania zdań jest używany, gdy korpus nie jest w języku angielskim; zastosowanie modelu, który nie obejmuje danego języka, daje nierzetelne wyniki.

Jak zamienić wynik podobieństwa na decyzję?

Wybierz próg odpowiedni do zadania — na przykład wysoki odcięcie do oznaczania prawdopodobnych kopii — i sprawdzaj pary graniczne przed podjęciem działania. Surowy wynik jest porównywalny między parami, ale sam w sobie nie jest werdyktem.

Jak obliczany jest wynik podobieństwa?

Każdy tekst jest kodowany do wektora przez model osadzania, a oba wektory są porównywane, najczęściej za pomocą podobieństwa kosinusowego, dając pojedynczą, ograniczoną liczbę, gdzie wyższe wartości oznaczają bliższe znaczenie.

Pokrewne metody

Źródła

  1. Reimers, N. & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. EMNLP.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Agirre, E. et al. (2013). *SEM 2013 shared task: Semantic Textual Similarity. ACL (*SEM).

    Otwórz odnośnik do publikacji
    Skopiowano.