Skip to content
Torna ai risultati

Analisi di similarità semantica — Misurare il significato tra testi

Introdotto da
Nils Reimers & Iryna Gurevych (Sentence-BERT)
Anno
2019
Tipo
NLP text-comparison task

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

L'analisi di similarità semantica misura quanto due testi siano vicini nel significato, piuttosto che quante parole condividano superficialmente.

Basandosi sul lavoro Sentence-BERT di Reimers e Gurevych (2019), rappresenta ciascun testo come un vettore e confronta tali vettori in modo che le parafrasi ottengano un punteggio elevato anche quando il loro lessico differisce.

L’intuizione alla base del metodo

Due frasi possono usare parole completamente diverse pur dicendo la stessa cosa, mentre altre due possono condividere parole ma significare cose diverse. Il conteggio delle parole sovrapposte non coglie questa sfumatura. L'idea qui è di collocare ciascun testo in un punto di uno spazio semantico — usando un modello di embedding — in modo che testi con significato simile si trovino vicini. La distanza tra questi punti diventa quindi un punteggio di similarità: alto per le parafrasi, basso per i passaggi non correlati.

Storia

La similarità semantica è nata dalle shared task di Semantic Textual Similarity introdotte a *SEM e SemEval (Agirre et al., 2013), che hanno inquadrato il problema della valutazione di quanto due frasi siano simili nel significato. Il campo è avanzato rapidamente con Sentence-BERT (Reimers & Gurevych, 2019), che ha prodotto embedding di frasi confrontabili direttamente con la similarità del coseno, rendendo pratico il confronto semantico su larga scala.

Quando usarlo

Usare la similarità semantica quando si hanno coppie di testi e si vuole sapere quanto siano vicini nel significato piuttosto che quante parole condividano — per il rilevamento di plagio e duplicati, l'abbinamento di paragrafi, o il recupero di informazioni. Richiede un modello di embedding che supporti la lingua dei testi e almeno un piccolo insieme di coppie di testi da confrontare; senza dati testuali non può funzionare.

Limiti e considerazioni

  • Richiede coppie di testi da confrontare; non si applica quando non ci sono dati testuali.
  • La qualità dipende interamente dal modello di embedding che corrisponde alla lingua dei testi.
  • Un punteggio di similarità riflette la nozione di significato del modello, che potrebbe non allinearsi con una definizione di 'uguale' specifica del dominio o legale.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Cattura il significato piuttosto che la sovrapposizione superficiale di parole, quindi le parafrasi con formulazioni diverse vengono comunque valutate come simili.
  • Funziona in diverse lingue quando si utilizza un modello di embedding multilingue.
  • Produce un singolo punteggio comparabile per coppia che è facile da sogliare per compiti come il rilevamento di duplicati o il recupero.

Applicazioni

  • Rilevamento di plagio e copie confrontando il testo inviato rispetto a fonti di riferimento.
  • Abbinamento di paragrafi e passaggi tra documenti.
  • Recupero di informazioni — classificazione di documenti per vicinanza di significato a una query.
  • Deduplicazione di contenuti quasi identici in grandi raccolte di testi.

Come funziona

Come funziona

1

Si parte da coppie di testi che si desidera confrontare — ad esempio un paragrafo inviato rispetto a un passaggio di riferimento, o una query rispetto a documenti candidati. È necessario almeno un insieme modesto di coppie affinché il confronto sia significativo, e i due membri di ciascuna coppia devono essere disponibili insieme.

2

Ciascun testo viene passato attraverso un modello di embedding che lo trasforma in un vettore numerico catturando il suo significato. Il modello di embedding deve supportare la lingua dei vostri testi; si usa un modello multilingue di embedding di frasi quando il corpus non è in inglese. Questo è il passaggio che permette alle parafrasi con parole diverse di essere mappate a vettori vicini.

3

I vettori dei due testi vengono confrontati, più comunemente con la similarità del coseno, producendo un singolo numero che riassume quanto i testi siano vicini nel significato. Valori più alti indicano un significato più stretto; il punteggio è limitato e comparabile tra le coppie.

4

I punteggi di similarità vengono letti nel contesto — segnalando probabili copie, classificando paragrafi corrispondenti, o recuperando i passaggi più pertinenti. Di solito si sceglie una soglia per il compito in questione, e le coppie borderline vengono ispezionate prima che venga intrapresa qualsiasi decisione.

Errori comuni

  • Applicare un modello di embedding che non supporta la lingua del corpus produce punteggi inaffidabili; abbinare il modello alla lingua.
  • Trattare un punteggio di similarità come un verdetto definitivo — scegliere una soglia appropriata al compito e ispezionare le coppie borderline piuttosto che fidarsi solo del numero.
  • Confrontare troppo poche coppie fornisce poche basi per scegliere una soglia sensata.

Domande frequenti

In cosa differisce dal confronto di parole condivise?

Le misure di sovrapposizione di parole contano solo i token corrispondenti, quindi perdono le parafrasi che hanno lo stesso significato con parole diverse. La similarità semantica incorpora ciascun testo in uno spazio semantico e confronta i vettori, quindi la vicinanza di significato viene catturata anche quando la formulazione differisce.

Funziona in lingue diverse dall'inglese?

Sì, a condizione che il modello di embedding supporti la lingua di destinazione. Si utilizza un modello multilingue di embedding di frasi quando il corpus non è in inglese; applicare un modello che non copre la lingua fornisce punteggi inaffidabili.

Come trasformo un punteggio di similarità in una decisione?

Scegliere una soglia adatta al compito — ad esempio un cutoff elevato per segnalare probabili copie — e ispezionare le coppie borderline prima di agire. Il punteggio grezzo è comparabile tra le coppie ma non è di per sé un verdetto.

Come viene calcolato il punteggio di similarità?

Ciascun testo viene codificato in un vettore da un modello di embedding, e i due vettori vengono confrontati, più comunemente con la similarità del coseno, producendo un singolo numero limitato in cui valori più alti significano significato più stretto.

Metodi correlati

Fonti

  1. Reimers, N. & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. EMNLP.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Agirre, E. et al. (2013). *SEM 2013 shared task: Semantic Textual Similarity. ACL (*SEM).

    Apri il riferimento della pubblicazione
    Copiato.