Skip to content
Torna ai risultati

Inferenza Testuale — Inferenza Linguistica Naturale (NLI)

Tipo
NLP sentence-pair classification task

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

L'inferenza testuale, nota anche come inferenza linguistica naturale (NLI), è il compito di elaborazione del linguaggio naturale che consiste nel decidere se un testo (la premessa) implica un secondo testo (l'ipotesi), lo contraddice o è neutro rispetto ad esso.

Formalizzata dalla PASCAL Recognising Textual Entailment Challenge (Dagan, Glickman & Magnini, 2006) e ampliata dal corpus MultiNLI (Williams, Nangia & Bowman, 2018), essa è alla base dei sistemi di risposta a domande e di verifica dei fatti.

L’intuizione alla base del metodo

Due frasi possono avere diverse relazioni logiche: se si accetta la prima, la seconda può seguirne automaticamente, può chiaramente essere in conflitto con essa, o può semplicemente essere non correlata. L'inferenza testuale insegna a una macchina a formulare tale giudizio — data una premessa e un'ipotesi, decide se l'ipotesi è implicata, contraddetta o nessuna delle due. Questo verdetto a tre vie è il blocco fondamentale per verificare se una risposta candidata è supportata da un testo sorgente o se un'affermazione è sostenuta da prove.

Storia

L'inferenza testuale è stata stabilita come un compito condiviso dalla PASCAL Recognising Textual Entailment Challenge (Dagan, Glickman & Magnini, 2006), che ha inquadrato il riconoscimento dell'implicazione come un problema semantico generico che attraversa le applicazioni NLP. Il corpus MultiNLI (Williams, Nangia & Bowman, 2018) ha successivamente fornito dati di addestramento ad ampia copertura e multi-genere, abilitando i grandi modelli NLI pre-addestrati che guidano gli attuali sistemi di risposta a domande e di verifica dei fatti.

Quando usarlo

Utilizza l'inferenza testuale quando i tuoi dati consistono in coppie di testo premessa-ipotesi e devi giudicare la relazione logica tra di esse — tipicamente all'interno di una catena di risposta a domande o di verifica dei fatti. Richiede almeno alcune decine di coppie e funziona meglio con un grande modello linguistico pre-addestrato disponibile per la lingua target. Se hai solo documenti isolati piuttosto che testo accoppiato, questo compito non è applicabile.

Limiti e considerazioni

  • Richiede testo organizzato come coppie premessa-ipotesi; i documenti isolati non sono sufficienti.
  • La qualità dipende fortemente dalla disponibilità e dalla copertura linguistica di un grande modello linguistico pre-addestrato.
  • Le inferenze sottili o specifiche del dominio rimangono difficili, e la classe neutra è spesso la più soggetta a errori.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Fornisce un verdetto a tre vie basato su principi (implicazione / contraddizione / neutro) piuttosto che un singolo punteggio di similarità.
  • Supporta direttamente i sistemi a valle di risposta a domande e verifica dei fatti.
  • Può essere eseguito in modalità zero-shot con un grande modello NLI pre-addestrato, senza dati di addestramento etichettati specifici per il compito.

Applicazioni

  • Risposta a domande — verificare se una risposta candidata è implicata da un passaggio sorgente.
  • Verifica dei fatti — decidere se un'affermazione è supportata o contraddetta da un testo di prova.
  • Controlli di coerenza delle informazioni tra documenti e riassunti.
  • Servire come motore sottostante per la classificazione del testo zero-shot tramite implicazione etichetta-candidato.

Come funziona

Come funziona

1

L'input è organizzato in coppie premessa-ipotesi. Ogni esempio accoppia un testo di premessa con un testo di ipotesi la cui relazione con la premessa deve essere giudicata; nella risposta a domande e nella verifica dei fatti queste coppie sono formate da un passaggio sorgente e da un'affermazione o risposta candidata.

2

Un grande modello linguistico pre-addestrato legge la coppia e la trasforma in una rappresentazione contestuale che cattura il significato della premessa e dell'ipotesi insieme. Poiché il compito si basa su sottili relazioni logiche, un modello pre-addestrato robusto è preferibile a caratteristiche costruite manualmente.

3

Il modello assegna una delle tre etichette alla coppia — implicazione, contraddizione o neutro. Una comune realizzazione pratica considera la premessa come un'etichetta candidata ed esegue un classificatore di implicazione zero-shot (ad esempio un modello BART ottimizzato su MNLI) per valutare la relazione.

4

Le previsioni vengono valutate rispetto a coppie etichettate utilizzando l'accuratezza e le metriche per classe, e i disaccordi vengono ispezionati prima dell'implementazione. Poiché le tre classi possono essere distribuite in modo non uniforme, la precisione e il richiamo per classe contano tanto quanto l'accuratezza complessiva.

Errori comuni

  • Confondere l'implicazione con la mera similarità superficiale — due frasi possono condividere parole eppure contraddirsi a vicenda.
  • Applicare un modello pre-addestrato per una lingua o un dominio a un altro degrada il giudizio di inferenza.
  • Riportare solo l'accuratezza complessiva quando le tre classi sono sbilanciate; ispezionare la precisione e il richiamo per classe.
  • Eseguire il compito su meno delle ~30 coppie raccomandate, il che rende qualsiasi valutazione inaffidabile.

Domande frequenti

Qual è la differenza tra implicazione, contraddizione e neutro?

Data una premessa, l'ipotesi è etichettata come implicazione se accettare la premessa significa che l'ipotesi ne consegue, contraddizione se l'ipotesi non può essere vera quando la premessa lo è, e neutro quando nessuna delle due si verifica — la premessa né supporta né esclude l'ipotesi.

In cosa differisce l'inferenza testuale dalla similarità di frase?

La similarità misura quanto due frasi sono simili, il che è simmetrico e graduato. L'implicazione è una relazione logica direzionale: una premessa può implicare un'ipotesi senza che valga il contrario, e due frasi molto simili possono comunque contraddirsi a vicenda.

Ho bisogno di dati di addestramento etichettati?

Non necessariamente. Con un grande modello NLI pre-addestrato puoi eseguire il compito in modalità zero-shot — ad esempio considerando la premessa come un'etichetta candidata e valutando l'ipotesi — sebbene un piccolo set etichettato di coppie premessa-ipotesi aiuti con la valutazione e l'adattamento al dominio.

Perché viene utilizzata per la verifica dei fatti e la risposta a domande?

Entrambi i compiti si riducono a verificare se un testo è supportato da una fonte. L'implicazione fornisce esattamente questo giudizio, quindi un'affermazione o una risposta candidata può essere accettata quando la fonte la implica e rifiutata quando la fonte la contraddice.

Metodi correlati

Fonti

  1. Dagan, I., Glickman, O. & Magnini, B. (2006). The PASCAL Recognising Textual Entailment Challenge.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Williams, A., Nangia, N. & Bowman, S. (2018). A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. NAACL.

    Apri il riferimento della pubblicazione
    Copiato.