Saltar al contenido
Volver a los resultados

Inferencia de texto — Inferencia de Lenguaje Natural (NLI)

Tipo
NLP sentence-pair classification task

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

La inferencia de texto, también conocida como inferencia de lenguaje natural (NLI), es la tarea de procesamiento del lenguaje natural que consiste en decidir si una pieza de texto (la premisa) implica una segunda pieza de texto (la hipótesis), la contradice o es neutral con respecto a ella.

Formalizada por el PASCAL Recognising Textual Entailment Challenge (Dagan, Glickman & Magnini, 2006) y ampliada por el corpus MultiNLI (Williams, Nangia & Bowman, 2018), sustenta los pipelines de respuesta a preguntas y verificación de hechos.

La intuición detrás del método

Dos oraciones pueden mantener diferentes relaciones lógicas: si se acepta la primera, la segunda puede seguir automáticamente, puede entrar claramente en conflicto con ella o puede ser simplemente irrelevante. La inferencia de texto enseña a una máquina a hacer ese juicio — dada una premisa y una hipótesis, decide si la hipótesis es implicada, contradicha o ninguna de las dos. Este veredicto de tres vías es el bloque de construcción para comprobar si una respuesta candidata está respaldada por un texto fuente o si una afirmación está respaldada por evidencia.

Historia

La inferencia de texto se estableció como una tarea compartida por el PASCAL Recognising Textual Entailment Challenge (Dagan, Glickman & Magnini, 2006), que enmarcó el reconocimiento de la inferencia como un problema semántico genérico que atraviesa las aplicaciones de PLN. El corpus MultiNLI (Williams, Nangia & Bowman, 2018) proporcionó posteriormente datos de entrenamiento de amplia cobertura y multiformato, permitiendo los grandes modelos NLI preentrenados que impulsan los sistemas actuales de respuesta a preguntas y verificación de hechos.

Cuándo usarlo

Utilice la inferencia de texto cuando sus datos consistan en pares de texto premisa-hipótesis y necesite juzgar la relación lógica entre ellos — típicamente dentro de una cadena de respuesta a preguntas o verificación de hechos. Espera al menos unas pocas docenas de pares y funciona mejor con un modelo de lenguaje preentrenado grande disponible para el idioma de destino. Si solo tiene documentos aislados en lugar de texto emparejado, esta tarea no se aplica.

Limitaciones y consideraciones

  • Requiere texto organizado como pares premisa-hipótesis; los documentos aislados no son suficientes.
  • La calidad depende en gran medida de la disponibilidad y la cobertura lingüística de un modelo de lenguaje preentrenado grande.
  • Las inferencias sutiles o específicas del dominio siguen siendo difíciles, y la clase neutral es a menudo la más propensa a errores.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Proporciona un veredicto tripartito principista (implicación / contradicción / neutral) en lugar de una única puntuación de similitud.
  • Soporta directamente pipelines posteriores de respuesta a preguntas y verificación de hechos.
  • Puede ejecutarse de cero disparos con un modelo NLI preentrenado grande, sin datos de entrenamiento etiquetados específicos de la tarea.

Aplicaciones

  • Respuesta a preguntas — comprobar si una respuesta candidata está implicada por un pasaje fuente.
  • Verificación de hechos — decidir si una afirmación está respaldada o contradicha por un texto de evidencia.
  • Comprobaciones de consistencia de la información entre documentos y resúmenes.
  • Servir como motor subyacente para la clasificación de texto de cero disparos a través de la implicación de etiquetas candidatas.

Cómo funciona

Cómo funciona

1

La entrada se organiza en pares premisa-hipótesis. Cada ejemplo acopla un texto de premisa con un texto de hipótesis cuya relación con la premisa debe ser juzgada; en la respuesta a preguntas y la verificación de hechos, estos pares se forman a partir de un pasaje fuente y una afirmación o respuesta candidata.

2

Un modelo de lenguaje preentrenado grande lee el par y lo convierte en una representación contextual que captura el significado de la premisa y la hipótesis juntas. Dado que la tarea depende de sutiles relaciones lógicas, se prefiere un modelo preentrenado robusto a características creadas manualmente.

3

El modelo asigna una de tres etiquetas al par — implicación, contradicción o neutral. Una realización práctica común presenta la premisa como una etiqueta candidata y ejecuta un clasificador de inferencia de texto de cero disparos (por ejemplo, un modelo BART ajustado en MNLI) para puntuar la relación.

4

Las predicciones se puntúan frente a pares etiquetados utilizando métricas de precisión y por clase, y las discrepancias se inspeccionan antes del despliegue. Dado que las tres clases pueden estar desigualmente distribuidas, la precisión y la exhaustividad por clase son tan importantes como la precisión general.

Errores comunes

  • Confundir la implicación con la mera similitud superficial — dos oraciones pueden compartir palabras y aun así contradecirse.
  • Aplicar un modelo preentrenado para un idioma o dominio a otro degrada el juicio de inferencia.
  • Informar solo la precisión general cuando las tres clases están desequilibradas; inspeccionar la precisión y la exhaustividad por clase.
  • Ejecutar la tarea con menos de los ~30 pares recomendados, lo que hace que cualquier evaluación no sea fiable.

Preguntas frecuentes

¿Cuál es la diferencia entre implicación, contradicción y neutral?

Dada una premisa, la hipótesis se etiqueta como implicación si aceptar la premisa implica que la hipótesis se sigue, contradicción si la hipótesis no puede ser cierta cuando la premisa lo es, y neutral cuando ninguna de las dos se cumple — la premisa ni apoya ni descarta la hipótesis.

¿En qué se diferencia la inferencia de texto de la similitud de oraciones?

La similitud mide cuán parecidas son dos oraciones, lo cual es simétrico y graduado. La inferencia es una relación lógica y direccional: una premisa puede implicar una hipótesis sin que se cumpla lo contrario, y dos oraciones muy similares aún pueden contradecirse mutuamente.

¿Necesito datos de entrenamiento etiquetados?

No necesariamente. Con un modelo NLI preentrenado grande, puede ejecutar la tarea de cero disparos — por ejemplo, presentando la premisa como una etiqueta candidata y puntuando la hipótesis — aunque un pequeño conjunto etiquetado de pares premisa-hipótesis ayuda con la evaluación y la adaptación al dominio.

¿Por qué se utiliza para la verificación de hechos y la respuesta a preguntas?

Ambas tareas se reducen a comprobar si un fragmento de texto está respaldado por una fuente. La inferencia proporciona exactamente ese juicio, por lo que una afirmación o respuesta candidata puede ser aceptada cuando la fuente la implica y rechazada cuando la fuente la contradice.

Métodos relacionados

Fuentes

  1. Dagan, I., Glickman, O. & Magnini, B. (2006). The PASCAL Recognising Textual Entailment Challenge.

    Abrir referencia de la publicación
    Copiado.
  2. Williams, A., Nangia, N. & Bowman, S. (2018). A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. NAACL.

    Abrir referencia de la publicación
    Copiado.