Skip to content
Retour aux résultats

Réponse aux questions (QA)

Type
NLP text-comprehension task

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

La réponse aux questions est une tâche de traitement du langage naturel qui répond automatiquement aux questions en langage naturel basées sur un passage contextuel donné, en utilisant des approches extractives ou génératives.

La tâche a été cristallisée par le benchmark SQuAD de Rajpurkar et al. (2016), et des modèles ultérieurs tels que XLNet (Yang et al., 2019) ont amélioré la précision de la compréhension de lecture.

L’intuition derrière la méthode

Lorsque vous posez une question, la réponse se trouve généralement quelque part dans un corps de texte pertinent. Un système de réponse aux questions lit ce passage contextuel en même temps que la question et élabore la réponse. Un système extractif localise et copie l'étendue exacte du texte qui répond à la question, tandis qu'un système génératif rédige une réponse avec ses propres mots. Dans les deux cas, le modèle est ancré au contexte fourni plutôt que de deviner librement.

Histoire

La réponse aux questions moderne a été remodelée par la publication de SQuAD (Rajpurkar et al., 2016), un grand ensemble de données de compréhension de lecture de plus de 100 000 questions posées par rapport à des passages contextuels, qui a donné au domaine un benchmark commun pour la compréhension automatique. Les méthodes de pré-entraînement ultérieures telles que XLNet (Yang et al., 2019) ont fait progresser la modélisation linguistique autorégressive qui sous-tend les systèmes de QA les plus performants.

Quand l’utiliser

La réponse aux questions est pertinente lorsque vous avez des questions textuelles à répondre et un passage contextuel qui est censé contenir ces réponses. Elle convient aux travaux exploratoires et descriptifs sur des données textuelles, et bénéficie d'un ensemble modeste d'exemples pour les tests. Un modèle spécifique à un domaine est utile lorsque le texte est spécialisé. Sans passage contextuel, la méthode n'a rien à lire, et un modèle général sur une terminologie de niche sera moins performant.

Limites et points d’attention

  • Nécessite un passage contextuel pertinent ; sans contexte à lire, la méthode ne peut pas répondre de manière fiable.
  • Un modèle à usage général donne une précision inférieure sur un texte spécifique à un domaine qu'un modèle ajusté pour ce domaine.
  • La qualité dépend de la manière dont la réponse est réellement contenue et formulée dans le passage fourni.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Ancre les réponses dans un passage contextuel fourni plutôt que dans une génération flottante, ce qui permet de retracer les réponses jusqu'au texte source.
  • Prend en charge à la fois les réponses extractives — des étendues exactes copiées du texte — et les réponses génératives rédigées en langage naturel.
  • Les modèles spécifiques à un domaine peuvent être intégrés pour augmenter la précision sur des matériaux spécialisés sans modifier le pipeline global.

Applications

  • Répondre aux questions des utilisateurs par rapport à un document ou une base de connaissances.
  • Systèmes de compréhension de lecture qui extraient des étendues de réponse précises des passages.
  • Outils de support client et de recherche qui répondent aux requêtes en langage naturel sur un corpus de texte.
  • Accès à l'information sur des documents techniques ou spécifiques à un domaine à l'aide d'un modèle ajusté.

Comment ça marche

Comment ça marche

1

Le système prend deux entrées : une question en langage naturel et un passage contextuel supposé contenir la réponse. Étant donné que la méthode est basée sur le contexte fourni, la disponibilité d'un passage pertinent est une condition préalable à toute réponse sensée.

2

La question et le contexte sont lus ensemble par un modèle linguistique qui construit une représentation conjointe, capturant la relation entre les mots de la question et les mots du passage. Un modèle spécifique à un domaine encode la terminologie plus précisément et produit une plus grande exactitude sur les textes spécialisés.

3

Une réponse est produite. Une approche extractive prédit le début et la fin de l'étendue dans le contexte qui répond le mieux à la question et renvoie ce texte exact ; une approche générative rédige une réponse de forme libre conditionnée par la question et le contexte. Le résultat est une réponse en langage naturel liée au passage.

4

Les réponses prédites sont évaluées par rapport aux réponses de référence — généralement avec des mesures d'exactitude (exact-match) et de F1 sur un benchmark tel que SQuAD — et les cas d'échec sont inspectés avant le déploiement du système.

Pièges courants

  • Fournir un passage contextuel qui ne contient pas réellement la réponse force le modèle à deviner, produisant des réponses confiantes mais erronées.
  • L'application d'un modèle général à une terminologie très spécialisée dégrade la précision ; préférer un modèle spécifique à un domaine pour un texte de niche.
  • Juger les sorties extractives et génératives avec la même mesure peut induire en erreur — les réponses extractives sont mieux évaluées avec l'exact-match et le F1 par rapport à l'étendue de référence.
  • Ignorer l'évaluation masque les modes de défaillance systématiques ; inspecter les réponses erronées sur un benchmark avant de faire confiance au système.

Questions fréquentes

Quelle est la différence entre la réponse aux questions extractive et générative ?

Une approche extractive trouve et renvoie l'étendue exacte du texte dans le contexte qui répond à la question. Une approche générative rédige une réponse avec ses propres mots, conditionnée par la question et le contexte. Les réponses extractives restent verbatim et sont faciles à évaluer par rapport à la source ; les réponses génératives sont plus naturelles mais peuvent s'éloigner du passage.

Ai-je toujours besoin d'un passage contextuel ?

Dans cette méthode, oui. Le système répond sur la base d'un contexte fourni qui est censé contenir la réponse. Sans passage pertinent à lire, le modèle n'a rien pour fonder sa réponse et la fiabilité diminue fortement.

Dois-je utiliser un modèle spécifique à un domaine ?

Si votre texte est spécialisé, un modèle spécifique à un domaine donne une plus grande précision qu'un modèle à usage général, car il encode la terminologie plus fidèlement. Pour un texte général, un modèle général est généralement adéquat.

Comment la précision de la réponse aux questions est-elle mesurée ?

Les réponses prédites sont comparées aux réponses de référence à l'aide de mesures telles que l'exact-match et le F1, généralement sur un benchmark comme SQuAD. L'inspection des cas d'échec parallèlement à ces scores révèle les faiblesses systématiques avant le déploiement.

Méthodes associées

Sources

  1. Rajpurkar, P. et al. (2016). SQuAD: 100,000+ Questions for Machine Comprehension of Text. EMNLP.

    Ouvrir la référence DOI
    Copié.
  2. Yang, Z. et al. (2019). XLNet: Generalized Autoregressive Pretraining for Language Understanding. NeurIPS.

    Ouvrir la référence de la publication
    Copié.