Identification de la langue (LID)
- Type
- NLP text-classification task
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
L'identification de la langue est une tâche de traitement automatique du langage naturel qui détecte automatiquement la langue dans laquelle un texte est écrit.
S'appuyant sur des outils prêts à l'emploi tels que langid.py (Lui & Baldwin, 2012) et les classificateurs efficaces de Joulin et al. (2017), elle est largement utilisée pour prétraiter et filtrer des ensembles de données multilingues.
L’intuition derrière la méthode
Les différentes langues laissent des empreintes caractéristiques dans leurs séquences de lettres et de mots : les séquences de caractères qui apparaissent en turc sont différentes de celles en anglais ou en japonais. Au lieu de nécessiter un humain pour lire et reconnaître chaque document, l'identification de la langue apprend ces modèles statistiques et attribue à chaque texte une étiquette de langue, de sorte qu'une collection multilingue puisse être triée par langue automatiquement.
Histoire
L'identification automatique de la langue a mûri pour devenir un outil fiable et prêt à l'emploi avec langid.py (Lui & Baldwin, 2012), un outil autonome couvrant de nombreuses langues. Joulin et al. (2017) ont ensuite montré que des modèles de classification de texte simples et efficaces pouvaient accomplir cette tâche à très grande échelle, une approche popularisée par les modèles d'identification de langue fastText.
Quand l’utiliser
Utilisez l'identification de la langue lorsque vous disposez de données textuelles de langue inconnue ou mixte et que vous devez les trier ou les filtrer par langue avant une analyse plus approfondie. Chaque document doit être suffisamment long — au moins environ 20 caractères — pour porter un signal fiable. Elle convient aux corpus multilingues qui doivent être nettoyés ou acheminés par langue ; si tout votre texte est déjà connu pour être dans une seule langue, cette étape est inutile.
Limites et points d’attention
- Les textes très courts portent un signal trop faible ; les documents de moins d'environ 20 caractères ne sont pas fiables.
- Le passage d'une langue à l'autre (code-switching) — mélange de deux langues au sein d'un même document — est très difficile à étiqueter correctement.
- La précision peut diminuer pour les langues à faibles ressources et pour les textes qui mélangent des écritures.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Les outils prêts à l'emploi permettent un déploiement rapide sans données étiquetées propres.
- Transforme une collection multilingue non triée en sous-ensembles propres, étiquetés par langue, prêts pour le traitement en aval.
- Une méthode d'introduction, de faible difficulté, qui s'adapte à de grands corpus.
Applications
- Prétraitement des ensembles de données multilingues en étiquetant chaque document avec sa langue.
- Filtrage d'un corpus pour ne conserver que les documents dans la langue cible avant une analyse plus approfondie.
- Acheminement du texte entrant vers des pipelines spécifiques à la langue dans la recherche en sciences sociales, humaines et commerciales.
- Nettoyage des collections extraites du web qui mélangent de nombreuses langues.
Comment ça marche
Comment ça marche
Le texte à analyser est collecté et vérifié pour sa longueur utilisable. Les fragments très courts portent un signal trop faible, de sorte que chaque document doit comporter au moins environ 20 caractères avant de pouvoir être étiqueté de manière fiable.
Chaque document est transformé en signal statistique qui distingue une langue d'une autre — généralement des séquences de n-grammes de caractères qui capturent la façon dont les lettres ont tendance à se suivre dans une langue donnée. Ce sont ces séquences que le classificateur lit.
Un modèle entraîné attribue l'étiquette de langue la plus probable à chaque document, en s'appuyant sur des outils conçus pour cette tâche tels que langid.py ou des classificateurs de type fastText. La sortie est une langue prédite pour chaque texte.
Les étiquettes prédites sont utilisées en aval : une collection multilingue est triée par langue, et les documents dans des langues indésirables sont filtrés avant tout autre traitement de texte. C'est là que l'identification de la langue trouve sa place en tant qu'étape de prétraitement.
Pièges courants
- L'exécuter sur des extraits très courts et faire confiance à l'étiquette de toute façon — imposer d'abord une longueur minimale.
- Supposer une seule étiquette par document lorsque le texte mélange des langues — l'étiquette prédite unique sera trompeuse.
- Traiter la langue prédite comme vérité terrain sans vérification ponctuelle, en particulier pour des langues étroitement apparentées.
Questions fréquentes
Quelle quantité de texte l'identification de la langue nécessite-t-elle ?
Chaque document doit comporter au moins environ 20 caractères. Les fragments plus courts portent un signal statistique trop faible et la langue prédite devient peu fiable.
Que se passe-t-il avec un texte qui mélange deux langues ?
Le passage d'une langue à l'autre (code-switching) est une difficulté connue : lorsque deux langues apparaissent dans un même document, un outil qui renvoie une seule étiquette ne peut pas représenter les deux, et le résultat est souvent trompeur. Segmentez ou signalez de tels textes plutôt que de faire confiance à une seule étiquette.
Ai-je besoin de données d'entraînement étiquetées ?
Généralement pas. Les outils prêts à l'emploi tels que langid.py et les classificateurs de type fastText sont livrés pré-entraînés sur de nombreuses langues, vous pouvez donc détecter la langue sans préparer votre propre ensemble étiqueté.
Pourquoi identifier la langue avant d'autres analyses de texte ?
La plupart des méthodes en aval — tokeniseurs, lexiques, modèles de langue — supposent une seule langue connue. Identifier et filtrer par langue d'abord maintient cette hypothèse valide et empêche que des outils conçus pour une langue ne soient appliqués à une autre.
Méthodes associées
Sources
Lui, M. & Baldwin, T. (2012). langid.py: An Off-the-shelf Language Identification Tool. Proceedings of the ACL 2012 System Demonstrations.
Ouvrir la référence de la publicationCopié.Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. (2017). Bag of Tricks for Efficient Text Classification. Proceedings of the EACL 2017.
Ouvrir la référence de la publicationCopié.