Sprachidentifikation (LID)
- Typ
- NLP text-classification task
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Sprachidentifikation ist eine Aufgabe der natürlichen Sprachverarbeitung, die automatisch erkennt, in welcher Sprache ein Text verfasst ist.
Aufbauend auf sofort einsetzbaren Tools wie langid.py (Lui & Baldwin, 2012) und den effizienten Klassifikatoren von Joulin et al. (2017) wird sie häufig zur Vorverarbeitung und Filterung mehrsprachiger Datensätze eingesetzt.
Die Intuition hinter der Methode
Verschiedene Sprachen hinterlassen charakteristische Fingerabdrücke in ihren Buchstaben- und Wortmustern: Die Zeichensequenzen, die im Türkischen vorkommen, unterscheiden sich von denen im Englischen oder Japanischen. Anstatt dass ein Mensch jedes Dokument lesen und erkennen muss, lernt die Sprachidentifikation diese statistischen Muster und weist jedem Text ein Sprachlabel zu, sodass eine mehrsprachige Sammlung automatisch nach Sprache sortiert werden kann.
Geschichte
Die automatische Sprachidentifikation entwickelte sich mit langid.py (Lui & Baldwin, 2012), einem eigenständigen Tool, das viele Sprachen abdeckt, zu einer zuverlässigen, sofort einsetzbaren Werkzeugsammlung. Joulin et al. (2017) zeigten dann, dass einfache, effiziente Textklassifikationsmodelle die Aufgabe in sehr großem Maßstab bewältigen konnten, ein Ansatz, der durch die fastText-Sprachidentifikationsmodelle populär gemacht wurde.
Wann wird sie eingesetzt?
Verwenden Sie Sprachidentifikation, wenn Sie Textdaten unbekannter oder gemischter Sprache haben und diese vor der weiteren Analyse nach Sprache sortieren oder filtern müssen. Jedes Dokument sollte lang genug sein – mindestens etwa 20 Zeichen –, um ein zuverlässiges Signal zu tragen. Sie eignet sich für mehrsprachige Korpora, die bereinigt oder nach Sprache geroutet werden müssen; wenn alle Ihre Texte bereits in einer Sprache vorliegen, ist dieser Schritt unnötig.
Grenzen und Hinweise
- Sehr kurze Texte enthalten zu wenig Signal; Dokumente, die kürzer als etwa 20 Zeichen sind, sind unzuverlässig.
- Code-Switching – das Mischen zweier Sprachen innerhalb eines Dokuments – ist wirklich schwer korrekt zu labeln.
- Die Genauigkeit kann bei ressourcenarmen Sprachen und bei Texten, die verschiedene Schriften mischen, abnehmen.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Sofort einsetzbare Tools ermöglichen eine schnelle Bereitstellung ohne eigene gelabelte Daten.
- Verwandelt eine unsortierte mehrsprachige Sammlung in saubere, sprachlich getaggte Untergruppen, die für die nachgelagerte Verarbeitung bereit sind.
- Eine einführende Methode mit geringem Schwierigkeitsgrad, die auf große Korpora skaliert.
Anwendungen
- Vorverarbeitung mehrsprachiger Datensätze durch Kennzeichnung jedes Dokuments mit seiner Sprache.
- Filtern eines Korpus, um nur Dokumente in der Zielsprache vor der weiteren Analyse zu behalten.
- Weiterleiten eingehender Texte an sprachspezifische Pipelines in der sozialwissenschaftlichen, geisteswissenschaftlichen und betriebswirtschaftlichen Forschung.
- Bereinigen von web-gescrapten Sammlungen, die viele Sprachen mischen.
So funktioniert es
So funktioniert es
Der zu analysierende Text wird gesammelt und auf brauchbare Länge geprüft. Sehr kurze Fragmente enthalten zu wenig Signal, daher sollte jedes Dokument mindestens etwa 20 Zeichen lang sein, bevor es zuverlässig gekennzeichnet werden kann.
Jedes Dokument wird in das statistische Signal umgewandelt, das eine Sprache von einer anderen unterscheidet – typischerweise Zeichen-N-Gramm-Muster, die erfassen, wie Buchstaben in einer bestimmten Sprache aufeinanderfolgen. Diese Muster sind es, die der Klassifikator liest.
Ein trainiertes Modell weist jedem Dokument das wahrscheinlichste Sprachlabel zu, wobei es auf für diese Aufgabe entwickelte Tools wie langid.py oder Klassifikatoren im fastText-Stil zurückgreift. Die Ausgabe ist eine vorhergesagte Sprache für jeden Text.
Die vorhergesagten Labels werden nachgelagert verwendet: Eine mehrsprachige Sammlung wird nach Sprache sortiert, und Dokumente in unerwünschten Sprachen werden vor der weiteren Textverarbeitung herausgefiltert. Hier verdient sich die Sprachidentifikation ihren Platz als Vorverarbeitungsschritt.
Häufige Fallstricke
- Das Ausführen auf sehr kurzen Snippets und das Vertrauen auf das Label – erzwingen Sie zuerst eine Mindestlänge.
- Die Annahme eines Labels pro Dokument, wenn der Text zwischen Sprachen gewechselt wird; das einzelne vorhergesagte Label wird irreführend sein.
- Die Behandlung der vorhergesagten Sprache als Ground Truth ohne Stichprobenprüfung, insbesondere bei eng verwandten Sprachen.
Häufig gestellte Fragen
Wie viel Text benötigt die Sprachidentifikation?
Jedes Dokument sollte mindestens etwa 20 Zeichen lang sein. Kürzere Fragmente enthalten zu wenig statistisches Signal, und die vorhergesagte Sprache wird unzuverlässig.
Was passiert mit Text, der zwei Sprachen mischt?
Code-Switching ist eine bekannte Schwierigkeit: Wenn zwei Sprachen in einem Dokument vorkommen, kann ein Tool, das ein einziges Label zurückgibt, nicht beide repräsentieren, und das Ergebnis ist oft irreführend. Segmentieren oder kennzeichnen Sie solche Texte, anstatt einem einzigen Label zu vertrauen.
Benötige ich gelabelte Trainingsdaten?
Normalerweise nicht. Sofort einsetzbare Tools wie langid.py und Klassifikatoren im fastText-Stil werden mit vortrainierten Modellen für viele Sprachen geliefert, sodass Sie Sprachen erkennen können, ohne Ihren eigenen gelabelten Datensatz vorzubereiten.
Warum Sprache vor anderen Textanalysen identifizieren?
Die meisten nachgelagerten Methoden – Tokenizer, Lexika, Sprachmodelle – setzen eine einzige bekannte Sprache voraus. Die Identifizierung und Filterung nach Sprache zuerst hält diese Annahme gültig und verhindert, dass für eine Sprache entwickelte Tools auf eine andere angewendet werden.
Verwandte Methoden
Quellen
Lui, M. & Baldwin, T. (2012). langid.py: An Off-the-shelf Language Identification Tool. Proceedings of the ACL 2012 System Demonstrations.
Publikationsreferenz öffnenKopiert.Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. (2017). Bag of Tricks for Efficient Text Classification. Proceedings of the EACL 2017.
Publikationsreferenz öffnenKopiert.