Zum Inhalt springen
Zurück zu den Suchergebnissen

Benannte Entitätenerkennung (NER)

Typ
NLP sequence-labelling task

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Die benannte Entitätenerkennung (NER) ist eine Aufgabe der natürlichen Sprachverarbeitung, die Entitäten in Texten – wie Personen, Organisationen, Orte und Daten – automatisch erkennt und kennzeichnet.

Von Nadeau und Sekine (2007) untersucht und später von Lample et al. (2016) mit neuronalen Architekturen weiterentwickelt, wandelt sie frei fließenden Text in getaggte Spannen um, die von nachgeschalteten Tools verwendet werden können.

Die Intuition hinter der Methode

Ein Dokument erwähnt Namen, Orte und Daten in gewöhnlicher Prosa, aber eine Maschine sieht nur einen Strom von Wörtern. Das Ziel von NER ist es, die Spannen zu finden, die sich auf reale Entitäten beziehen, und jeder davon das richtige Typ-Label zuzuordnen. Anstatt dass eine Person Namen manuell liest und hervorhebt, scannt die Methode den Text, entscheidet, welche Wörter eine Entität bilden, und taggt sie als Person, Organisation, Ort, Datum usw.

Geschichte

Die benannte Entitätenerkennung wurde in der Übersicht von Nadeau und Sekine (2007) als Aufgabe konsolidiert, die die regelbasierten und merkmalsbasierten Methoden des Feldes überprüfte. Die Arbeit von Lample et al. (2016) bei NAACL führte dann neuronale Architekturen für NER ein und bewegte das Feld hin zu Sequenz-Labeling-Modellen, die kontextuelle Repräsentationen lernen, anstatt sich auf handgefertigte Merkmale zu verlassen.

Wann wird sie eingesetzt?

NER ist geeignet, wenn Sie Textdaten und ein Sprachmodell haben, das die Sprache dieses Textes unterstützt, wobei zuerst eine Vorverarbeitung angewendet wird. Eine angemessene Menge an Text ist erforderlich; bei einem sehr kleinen Korpus funktioniert das Modell schlecht, und eine einfache regelbasierte Schlüsselwortextraktion ist die sicherere Wahl. Wenn überhaupt keine Textdaten vorhanden sind, kann NER nicht ausgeführt werden, und Sie sollten stattdessen strukturierte Inhalte analysieren.

Grenzen und Hinweise

  • Bei einem kleinen Korpus sinkt die Modellleistung, und eine einfache regelbasierte Schlüsselwortextraktion wird zur besseren Option.
  • Die Leistung hängt davon ab, ob das Sprachmodell die Zielsprache des Textes unterstützt.
  • Erfordert Vorverarbeitung; ohne saubere Tokenisierung werden Entitätsgrenzen unzuverlässig erkannt.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Wandelt unstrukturierten Text in strukturierte, typisierte Entitätsspannen um, die von nachgeschalteten Aufgaben verarbeitet werden können.
  • Umfasst mehrere Ansätze: regelbasiertes Matching für kleine Probleme, neuronale Sequenz-Labeling für große Probleme.
  • Identifiziert mehrere Entitätsklassen – Personen, Organisationen, Orte, Daten – in einem einzigen Durchlauf über den Text.

Anwendungen

  • Extrahieren von Personen, Organisationen und Orten aus Nachrichten und Berichten zur Indexierung.
  • Identifizieren benannter Entitäten in klinischen oder biomedizinischen Texten für strukturierte Aufzeichnungen.
  • Extrahieren von Erwähnungen von Unternehmen, Orten und Daten aus großen Dokumentensammlungen.
  • Einspeisen getaggter Entitäten in nachgeschaltete Informations- und Relations-Extraktionspipelines.

So funktioniert es

So funktioniert es

1

Der Rohtext wird bereinigt und in analysierbare Einheiten segmentiert – Sätze werden geteilt und Wörter tokenisiert –, damit Entitätsgrenzen konsistent erkannt werden können. Das gewählte Sprachmodell muss die Zielsprache unterstützen, damit dies funktioniert.

2

Jedes Token wird in Merkmale umgewandelt, die das Modell lesen kann. Je nach Ansatz bedeutet dies handgeschriebene Regeln und Gazetteer, klassische Merkmalsvektoren oder kontextuelle Einbettungen aus einem neuronalen Modell – die dem Tagger jeweils das Signal geben, das er zur Erkennung einer Entität benötigt.

3

Das Modell weist jeder Token-Spanne ein Entitätstyp-Label zu. Ein regelbasierter Ansatz gleicht Muster und Wörterbücher ab, ein maschineller Lernansatz verwendet einen trainierten Sequenz-Labeler, und ein neuronaler Ansatz wendet eine Architektur an, die den Kontext erfasst. Die Ausgabe ist eine Menge von Textspannen, die mit Typen wie Person, Organisation, Ort und Datum getaggt sind.

4

Die getaggten Spannen werden anhand von gelabelten Daten mittels Präzision, Recall und F1 bewertet, und inkorrekte oder übersehene Entitäten werden überprüft, bevor das Modell eingesetzt wird. Dies schützt davor, einem Tagger zu vertrauen, der stillschweigend eine ganze Entitätsklasse übersieht.

Häufige Fallstricke

  • Ausführen von NER auf einem kleinen Korpus (unter ~100 Dokumenten), bei dem das Modell unterdurchschnittlich abschneidet – stattdessen auf regelbasierte Schlüsselwortextraktion zurückgreifen.
  • Anwenden eines Modells, das die Korpus-Sprache nicht unterstützt, was die Erkennung beeinträchtigt.
  • Überspringen der Vorverarbeitung, sodass verrauschter oder schlecht tokenisierter Text Entitätsgrenzen aufbricht.
  • Beurteilen des Taggers allein nach der Genauigkeit, wenn eine ganze Entitätsklasse übersehen wird; Präzision, Recall und F1 berichten und übersehene Entitäten überprüfen.

Häufig gestellte Fragen

Regelbasiert, maschinelles Lernen oder neuronal – welchen Ansatz soll ich verwenden?

Ein regelbasierter Ansatz gleicht Muster und Wörterbücher ab und funktioniert bei kleinen Problemen ohne gelabelte Daten. Ein Sequenz-Labeler des maschinellen Lernens lernt aus gelabelten Beispielen und passt sich an Ihre Domäne an. Ein neuronaler Ansatz verwendet kontextuelle Architekturen und erzielt im Allgemeinen die besten Ergebnisse bei großen Korpora, jedoch mit höheren Rechenkosten.

Was passiert, wenn mein Korpus sehr klein ist?

Bei einem kleinen Korpus (ungefähr unter 100 Dokumenten) sinkt die Leistung des NER-Modells. In diesem Fall wird ein einfacherer regelbasierter Ansatz zur Schlüsselwortextraktion einem vollständigen Entitätenerkennungsmodell vorgezogen.

Funktioniert NER auch in anderen Sprachen als Englisch?

Ja, aber das gewählte Sprachmodell muss die Zielsprache des Textes unterstützen. Ein Modell, das die Korpus-Sprache nicht abdeckt, ist eine häufige Ursache für schlechte Erkennung.

Wie wird NER bewertet?

Getaggte Spannen werden anhand von gelabelten Daten mittels Präzision, Recall und F1 verglichen. Die Überprüfung übersehener und inkorrekter Entitäten ist wichtig, da ein Tagger stillschweigend eine ganze Entitätsklasse nicht erkennen kann, während er insgesamt immer noch genau erscheint.

Verwandte Methoden

Quellen

  1. Nadeau, D. & Sekine, S. (2007). A survey of named entity recognition. Lingvisticae Investigationes.

    Publikationsreferenz öffnen
    Kopiert.
  2. Lample, G. et al. (2016). Neural Architectures for Named Entity Recognition. NAACL.

    DOI-Referenz öffnen
    Kopiert.