Zum Inhalt springen
Zurück zu den Suchergebnissen

Zero-Shot-Klassifikation – Textklassifikation ohne Trainingsdaten

Eingeführt von
Yin, Hay & Roth
Jahr
2019
Typ
NLP text-classification task

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Zero-Shot-Klassifikation ist eine Aufgabe der natürlichen Sprachverarbeitung, die Textkategorien zuweist, die in einfacher Sprache beschrieben sind, ohne dass beschriftete Trainingsdaten erforderlich sind.

Von Yin, Hay und Roth (2019) als Entailment-Problem formalisiert, ermöglicht sie einem großen vortrainierten Sprachmodell, neue Kategorien spontan zu erkennen, indem es sie einfach benennt, was eine schnelle Anpassung an neue Label-Sets ermöglicht.

Die Intuition hinter der Methode

Normalerweise muss ein Klassifikator viele beschriftete Beispiele jeder Kategorie sehen, bevor er sie erkennen kann. Die Zero-Shot-Klassifikation überspringt diesen Schritt: Sie geben die Kategorienamen als gewöhnliche Wörter an – zum Beispiel Politik, Sport, Wissenschaft – und ein großes vortrainiertes Sprachmodell, das bereits Sprache versteht, beurteilt, wie gut jedes Kandidaten-Label zum Text passt. Da das Modell sein eigenes breites Sprachwissen mitbringt, können Sie Kategorien sofort hinzufügen oder ändern, ohne neue Trainingsdaten zu sammeln und zu beschriften.

Geschichte

Die Zero-Shot-Textklassifikation wurde von Yin, Hay und Roth (2019) systematisch bewertet und als Text-Entailment-Problem formuliert, die zeigten, dass ein auf Natural Language Inference trainiertes Modell Text in ungesehene Kategorien klassifizieren kann, indem es jedes Label als Hypothese behandelt. Die breitere Fähigkeit großer Sprachmodelle, Aufgaben auszuführen, für die sie nie explizit trainiert wurden, wurde von Brown et al. (2020) in der Few-Shot-Learning-Arbeit zu GPT-3 populär gemacht.

Wann wird sie eingesetzt?

Zero-Shot-Klassifikation ist geeignet, wenn Sie Text zu kategorisieren haben, aber keine beschrifteten Trainingsdaten, und wenn sich die Kategorien im Laufe der Zeit ändern oder wachsen können. Sie erfordert ein großes vortrainiertes Sprachmodell (wie BART- oder RoBERTa-basierte Entailment-Modelle) und Kandidaten-Labels, die klar und disjunkt definiert sind. Sie eignet sich gut für schnelles Prototyping und für Situationen, in denen das Sammeln beschrifteter Beispiele für jede Klasse unpraktisch ist.

Grenzen und Hinweise

  • Hängt von einem großen vortrainierten Sprachmodell (BART, RoBERTa) ab, was Rechenkosten verursacht.
  • Die Genauigkeit hängt davon ab, wie klar und disjunkt die Kandidaten-Labels formuliert sind.
  • Ohne aufgabenspezifisches Training kann es von einem überwachten Klassifikator übertroffen werden, wenn ausreichend beschriftete Daten vorhanden sind.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Erfordert keine beschrifteten Trainingsdaten – Kategorien werden in einfacher Sprache beschrieben.
  • Passt sich schnell an neue Kategorien an: Das Hinzufügen einer Klasse bedeutet lediglich, ihren Namen zur Kandidaten-Label-Liste hinzuzufügen.
  • Nutzt das breite linguistische Wissen, das bereits in einem großen vortrainierten Modell erfasst ist.

Anwendungen

  • Kategorisierung von Dokumenten in häufig wechselnde Label-Sets ohne erneutes Training.
  • Schnelles Prototyping von Klassifikationsaufgaben, bevor beschriftete Daten gesammelt werden.
  • Weiterleiten oder Taggen eingehender Texte (Themen, Absichten) nur mit Kategorienamen.
  • Erforschung neuer Kategorien in Forschungs- und Betriebs-Textkorpora.

So funktioniert es

So funktioniert es

1

Sie beschreiben die Zielkategorien als Kandidaten-Labels in natürlicher Sprache – kurze Phrasen, die das Modell direkt lesen kann. Diese Labels müssen klar formuliert und disjunkt sein, da das Modell den Text mit jedem Label so vergleicht, wie es geschrieben ist; vage oder überlappende Labels verwischen die Entscheidung.

2

Der Text und die Kandidaten-Labels werden in ein großes vortrainiertes Sprachmodell wie BART oder RoBERTa eingespeist. Es findet keine Anpassung an Ihre eigenen Daten statt – das Modell nutzt das linguistische Wissen, das es während des Vortrainings erworben hat, um sowohl das Dokument als auch jedes Kandidaten-Label darzustellen.

3

Das Modell bewertet, wie stark jedes Kandidaten-Label durch den Text gestützt wird, indem es die Aufgabe als Natural Language Inference formuliert: Impliziert der Text die Hypothese, dass er zu diesem Label gehört? Jedes Label erhält einen Kompatibilitäts-Score vom vortrainierten Modell.

4

Das Label mit dem höchsten Score wird dem Text zugewiesen (oder ein ranggeordneter Satz von Labels für Multi-Label-Einstellungen). Da die Bewertung vollständig auf dem vortrainierten Modell beruht, ist das Hinzufügen einer neuen Kategorie so einfach wie das Hinzufügen ihres Namens zur Kandidatenliste.

Häufige Fallstricke

  • Vage oder überlappende Kandidaten-Labels verwischen die Entscheidungen des Modells; definieren Sie jedes Label klar und halten Sie sie disjunkt.
  • Erwarten, dass die Zero-Shot-Genauigkeit einem vollständig überwachten Klassifikator entspricht, wenn viele beschriftete Daten verfügbar sind – in diesem Fall trainieren Sie stattdessen ein überwachtes Modell.
  • Die Verwendung eines kleinen oder generischen Modells anstelle eines großen, entailment-fähigen Modells verschlechtert die Ergebnisse.
  • Die Formulierung von Labels in einer Sprache, die das vortrainierte Modell nicht gut verarbeitet, verringert die Zuverlässigkeit.

Häufig gestellte Fragen

Benötigt die Zero-Shot-Klassifikation Trainingsdaten?

Nein. Das ist ihr entscheidendes Merkmal: Sie beschreiben die Kategorien als Kandidaten-Labels in natürlicher Sprache, und ein großes vortrainiertes Modell beurteilt die Passung, sodass keine beschrifteten Beispiele erforderlich sind.

Auf welchem Modell basiert sie?

Sie basiert auf einem großen vortrainierten Sprachmodell, typischerweise einem auf Entailment trainierten Modell wie BART oder RoBERTa. Die Qualität des Ergebnisses hängt stark davon ab, ein leistungsfähiges vortrainiertes Modell anstelle eines kleinen generischen zu verwenden.

Wie sollte ich die Kandidaten-Labels formulieren?

Definieren Sie sie klar und halten Sie sie disjunkt. Das Modell vergleicht den Text mit jedem Label so, wie es geschrieben ist, sodass vage oder überlappende Labels die Entscheidung verwischen und die Genauigkeit verringern.

Ist sie so genau wie ein überwachter Klassifikator?

Nicht unbedingt. Wenn Sie ausreichend beschriftete Daten haben, kann ein darauf trainierter überwachter Klassifikator die Zero-Shot-Klassifikation übertreffen. Zero-Shot glänzt, wenn beschriftete Daten knapp sind oder sich der Kategoriensatz ständig ändert.

Verwandte Methoden

Quellen

  1. Yin, W., Hay, J. & Roth, D. (2019). Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach. EMNLP, 3914-3923.

    DOI-Referenz öffnen
    Kopiert.
  2. Brown, T. et al. (2020). Language Models are Few-Shot Learners. NeurIPS.

    Publikationsreferenz öffnen
    Kopiert.