BERTopic — Neuronale Themenmodellierung
- Eingeführt von
- Maarten Grootendorst
- Jahr
- 2022
- Typ
- Neural topic-modeling pipeline
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
BERTopic ist eine Pipeline zur neuronalen Themenmodellierung, die 2022 von Maarten Grootendorst eingeführt wurde.
Sie kombiniert BERT-basierte kontextuelle Einbettungen mit UMAP-Dimensionsreduktion und HDBSCAN-Clustering, um kohärente, dynamische Themen zu erzeugen und erzielt eine höhere Themenkohärenz als klassische Themenmodelle.
Die Intuition hinter der Methode
Klassische Themenmodelle behandeln ein Dokument als eine Wortliste (Bag-of-Words) und erfassen selten, was Wörter im Kontext bedeuten. BERTopic beginnt stattdessen mit kontextuellen Einbettungen, sodass Dokumente, die über dasselbe Thema mit unterschiedlichen Worten sprechen, nahe beieinander liegen. Es gruppiert diese nahen Dokumente in Cluster und liest dann die Wörter ab, die jeden Cluster auszeichnen – und diese auszeichnenden Wörter werden zum Thema. Das Ergebnis ist eine Reihe von menschlich lesbaren Themen, die aus der Bedeutung des Textes und nicht aus rohen Worthäufigkeiten entstehen.
Geschichte
BERTopic wurde 2022 von Maarten Grootendorst als ein Ansatz zur neuronalen Themenmodellierung eingeführt, der Transformer-Einbettungen mit einem klassenbasierten TF-IDF-Verfahren kombiniert. Es stützt sich für die Clustering-Phase auf den dichte-basierten Clustering-Algorithmus HDBSCAN von McInnes, Healy und Astels (2017) und bewegt die Themenmodellierung weg von rein zählungsbasierten Methoden hin zu einbettungsgesteuerten, kohärenzorientierten Themen.
Wann wird sie eingesetzt?
Verwenden Sie BERTopic, wenn Sie einen Textkorpus haben und dessen zugrunde liegende Themen entdecken möchten, ohne sie im Voraus festzulegen. Es eignet sich für explorative und deskriptive Arbeiten an Querschnitts- oder Längsschnitttexten. Eine ausreichende Anzahl von Dokumenten ist erforderlich – mindestens 50, wobei mehr als 100 empfohlen werden – und eine GPU oder hohe Rechenleistung wird bevorzugt, da der Einbettungsschritt teuer ist. Bei sehr wenigen Dokumenten hat das dichte-basierte Clustering zu wenig Signal, um stabile Themen zu bilden.
Grenzen und Hinweise
- Benötigt eine ausreichende Anzahl von Dokumenten – mindestens 50, wobei mehr als 100 empfohlen werden –, um stabile Themen zu bilden.
- GPU oder hohe Rechenleistung wird bevorzugt, da der Transformer-Einbettungsschritt teuer ist.
- Die Ergebnisse hängen vom Einbettungsmodell und den gewählten UMAP- und HDBSCAN-Einstellungen ab.
- HDBSCAN lässt einige Dokumente als Ausreißer unzugeordnet, sodass nicht jedes Dokument ein Thema erhält.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Basiert auf kontextuellen Einbettungen, erfasst also Bedeutung, die Bag-of-Words-Modelle übersehen.
- Erzeugt kohärente, interpretierbare Themen mit höherer Kohärenz als klassische Themenmodelle.
- Unterstützt dynamische Themenmodellierung, die verfolgt, wie sich Themen über die Zeit in zeitgestempelten Korpora verschieben.
- Ein mehrsprachiges Einbettungsmodell ermöglicht es derselben Pipeline, sprachübergreifend zu arbeiten.
Anwendungen
- Entdeckung von Themen in großen Dokumenten- oder Berichten-Sammlungen für die explorative Analyse.
- Verfolgung der Entwicklung von Themen in einem Korpus über die Zeit bei zeitgestempeltem Text.
- Zusammenfassung von offenen Umfrageantworten oder Rezensionen in interpretierbare Themen.
- Organisation von wissenschaftlichen oder Social-Media-Korpora in kohärente Themencluster sprachübergreifend.
So funktioniert es
So funktioniert es
Jedes Dokument wird mithilfe eines BERT-basierten Transformer-Modells in eine kontextuelle Einbettung umgewandelt. Da die Einbettung die Bedeutung im Kontext erfasst, landen Dokumente, die dieselbe Idee mit unterschiedlicher Formulierung ausdrücken, in der Vektorraum nahe beieinander. Ein mehrsprachiges Modell ermöglicht es derselben Pipeline, Korpora in vielen Sprachen zu verarbeiten.
Die hochdimensionalen Einbettungen werden mit UMAP in einen niedrigdimensionalen Raum projiziert. Diese Reduktion erhält die lokale Nachbarschaftsstruktur intakt, während sie die Daten für den nachfolgenden Clustering-Schritt handhabbar macht, wo hohe Dimensionalität sonst die Dichte verwässern würde.
HDBSCAN gruppiert die reduzierten Einbettungen in dichte-basierte Cluster. Da es dichte-basiert ist, findet es Cluster unterschiedlicher Form und lässt wirklich spärliche Dokumente als Ausreißer unzugeordnet, anstatt jedes Dokument einem Thema zuzuordnen.
Für jeden Cluster bewertet ein klassenbasierter TF-IDF-Score die Begriffe, die für diesen Cluster am charakteristischsten sind. Die am höchsten bewerteten Begriffe werden zur Darstellung des Themas, was zu kohärenten, interpretierbaren Themen und bei zeitgestempelten Korpora zu dynamischen Themen führt, die im Laufe der Zeit verfolgt werden können.
Häufige Fallstricke
- Die Ausführung auf zu wenigen Dokumenten führt dazu, dass dem Clustering-Schritt nicht genügend Dichte zur Bildung aussagekräftiger Themen zur Verfügung steht.
- Die Wahl eines Einbettungsmodells, das nicht zur Sprache des Korpus passt, verschlechtert die Themenqualität; verwenden Sie ein mehrsprachiges oder domänenspezifisches Modell.
- Die Behandlung von Ausreißer- (nicht zugeordneten) Dokumenten als Fehler statt als erwartetes Verhalten des dichte-basierten Clusterings.
- Die Interpretation von Themen anhand von klassenbasierten TF-IDF-Begriffen, ohne repräsentative Dokumente zu inspizieren, was zu einer Überinterpretation eines Labels führen kann.
Häufig gestellte Fragen
Wie unterscheidet sich BERTopic von klassischen Themenmodellen wie LDA?
Klassische Modelle wie LDA arbeiten mit Worthäufigkeiten und einer Bag-of-Words-Sicht auf jedes Dokument. BERTopic beginnt mit kontextuellen Transformer-Einbettungen, reduziert diese mit UMAP, clustert sie mit HDBSCAN und beschriftet jeden Cluster mit klassenbasierten TF-IDF-Begriffen. Da es Bedeutung im Kontext erfasst, liefert es im Allgemeinen kohärentere, interpretierbarere Themen.
Wie viele Dokumente benötige ich?
Mindestens 50 Dokumente, wobei mehr als 100 empfohlen werden. Der Clustering-Schritt ist dichte-basiert, sodass bei zu wenigen Dokumenten nicht genügend Signal vorhanden ist, um stabile Themen zu bilden.
Warum werden einige meiner Dokumente keinem Thema zugeordnet?
HDBSCAN ist ein dichte-basierter Clustering-Algorithmus und lässt bewusst wirklich spärliche oder atypische Dokumente als Ausreißer unzugeordnet, anstatt sie einem Thema zuzuordnen. Dies ist ein erwartetes Verhalten, kein Fehler.
Kann BERTopic nicht-englischen Text verarbeiten?
Ja. Durch die Auswahl eines mehrsprachigen Einbettungsmodells kann dieselbe Pipeline Korpora in vielen Sprachen verarbeiten; die Abstimmung des Einbettungsmodells auf die Sprache des Korpus ist entscheidend für eine gute Themenqualität.
Verwandte Methoden
Quellen
Grootendorst, M. (2022). BERTopic: Neural topic modeling with a class-based TF-IDF procedure. arXiv:2203.05794.
DOI-Referenz öffnenKopiert.McInnes, L., Healy, J. & Astels, S. (2017). hdbscan: Hierarchical density based clustering. Journal of Open Source Software, 2(11), 205.
DOI-Referenz öffnenKopiert.