BERTopic — Neuronowe modelowanie tematów
- Autor metody
- Maarten Grootendorst
- Rok
- 2022
- Typ
- Neural topic-modeling pipeline
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
BERTopic to neuronowy potok modelowania tematów wprowadzony przez Maartena Grootendorsta w 2022 roku.
Łączy on kontekstowe osadzenia (embeddings) oparte na BERT z redukcją wymiarowości UMAP i klastrowaniem HDBSCAN, aby generować spójne, dynamiczne tematy, osiągając wyższą spójność tematów niż klasyczne modele tematów.
Intuicja stojąca za metodą
Klasyczne modele tematów traktują dokument jako worek słów i rzadko wychwytują znaczenie słów w kontekście. BERTopic zamiast tego zaczyna od kontekstowych osadzeń, dzięki czemu dokumenty mówiące o tym samym różnymi słowami znajdują się blisko siebie. Grupuje te pobliskie dokumenty w klastry, a następnie odczytuje słowa, które czynią każdy klaster wyróżniającym się — a te wyróżniające się słowa stają się tematem. Wynikiem jest zbiór czytelnych dla człowieka motywów, które wyłaniają się ze znaczenia tekstu, a nie z surowych liczników słów.
Historia
BERTopic został wprowadzony przez Maartena Grootendorsta w 2022 roku jako podejście neuronowego modelowania tematów, które łączy osadzenia transformera z procedurą TF-IDF opartą na klasach. Opiera się na algorytmie klastrowania opartego na gęstości HDBSCAN McInnesa, Healy'ego i Astelsa (2017) na etapie klastrowania, odsuwając modelowanie tematów od metod opartych wyłącznie na licznikach w kierunku tematów opartych na osadzeniach i skupionych na spójności.
Kiedy stosować
Używaj BERTopic, gdy masz korpus tekstowy i chcesz odkryć jego podstawowe motywy bez ich wcześniejszego określania. Nadaje się do prac eksploracyjnych i opisowych na danych przekrojowych lub podłużnych. Potrzebna jest wystarczająca liczba dokumentów — co najmniej 50, z zalecanymi ponad 100, a GPU lub wysoka moc obliczeniowa są preferowane, ponieważ etap osadzania jest kosztowny. Przy bardzo małej liczbie dokumentów klastrowanie oparte na gęstości ma zbyt mało sygnału, aby utworzyć stabilne tematy.
Ograniczenia i uwagi
- Wymaga wystarczającej liczby dokumentów — co najmniej 50, z zalecanymi ponad 100 — do utworzenia stabilnych tematów.
- Preferowane jest GPU lub wysoka moc obliczeniowa, ponieważ etap osadzania transformera jest kosztowny.
- Wyniki zależą od modelu osadzania oraz od wybranych ustawień UMAP i HDBSCAN.
- HDBSCAN pozostawia niektóre dokumenty nieprzypisane jako wartości odstające, więc nie każdy dokument otrzymuje temat.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Opiera się na kontekstowych osadzeniach, dzięki czemu wychwytuje znaczenie, które modele work-of-words pomijają.
- Generuje spójne, interpretowalne tematy z wyższą spójnością niż klasyczne modele tematów.
- Obsługuje dynamiczne modelowanie tematów, śledząc, jak tematy zmieniają się w czasie w korpusach ze znacznikiem czasu.
- Wielojęzyczny model osadzania pozwala na pracę tego samego potoku w różnych językach.
Zastosowania
- Odkrywanie motywów w dużych zbiorach dokumentów lub raportów do analizy eksploracyjnej.
- Śledzenie ewolucji tematów w korpusie w czasie na podstawie tekstów ze znacznikiem czasu.
- Podsumowywanie odpowiedzi na otwarte pytania ankietowe lub recenzji w interpretowalne motywy.
- Organizowanie korpusów naukowych lub mediów społecznościowych w spójne klastry tematów w różnych językach.
Jak to działa
Jak to działa
Każdy dokument jest konwertowany na kontekstowe osadzenie przy użyciu modelu transformera opartego na BERT. Ponieważ osadzenie wychwytuje znaczenie w kontekście, dokumenty wyrażające tę samą ideę różnymi słowami lądują blisko siebie w przestrzeni wektorowej. Wielojęzyczny model pozwala na obsługę korpusów w wielu językach przez ten sam potok.
Wysokowymiarowe osadzenia są projektowane do przestrzeni o niższej wymiarowości za pomocą UMAP. Ta redukcja zachowuje lokalną strukturę sąsiedztwa, jednocześnie czyniąc dane podatnymi na kolejny etap klastrowania, gdzie wysoka wymiarowość w przeciwnym razie rozrzedziłaby gęstość.
HDBSCAN grupuje zredukowane osadzenia w klastry oparte na gęstości. Ponieważ jest oparty na gęstości, znajduje klastry o różnym kształcie i pozostawia prawdziwie rzadkie dokumenty nieprzypisane jako wartości odstające, zamiast zmuszać każdy dokument do przypisania do tematu.
Dla każdego klastra, wynik TF-IDF oparty na klasach szereguje terminy, które są najbardziej charakterystyczne dla tego klastra. Najwyżej sklasyfikowane terminy stają się reprezentacją tematu, generując spójne, interpretowalne tematy, a w przypadku korpusów ze znacznikiem czasu, dynamiczne tematy, które można śledzić w czasie.
Częste pułapki
- Uruchomienie na zbyt małej liczbie dokumentów powoduje, że etap klastrowania nie ma wystarczającej gęstości do utworzenia znaczących tematów.
- Wybór modelu osadzania, który nie pasuje do języka korpusu, obniża jakość tematów; należy użyć modelu wielojęzycznego lub specyficznego dla domeny.
- Traktowanie dokumentów odstających (nieprzypisanych) jako porażki, a nie oczekiwanego zachowania klastrowania opartego na gęstości.
- Odczytywanie tematów z terminów TF-IDF opartych na klasach bez analizy dokumentów reprezentatywnych, co może prowadzić do nadmiernej interpretacji etykiety.
Najczęściej zadawane pytania
Czym BERTopic różni się od klasycznych modeli tematów, takich jak LDA?
Klasyczne modele, takie jak LDA, działają na podstawie liczników słów i widoku dokumentu jako worka słów. BERTopic zaczyna od kontekstowych osadzeń transformera, redukuje je za pomocą UMAP, klastruje za pomocą HDBSCAN i etykietuje każdy klaster terminami TF-IDF opartymi na klasach. Ponieważ wychwytuje znaczenie w kontekście, zazwyczaj generuje bardziej spójne i interpretowalne tematy.
Ile dokumentów potrzebuję?
Co najmniej 50 dokumentów, z zalecanymi ponad 100. Etap klastrowania jest oparty na gęstości, więc przy zbyt małej liczbie dokumentów nie ma wystarczającego sygnału do utworzenia stabilnych tematów.
Dlaczego niektóre z moich dokumentów nie są przypisane do żadnego tematu?
HDBSCAN jest algorytmem klastrowania opartym na gęstości i celowo pozostawia prawdziwie rzadkie lub nietypowe dokumenty nieprzypisane jako wartości odstające, zamiast zmuszać je do przypisania do tematu. Jest to oczekiwane zachowanie, a nie błąd.
Czy BERTopic może obsługiwać tekst inny niż angielski?
Tak. Wybierając wielojęzyczny model osadzania, ten sam potok może przetwarzać korpusy w wielu językach; dopasowanie modelu osadzania do języka korpusu jest kluczem do dobrej jakości tematów.
Pokrewne metody
Źródła
Grootendorst, M. (2022). BERTopic: Neural topic modeling with a class-based TF-IDF procedure. arXiv:2203.05794.
Otwórz odnośnik DOISkopiowano.McInnes, L., Healy, J. & Astels, S. (2017). hdbscan: Hierarchical density based clustering. Journal of Open Source Software, 2(11), 205.
Otwórz odnośnik DOISkopiowano.