BERTopic — Modelagem Neural de Tópicos
- Proposto por
- Maarten Grootendorst
- Ano
- 2022
- Tipo
- Neural topic-modeling pipeline
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
BERTopic é um pipeline de modelagem neural de tópicos introduzido por Maarten Grootendorst em 2022.
Ele combina embeddings contextuais baseados em BERT com redução de dimensionalidade UMAP e clusterização HDBSCAN para produzir tópicos coerentes e dinâmicos, alcançando maior coerência de tópicos do que modelos de tópicos clássicos.
A intuição por trás do método
Modelos de tópicos clássicos tratam um documento como um saco de palavras e raramente capturam o significado das palavras em contexto. BERTopic, em vez disso, parte de embeddings contextuais, de modo que documentos que falam sobre a mesma coisa com palavras diferentes acabam próximos uns dos outros. Ele agrupa esses documentos próximos em clusters e, em seguida, extrai as palavras que tornam cada cluster distinto — e essas palavras distintas se tornam o tópico. O resultado é um conjunto de temas legíveis por humanos que emergem do significado do texto, em vez de contagens brutas de palavras.
História
BERTopic foi introduzido por Maarten Grootendorst em 2022 como uma abordagem de modelagem neural de tópicos que combina embeddings de transformadores com um procedimento TF-IDF baseado em classe. Ele se baseia no algoritmo de clusterização baseada em densidade HDBSCAN de McInnes, Healy e Astels (2017) para a etapa de clusterização, afastando a modelagem de tópicos de métodos puramente baseados em contagem para tópicos orientados por embedding e focados em coerência.
Quando usar
Use BERTopic quando tiver um corpus de texto e quiser descobrir seus temas subjacentes sem especificá-los antecipadamente. Ele é adequado para trabalhos exploratórios e descritivos em textos transversais ou longitudinais. É necessário um número suficiente de documentos — pelo menos 50, com mais de 100 recomendados — e preferencialmente GPU ou alta capacidade de computação, pois a etapa de embedding é custosa. Com poucos documentos, a clusterização baseada em densidade tem sinal insuficiente para formar tópicos estáveis.
Limitações e considerações
- Requer um número suficiente de documentos — pelo menos 50, com mais de 100 recomendados — para formar tópicos estáveis.
- GPU ou alta capacidade de computação são preferíveis, pois a etapa de embedding do transformador é custosa.
- Os resultados dependem do modelo de embedding e das configurações de UMAP e HDBSCAN escolhidas.
- HDBSCAN deixa alguns documentos sem atribuição como outliers, portanto, nem todo documento recebe um tópico.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Baseia-se em embeddings contextuais, capturando assim o significado que modelos de saco de palavras perdem.
- Produz tópicos coerentes e interpretáveis com maior coerência do que modelos de tópicos clássicos.
- Suporta modelagem dinâmica de tópicos, rastreando como os tópicos mudam ao longo do tempo em corpora com marcação temporal.
- Um modelo de embedding multilíngue permite que o mesmo pipeline funcione em vários idiomas.
Aplicações
- Descobrir temas em grandes coleções de documentos ou relatórios para análise exploratória.
- Rastrear a evolução dos tópicos em um corpus ao longo do tempo em textos com marcação temporal.
- Resumir respostas de pesquisas abertas ou avaliações em temas interpretáveis.
- Organizar corpora científicos ou de mídias sociais em clusters de tópicos coerentes entre idiomas.
Como funciona
Como funciona
Cada documento é convertido em um embedding contextual usando um modelo transformador baseado em BERT. Como o embedding captura o significado em contexto, documentos que expressam a mesma ideia com formulações diferentes ficam próximos uns dos outros no espaço vetorial. Um modelo multilíngue permite que o mesmo pipeline processe corpora em muitos idiomas.
Os embeddings de alta dimensionalidade são projetados em um espaço de menor dimensionalidade com UMAP. Essa redução mantém a estrutura de vizinhança local intacta, ao mesmo tempo que torna os dados tratáveis para a etapa de clusterização subsequente, onde a alta dimensionalidade, de outra forma, diluiria a densidade.
HDBSCAN agrupa os embeddings reduzidos em clusters baseados em densidade. Por ser baseado em densidade, ele encontra clusters de formas variadas e deixa documentos genuinamente esparsos sem atribuição como outliers, em vez de forçar cada documento em um tópico.
Para cada cluster, uma pontuação TF-IDF baseada em classe classifica os termos mais distintivos daquele cluster. Os termos de maior classificação se tornam a representação do tópico, gerando tópicos coerentes e interpretáveis e, em corpora com marcação temporal, tópicos dinâmicos que podem ser rastreados ao longo do tempo.
Erros comuns
- Executá-lo em poucos documentos deixa a etapa de clusterização sem densidade suficiente para formar tópicos significativos.
- Escolher um modelo de embedding que não corresponda ao idioma do corpus degrada a qualidade do tópico; use um modelo multilíngue ou apropriado ao domínio.
- Tratar documentos outliers (não atribuídos) como uma falha em vez do comportamento esperado da clusterização baseada em densidade.
- Interpretar tópicos a partir de termos TF-IDF baseados em classe sem inspecionar documentos representativos, o que pode levar à superinterpretação de um rótulo.
Perguntas frequentes
Como BERTopic difere de modelos de tópicos clássicos como LDA?
Modelos clássicos como LDA operam a partir de contagens de palavras e uma visão de saco de palavras de cada documento. BERTopic parte de embeddings de transformadores contextuais, os reduz com UMAP, os agrupa com HDBSCAN e rotula cada cluster com termos TF-IDF baseados em classe. Por capturar o significado em contexto, geralmente produz tópicos mais coerentes e interpretáveis.
Quantos documentos são necessários?
Pelo menos 50 documentos, com mais de 100 recomendados. A etapa de clusterização é baseada em densidade, portanto, com poucos documentos, não há sinal suficiente para formar tópicos estáveis.
Por que alguns dos meus documentos não foram atribuídos a nenhum tópico?
HDBSCAN é um algoritmo de clusterização baseado em densidade e deliberadamente deixa documentos genuinamente esparsos ou atípicos sem atribuição como outliers, em vez de forçá-los em um tópico. Este é um comportamento esperado, não um erro.
BERTopic pode lidar com texto não inglês?
Sim. Ao selecionar um modelo de embedding multilíngue, o mesmo pipeline pode processar corpora em muitos idiomas; corresponder o modelo de embedding ao idioma do corpus é fundamental para uma boa qualidade do tópico.
Métodos relacionados
Fontes
Grootendorst, M. (2022). BERTopic: Neural topic modeling with a class-based TF-IDF procedure. arXiv:2203.05794.
Abrir referência DOICopiado.McInnes, L., Healy, J. & Astels, S. (2017). hdbscan: Hierarchical density based clustering. Journal of Open Source Software, 2(11), 205.
Abrir referência DOICopiado.