Skip to content
Назад к результатам поиска

BERTopic — Нейронное моделирование тем

Автор метода
Maarten Grootendorst
Год
2022
Тип
Neural topic-modeling pipeline

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

BERTopic — это конвейер нейронного моделирования тем, представленный Маартеном Гроотендорстом в 2022 году.

Он сочетает контекстные вложения на основе BERT с понижением размерности UMAP и кластеризацией HDBSCAN для получения связных, динамических тем, достигая более высокой связности тем, чем классические модели тем.

Интуиция метода

Классические модели тем рассматривают документ как мешок слов и редко улавливают значение слов в контексте. BERTopic вместо этого начинает с контекстных вложений, поэтому документы, которые говорят об одном и том же разными словами, оказываются близко друг к другу. Он группирует эти близлежащие документы в кластеры, а затем извлекает слова, которые делают каждый кластер отличительным — и эти отличительные слова становятся темой. Результатом является набор понятных человеку тем, которые возникают из значения текста, а не из необработанных подсчетов слов.

История

BERTopic был представлен Маартеном Гроотендорстом в 2022 году как подход к нейронному моделированию тем, который сочетает трансформаторные вложения с процедурой TF-IDF на основе классов. Он использует алгоритм кластеризации на основе плотности HDBSCAN МакИннеса, Хили и Астелса (2017) для этапа кластеризации, отводя моделирование тем от чисто подсчетных методов к темам, управляемым вложениями и ориентированным на связность.

Когда применять

Используйте BERTopic, когда у вас есть текстовый корпус и вы хотите обнаружить его основные темы, не определяя их заранее. Он подходит для исследовательских и описательных работ над кросс-секционными или продольными текстами. Необходимо достаточное количество документов — по крайней мере 50, рекомендуется более 100 — и предпочтительно наличие GPU или высокой вычислительной мощности, поскольку этап вложений является дорогостоящим. При очень малом количестве документов кластеризация на основе плотности имеет слишком мало сигнала для формирования стабильных тем.

Ограничения и замечания

  • Требуется достаточное количество документов — по крайней мере 50, рекомендуется более 100 — для формирования стабильных тем.
  • Предпочтительны GPU или высокая вычислительная мощность, поскольку этап вложений трансформатора является дорогостоящим.
  • Результаты зависят от модели вложений и выбранных настроек UMAP и HDBSCAN.
  • HDBSCAN оставляет некоторые документы неназначенными как выбросы, поэтому не каждый документ получает тему.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Основывается на контекстных вложениях, поэтому улавливает смысл, который упускают модели «мешка слов».
  • Создает связные, интерпретируемые темы с более высокой связностью, чем классические модели тем.
  • Поддерживает динамическое моделирование тем, отслеживая, как темы меняются со временем в зафиксированных во времени корпусах.
  • Многоязычная модель вложений позволяет одному и тому же конвейеру работать на разных языках.

Применение

  • Обнаружение тем в больших коллекциях документов или отчетов для исследовательского анализа.
  • Отслеживание эволюции тем в корпусе со временем в текстах с временными метками.
  • Суммирование открытых ответов на опросы или отзывов в интерпретируемые темы.
  • Организация научных или социальных медиа корпусов в связные тематические кластеры на разных языках.

Как это работает

Как это работает

1

Каждый документ преобразуется в контекстное вложение с использованием трансформаторной модели на основе BERT. Поскольку вложение улавливает смысл в контексте, документы, выражающие одну и ту же идею разными словами, оказываются рядом друг с другом в векторном пространстве. Многоязычная модель позволяет одному и тому же конвейеру обрабатывать корпуса на многих языках.

2

Высокоразмерные вложения проецируются в низкоразмерное пространство с помощью UMAP. Это снижение сохраняет локальную структуру соседства, делая данные управляемыми для последующего этапа кластеризации, где высокая размерность в противном случае разбавила бы плотность.

3

HDBSCAN группирует сниженные вложения в кластеры на основе плотности. Поскольку он основан на плотности, он находит кластеры различной формы и оставляет действительно разреженные документы неназначенными как выбросы, вместо того чтобы принудительно помещать каждый документ в тему.

4

Для каждого кластера оценка TF-IDF на основе классов ранжирует термины, наиболее отличительные для этого кластера. Наиболее высокоранжированные термины становятся представлением темы, давая связные, интерпретируемые темы и, на зафиксированных во времени корпусах, динамические темы, которые можно отслеживать с течением времени.

Частые ошибки

  • Запуск на слишком малом количестве документов оставляет этап кластеризации без достаточной плотности для формирования значимых тем.
  • Выбор модели вложений, не соответствующей языку корпуса, снижает качество тем; используйте многоязычную или предметно-ориентированную модель.
  • Рассмотрение документов-выбросов (неназначенных) как неудачи, а не ожидаемого поведения кластеризации на основе плотности.
  • Чтение тем из терминов TF-IDF на основе классов без проверки репрезентативных документов, что может привести к чрезмерной интерпретации метки.

Часто задаваемые вопросы

Чем BERTopic отличается от классических моделей тем, таких как LDA?

Классические модели, такие как LDA, работают на основе подсчета слов и представления каждого документа как «мешка слов». BERTopic начинает с контекстных трансформаторных вложений, снижает их с помощью UMAP, кластеризует с помощью HDBSCAN и маркирует каждый кластер терминами TF-IDF на основе классов. Поскольку он улавливает смысл в контексте, он обычно дает более связные и интерпретируемые темы.

Сколько документов мне нужно?

По крайней мере 50 документов, рекомендуется более 100. Этап кластеризации основан на плотности, поэтому при слишком малом количестве документов недостаточно сигнала для формирования стабильных тем.

Почему некоторые мои документы не назначены ни к какой теме?

HDBSCAN — это алгоритм кластеризации на основе плотности, который намеренно оставляет действительно разреженные или атипичные документы неназначенными как выбросы, вместо того чтобы принудительно включать их в тему. Это ожидаемое поведение, а не ошибка.

Может ли BERTopic обрабатывать неанглийский текст?

Да. Выбирая многоязычную модель вложений, один и тот же конвейер может обрабатывать корпуса на многих языках; соответствие модели вложений языку корпуса является ключом к хорошему качеству тем.

Похожие методы

Источники

  1. Grootendorst, M. (2022). BERTopic: Neural topic modeling with a class-based TF-IDF procedure. arXiv:2203.05794.

    Открыть ссылку DOI
    Скопировано.
  2. McInnes, L., Healy, J. & Astels, S. (2017). hdbscan: Hierarchical density based clustering. Journal of Open Source Software, 2(11), 205.

    Открыть ссылку DOI
    Скопировано.