Skip to content
Назад к результатам поиска

Тематическая модель NMF

Автор метода
Lee, D. D. & Seung, H. S.
Год
1999
Тип
Matrix factorization / unsupervised topic model
Семейство
Deep learning / NLP / CV

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Неотрицательное матричное разложение (NMF) — это метод неконтролируемого матричного разложения, который обнаруживает скрытые темы в текстовом корпусе путем факторизации матрицы «документ-терм» на две неотрицательные матрицы: одна кодирует веса тем и слов, другая — веса документов и тем.

Ограничение неотрицательности приводит к представлениям, основанным на частях и аддитивным, которые, как правило, дают чистые, интерпретируемые темы.

Интуиция метода

Представьте ваш корпус как большую электронную таблицу, где строки — это документы, а столбцы — слова. NMF задает вопрос: могу ли я перевыразить эту таблицу как комбинацию небольшого числа архетипических словесных паттернов (тем)? Поскольку все значения должны быть неотрицательными, модель не может аннулировать один паттерн против другого — она вынуждена находить аддитивные строительные блоки. Каждый документ затем описывается как смесь этих паттернов. Результат часто более непосредственно читаем, чем вероятностные тематические модели, поскольку верхние слова для каждой темы редко сильно пересекаются.

История

Неотрицательное матричное разложение было представлено Дэниелом Д. Ли и Х. Себастьяном Сыном в знаковом докладе в журнале Nature в 1999 году, демонстрирующем, что NMF изображений дает локализованные, основанные на частях представления — в отличие от PCA или VQ. Их доклад на NIPS в 2001 году представил теперь стандартные правила мультипликативного обновления. NMF быстро был принят для анализа текстов как альтернатива LDA для моделирования тем, предлагая более простое обучение и часто более четкие кластеры слов. Он остается стандартной базовой линией в исследованиях NLP и информационного поиска.

Когда применять

Используйте NMF, когда вам нужны четкие, основанные на частях темы из текстового корпуса, особенно когда вы хотите темы с низким перекрытием слов и четкой маркировкой. Он хорошо работает на матрицах TF-IDF, полученных из коротких и средних документов, таких как аннотации, новостные статьи или ответы на опросы. Он особенно подходит, когда интерпретируемость является основной задачей, а корпус умеренного размера (от тысяч до сотен тысяч документов). Избегайте NMF при работе с очень короткими документами (менее ~20 токенов каждый), когда для последующего вывода требуется вероятностная генеративная модель, или когда корпус чрезвычайно велик и разрежен — в этих случаях LDA или нейронные тематические модели могут быть более подходящими.

Ограничения и замечания

  • Количество тем k должно быть задано пользователем; нет встроенного механизма для его вывода из данных.
  • NMF не является генеративной вероятностной моделью, поэтому принадлежности документов к темам не являются истинными вероятностями и не могут быть напрямую использованы в вероятностных конвейерах.
  • Результаты зависят от инициализации и могут различаться при разных запусках, если не используется фиксированное начальное значение и инициализация NNDSVD.
  • Очень короткие документы (менее ~20 токенов) дают разреженные строки в V, которые трудно осмысленно факторизовать.
  • NMF не моделирует корреляции тем или ковариаты на уровне документов, как это делают структурные тематические модели.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Ограничение неотрицательности дает аддитивные, основанные на частях представления, которые часто более интерпретируемы, чем LDA.
  • Темы, как правило, имеют меньшее межтематическое перекрытие слов, что облегчает ручную маркировку.
  • Детерминированные обновления (с фиксированным начальным значением) делают результаты более воспроизводимыми, чем LDA на основе выборки.
  • Входные данные TF-IDF естественным образом понижают вес общих слов, уменьшая необходимость в исчерпывающем списке стоп-слов.
  • Прямая реализация в стандартных библиотеках (scikit-learn) с небольшим количеством требуемых гиперпараметров.
  • Хорошо масштабируется для корпусов из десятков тысяч документов без специализированного оборудования.

Применение

  • Обнаружение тем и тематический анализ в научных публикациях, новостных корпусах и открытых ответах на опросы.
  • Кластеризация документов и автоматическая маркировка контента для больших репозиториев документов.
  • Рекомендательные системы, использующие векторы «документ-тема» в качестве признаков элементов.
  • Разложение сигналов в биоинформатике (экспрессия генов) и разделение источников звука, где NMF зародилось.
  • Базовая тематическая модель, с которой сравниваются нейронные или вероятностные модели.
  • Снижение размерности разреженных матриц «документ-терм» перед последующей классификацией.

Как это работает

Как это работает

1

Корпус преобразуется в матрицу «документ-терм» V размером n-документов на m-словарь. Каждая ячейка обычно содержит оценку TF или TF-IDF — необработанные неотрицательные подсчеты или их взвешенный эквивалент. Предварительная обработка (приведение к нижнему регистру, удаление стоп-слов, необязательное стемминг) и отсечение словаря (минимальная частота документов, максимальная частота документов) применяются сначала для уменьшения шума.

2

V аппроксимируется как произведение двух неотрицательных матриц: W (n на k, веса документов и тем) и H (k на m, веса тем и слов), где k — выбранное количество тем. Обе матрицы инициализируются — обычно с помощью неотрицательного SVD-затравочного значения (NNDSVD) или случайных неотрицательных значений — а затем итеративно уточняются для минимизации потерь реконструкции, таких как норма Фробениуса или дивергенция KL от V к WH.

Формула
V \approx W H,\; W \in \mathbb{R}_{\geq 0}^{n \times k},\; H \in \mathbb{R}_{\geq 0}^{k \times m}
3

Мультипликативные правила обновления Ли-Сына итеративно обновляют W и H одновременно. Каждое обновление умножает текущее значение на отношение, которое гарантированно является положительным, сохраняя неотрицательность на протяжении всего процесса. Итерации продолжаются до тех пор, пока потери реконструкции не упадут ниже заданного допуска или не будет достигнуто максимальное количество итераций.

Формула
H \leftarrow H \odot \frac{W^{T}V}{W^{T}WH}, \quad W \leftarrow W \odot \frac{VH^{T}}{WHH^{T}}
4

После каждой итерации алгоритм проверяет, меньше ли изменение потерь реконструкции заданного допуска (обычно 1e-4). Если да, объявляется сходимость. Практические реализации также ограничивают количество итераций (например, 200), чтобы избежать чрезмерных вычислений для больших словарей.

5

После сходимости каждая строка H представляет собой тему: столбцы с наибольшими весами — это определяющие слова для этой темы. Каждая строка W — это мягкая принадлежность документа к темам. Темы обычно маркируются их топ-5-10 словами. Метрики когерентности (например, NPMI) могут использоваться для выбора лучшего количества тем k.

Частые ошибки

  • Произвольный выбор k без оценки метрик когерентности по диапазону значений.
  • Использование матриц с необработанными подсчетами вместо TF-IDF, что приводит к доминированию часто встречающихся слов в каждой теме.
  • Пропуск отсечения словаря (минимальная/максимальная частота документов), оставляя шумные или ультраредкие термины, которые увеличивают матрицу и размывают темы.
  • Обработка весов документов и тем как вероятностей без их нормализации по строкам.
  • Игнорирование влияния выбора предварительной обработки (стемминг против лемматизации, списки стоп-слов) на качество тем.

Часто задаваемые вопросы

Как выбрать количество тем k?

Запустите NMF для диапазона значений k (например, от 5 до 30) и оцените когерентность тем (оценка NPMI или C_V) на выделенной выборке словаря. Постройте график когерентности в зависимости от k и ищите пик или изгиб. Знания предметной области об ожидаемой тематической структуре корпуса также являются полезным руководством.

Лучше ли NMF, чем LDA?

Ни один из них не лучше универсально. NMF часто дает темы с меньшим межтематическим перекрытием слов и быстрее обучается, но это не генеративная вероятностная модель. LDA предоставляет распределения «документ-тема», которые являются истинными вероятностями и поддерживают оценку перплексии на отложенных данных. Выбор зависит от того, является ли приоритетом интерпретируемость или вероятностный вывод.

Требует ли NMF удаления стоп-слов?

Использование входных данных TF-IDF автоматически снижает влияние общих слов, но явное удаление стоп-слов и отсечение по минимальной частоте документов по-прежнему улучшают результаты, устраняя очень редкие или общекорпусные токены, которые добавляют шум, не способствуя когерентным темам.

Насколько воспроизводимы результаты NMF?

При фиксированном случайном начальном значении и инициализации NNDSVD результаты NMF высоко воспроизводимы. Без фиксированного начального значения разные запуски могут давать разные порядки тем или немного разные распределения слов. Всегда устанавливайте начальное значение и сообщайте о нем при публикации.

Может ли NMF обрабатывать многоязычные корпуса?

Да, но матрица «документ-терм» должна обрабатывать словарь каждого языка отдельно, или корпус должен быть сначала переведен на общий язык. Многоязычные тематические модели (например, полилингвальная LDA или многоязычные подходы на основе BERT) разработаны специально для межъязыковых сценариев и могут превосходить обычный NMF в таких случаях.

Похожие методы

Источники

  1. Lee, D. D., & Seung, H. S. (1999). Learning the parts of objects by non-negative matrix factorization. Nature, 401(6755), 788–791.

    Открыть ссылку DOI
    Скопировано.
  2. Lee, D. D., & Seung, H. S. (2001). Algorithms for non-negative matrix factorization. In Advances in Neural Information Processing Systems (NIPS), 13, 556–562.

    Открыть ссылку на публикацию
    Скопировано.