Skip to content
Назад к результатам поиска

Тематическое моделирование на основе НМФ

Автор метода
Lee & Seung
Год
1999
Тип
Matrix-factorization topic model

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Тематическое моделирование на основе НМФ (NMF topic modeling) использует неотрицательное матричное разложение — разложение на составляющие, представленное Ли и Сингом (Lee and Seung, 1999) — для извлечения распределений документов по темам из корпуса.

Разлагая матрицу «документ-терм» на две неотрицательные матрицы, метод восстанавливает небольшое количество тем и, как правило, производит более интерпретируемые темы, чем LDA.

Интуиция метода

Корпус можно представить в виде одной большой таблицы, где каждая строка — это документ, а каждый столбец — термин. НМФ предполагает, что эта таблица является произведением двух меньших неотрицательных таблиц: одна указывает, насколько каждый документ относится к каждой теме, а другая — какие термины составляют каждую тему. Поскольку ничто не может быть отрицательным, темы могут только складываться — они не могут компенсировать друг друга — поэтому каждая тема в итоге выглядит как связный набор совместно встречающихся слов, которому читатель может дать название.

История

НМФ был представлен Ли и Сингом (Lee and Seung, 1999), которые показали, что обучение основанного на составляющих, аддитивного представления объектов дает интерпретируемые компоненты. Позже этот метод был адаптирован для текста как тематическая модель, а Арора и др. (Arora et al., 2013) предложили практический алгоритм для тематического моделирования с доказуемыми гарантиями, укрепив его теоретическую основу.

Когда применять

Используйте тематическое моделирование на основе НМФ для исследования или описания текстового корпуса, когда у вас достаточно документов (около 50 или более) и вы можете заранее определить количество тем k. Метод ожидает текстовые данные, представленные в виде матрицы «документ-терм», предпочтительно с векторизацией TF-IDF. Он хорошо подходит, когда интерпретируемые, поддающиеся именованию темы важнее, чем полностью вероятностная модель.

Ограничения и замечания

  • Количество тем k должно быть выбрано заранее, а не извлечено из данных.
  • Требует достаточного количества документов (около 50 или более) для восстановления стабильных тем.
  • В отличие от вероятностной модели, не предоставляет генеративного описания или принципиальной неопределенности относительно тем.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Производит более интерпретируемые темы, чем LDA, благодаря аддитивному разложению на составляющие.
  • Естественно работает с матрицами «документ-терм» TF-IDF, стандартным представлением для текста.
  • Концептуально прост: одно матричное разложение с четким разделением на «документ-тема» и «тема-терм».

Применение

  • Обнаружение и именование основных тем в коллекции документов.
  • Обобщение больших корпусов по их доминирующим темам для разведочного анализа.
  • Маркировка документов распределениями тем для дальнейшего описания и поиска.
  • Сравнение структуры тем в подмножествах корпуса.

Как это работает

Как это работает

1

Корпус преобразуется в матрицу «документ-терм», в которой каждый документ становится строкой взвешенных оценок терминов. Предпочтительна векторизация TF-IDF, поскольку она понижает вес повсеместно встречающихся слов и выделяет термины, которые действительно отличают документы, предоставляя разложению более чистый сигнал для работы.

2

Матрица «документ-терм» аппроксимируется как произведение двух неотрицательных матриц: матрицы «документ-тема» и матрицы «тема-терм». Выбранное количество тем k фиксирует внутреннее измерение этого произведения, и разложение подбирается так, чтобы реконструкция оставалась близкой к исходной матрице, при этом все элементы оставались неотрицательными.

3

Каждая тема считывается из матрицы «тема-терм» путем анализа терминов с наибольшим весом в ее столбце. Поскольку все веса неотрицательны и складываются, эти наиболее весомые термины формируют читаемую тему, которой можно дать название — такая аддитивная, основанная на составляющих структура делает темы НМФ более легкими для интерпретации, чем темы LDA.

4

Каждый документ описывается своей строкой в матрице «документ-тема», которая дает силу каждой темы в данном документе. Эти распределения могут использоваться для обобщения корпуса, маркировки документов их доминирующими темами или для дальнейшего описания и исследования.

Частые ошибки

  • Неправильный выбор k — слишком мало тем объединяет различные темы, слишком много — дробит их на шум.
  • Пропуск взвешивания TF-IDF позволяет доминировать частотным служебным словам и размывает темы.
  • Применение к слишком малому количеству документов приводит к нестабильным темам, которые меняются от одной подгонки к другой.
  • Рассмотрение столбцов тем как точных, а не приближенных — НМФ лишь приблизительно реконструирует исходную матрицу.

Часто задаваемые вопросы

Чем тематическое моделирование на основе НМФ отличается от LDA?

Обе модели извлекают распределения документов по темам, но НМФ — это матричное разложение, которое заставляет все компоненты быть неотрицательными и аддитивными, в то время как LDA — это вероятностная генеративная модель. Аддитивная, основанная на составляющих структура НМФ, как правило, делает его темы более интерпретируемыми, чем темы LDA.

Как выбрать количество тем k?

k должно быть установлено перед подгонкой, поскольку НМФ не извлекает его из данных. Выбирайте его на основе знаний о предметной области и путем сравнения интерпретируемости и связности тем для нескольких значений k.

Почему TF-IDF предпочтительнее сырых подсчетов?

TF-IDF понижает вес слов, которые встречаются повсеместно, и выделяет термины, которые отличают документы, предоставляя разложению более чистый сигнал и производя более четкие, поддающиеся именованию темы.

Сколько документов мне нужно?

Рекомендуемый минимум — около 50 или более. При слишком малом количестве документов восстановленные темы становятся нестабильными и могут меняться от одной подгонки к другой.

Похожие методы

Источники

  1. Lee, D.D. & Seung, H.S. (1999). Learning the Parts of Objects by Non-negative Matrix Factorization. Nature, 401, 788-791.

    Открыть ссылку DOI
    Скопировано.
  2. Arora, S., Ge, R., Halpern, Y., Mimno, D., Moitra, A., Sontag, D., Wu, Y. & Zhu, M. (2013). A Practical Algorithm for Topic Modeling with Provable Guarantees. Proceedings of the 30th International Conference on Machine Learning (ICML), 280-288.

    Открыть ссылку на публикацию
    Скопировано.