Тематическое моделирование на основе НМФ
- Автор метода
- Lee & Seung
- Год
- 1999
- Тип
- Matrix-factorization topic model
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Тематическое моделирование на основе НМФ (NMF topic modeling) использует неотрицательное матричное разложение — разложение на составляющие, представленное Ли и Сингом (Lee and Seung, 1999) — для извлечения распределений документов по темам из корпуса.
Разлагая матрицу «документ-терм» на две неотрицательные матрицы, метод восстанавливает небольшое количество тем и, как правило, производит более интерпретируемые темы, чем LDA.
Интуиция метода
Корпус можно представить в виде одной большой таблицы, где каждая строка — это документ, а каждый столбец — термин. НМФ предполагает, что эта таблица является произведением двух меньших неотрицательных таблиц: одна указывает, насколько каждый документ относится к каждой теме, а другая — какие термины составляют каждую тему. Поскольку ничто не может быть отрицательным, темы могут только складываться — они не могут компенсировать друг друга — поэтому каждая тема в итоге выглядит как связный набор совместно встречающихся слов, которому читатель может дать название.
История
НМФ был представлен Ли и Сингом (Lee and Seung, 1999), которые показали, что обучение основанного на составляющих, аддитивного представления объектов дает интерпретируемые компоненты. Позже этот метод был адаптирован для текста как тематическая модель, а Арора и др. (Arora et al., 2013) предложили практический алгоритм для тематического моделирования с доказуемыми гарантиями, укрепив его теоретическую основу.
Когда применять
Используйте тематическое моделирование на основе НМФ для исследования или описания текстового корпуса, когда у вас достаточно документов (около 50 или более) и вы можете заранее определить количество тем k. Метод ожидает текстовые данные, представленные в виде матрицы «документ-терм», предпочтительно с векторизацией TF-IDF. Он хорошо подходит, когда интерпретируемые, поддающиеся именованию темы важнее, чем полностью вероятностная модель.
Ограничения и замечания
- Количество тем k должно быть выбрано заранее, а не извлечено из данных.
- Требует достаточного количества документов (около 50 или более) для восстановления стабильных тем.
- В отличие от вероятностной модели, не предоставляет генеративного описания или принципиальной неопределенности относительно тем.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Производит более интерпретируемые темы, чем LDA, благодаря аддитивному разложению на составляющие.
- Естественно работает с матрицами «документ-терм» TF-IDF, стандартным представлением для текста.
- Концептуально прост: одно матричное разложение с четким разделением на «документ-тема» и «тема-терм».
Применение
- Обнаружение и именование основных тем в коллекции документов.
- Обобщение больших корпусов по их доминирующим темам для разведочного анализа.
- Маркировка документов распределениями тем для дальнейшего описания и поиска.
- Сравнение структуры тем в подмножествах корпуса.
Как это работает
Как это работает
Корпус преобразуется в матрицу «документ-терм», в которой каждый документ становится строкой взвешенных оценок терминов. Предпочтительна векторизация TF-IDF, поскольку она понижает вес повсеместно встречающихся слов и выделяет термины, которые действительно отличают документы, предоставляя разложению более чистый сигнал для работы.
Матрица «документ-терм» аппроксимируется как произведение двух неотрицательных матриц: матрицы «документ-тема» и матрицы «тема-терм». Выбранное количество тем k фиксирует внутреннее измерение этого произведения, и разложение подбирается так, чтобы реконструкция оставалась близкой к исходной матрице, при этом все элементы оставались неотрицательными.
Каждая тема считывается из матрицы «тема-терм» путем анализа терминов с наибольшим весом в ее столбце. Поскольку все веса неотрицательны и складываются, эти наиболее весомые термины формируют читаемую тему, которой можно дать название — такая аддитивная, основанная на составляющих структура делает темы НМФ более легкими для интерпретации, чем темы LDA.
Каждый документ описывается своей строкой в матрице «документ-тема», которая дает силу каждой темы в данном документе. Эти распределения могут использоваться для обобщения корпуса, маркировки документов их доминирующими темами или для дальнейшего описания и исследования.
Частые ошибки
- Неправильный выбор k — слишком мало тем объединяет различные темы, слишком много — дробит их на шум.
- Пропуск взвешивания TF-IDF позволяет доминировать частотным служебным словам и размывает темы.
- Применение к слишком малому количеству документов приводит к нестабильным темам, которые меняются от одной подгонки к другой.
- Рассмотрение столбцов тем как точных, а не приближенных — НМФ лишь приблизительно реконструирует исходную матрицу.
Часто задаваемые вопросы
Чем тематическое моделирование на основе НМФ отличается от LDA?
Обе модели извлекают распределения документов по темам, но НМФ — это матричное разложение, которое заставляет все компоненты быть неотрицательными и аддитивными, в то время как LDA — это вероятностная генеративная модель. Аддитивная, основанная на составляющих структура НМФ, как правило, делает его темы более интерпретируемыми, чем темы LDA.
Как выбрать количество тем k?
k должно быть установлено перед подгонкой, поскольку НМФ не извлекает его из данных. Выбирайте его на основе знаний о предметной области и путем сравнения интерпретируемости и связности тем для нескольких значений k.
Почему TF-IDF предпочтительнее сырых подсчетов?
TF-IDF понижает вес слов, которые встречаются повсеместно, и выделяет термины, которые отличают документы, предоставляя разложению более чистый сигнал и производя более четкие, поддающиеся именованию темы.
Сколько документов мне нужно?
Рекомендуемый минимум — около 50 или более. При слишком малом количестве документов восстановленные темы становятся нестабильными и могут меняться от одной подгонки к другой.
Похожие методы
Источники
Lee, D.D. & Seung, H.S. (1999). Learning the Parts of Objects by Non-negative Matrix Factorization. Nature, 401, 788-791.
Открыть ссылку DOIСкопировано.Arora, S., Ge, R., Halpern, Y., Mimno, D., Moitra, A., Sontag, D., Wu, Y. & Zhu, M. (2013). A Practical Algorithm for Topic Modeling with Provable Guarantees. Proceedings of the 30th International Conference on Machine Learning (ICML), 280-288.
Открыть ссылку на публикациюСкопировано.