Кластеризация документов
- Тип
- Unsupervised text-mining task
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Кластеризация документов — это задача неконтролируемого интеллектуального анализа текстов, которая группирует документы со схожим содержанием без использования каких-либо меток.
Она используется для организации больших коллекций и для разведочного анализа, опираясь на корпус методов интеллектуального анализа текстов, обобщенных Аггарвалом и Чжай (2012) и эмпирически сравненных Штайнбах, Карипис и Кумар (2000).
Интуиция метода
Когда вы сталкиваетесь с большой стопкой документов, и никто их не пометил, вы все равно хотите знать, какие из них относятся к одной группе. Кластеризация документов делает именно это: она измеряет, насколько документы похожи по формулировкам, и позволяет похожим документам попадать в одну группу, так что структура в коллекции возникает сама по себе, а не навязывается заранее определенными категориями.
История
Кластеризация документов относится к более широкой области интеллектуального анализа текстов, рассмотренной в книге Аггарвала и Чжай «Mining Text Data» (2012). Сравнительная работа Штайнбах, Карипис и Кумар (2000) исследовала, как работают различные методы кластеризации документов, помогая определить, какие семейства методов подходят для текстовых коллекций.
Когда применять
Используйте кластеризацию документов, когда у вас есть коллекция текстовых документов, но нет меток, и вы хотите организовать ее или исследовать ее структуру. Текст должен быть сначала векторизован, и вы должны решить либо количество кластеров, либо порог расстояния. Требуется разумный корпус — по крайней мере, примерно 30 документов, и он становится надежным выше примерно 100; при меньшем количестве документов ручной тематический анализ является более безопасным выбором. Если текстовых данных нет совсем, кластеризация документов не может быть применена.
Ограничения и замечания
- Результаты ненадежны на малых корпусах; ниже примерно 100 документов кластеры не заслуживают доверия.
- Требует предварительной векторизации текста и заранее установленного количества кластеров или порога расстояния.
- Не может быть применен вообще, когда нет текстовых данных.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Неконтролируемый — не требует размеченных данных, поэтому работает с необработанными коллекциями, которые никто не аннотировал.
- Выявляет скрытую структуру в корпусе, что делает его хорошо подходящим для организации коллекций и разведочного анализа.
- Масштабируется до больших коллекций документов, которые было бы непрактично сортировать вручную.
Применение
- Организация больших коллекций документов в связные группы для облегчения навигации.
- Разведочный анализ неразмеченного корпуса для обнаружения присутствующих тем.
- Группировка схожих отчетов, статей или записей в операциях и исследованиях перед более глубоким анализом.
- Предварительная структуризация коллекции перед разметкой или последующей классификацией.
Как это работает
Как это работает
Каждый документ сначала преобразуется в числовое представление с помощью векторизации текста — например, в вектор TF-IDF — так, чтобы формулировки стали чем-то, что может сравнить мера расстояния. Без этого шага кластеризационному алгоритму не на чем работать.
Перед группировкой аналитик определяет, как будут формироваться кластеры: либо целевое количество кластеров, либо порог расстояния, который определяет, когда документы достаточно близки, чтобы принадлежать к одной группе. Этот выбор определяет, сколько групп появится и насколько они будут плотными.
Кластеризационный алгоритм назначает каждый документ в группу так, чтобы документы внутри группы были более похожи друг на друга, чем на документы в других группах. Метки не направляют этот процесс — группировка полностью определяется сходством в векторном пространстве.
Полученные группы анализируются и характеризуются: аналитик читает репрезентативные документы и частые термины в каждом кластере, чтобы понять, какую тему он охватывает, организуя коллекцию или направляя результаты в разведочный анализ.
Частые ошибки
- Запуск на слишком малом количестве документов (менее ~100) дает нестабильные, ненадежные кластеры — вместо этого следует вернуться к ручному тематическому анализу.
- Небрежный выбор количества кластеров или порога расстояния навязывает произвольную структуру данным; конфигурация должна быть обоснована, а не угадана.
- Пропуск или плохая векторизация оставляют алгоритму слабый сигнал, поэтому группы отражают шум, а не содержание.
- Применение там, где нет реальных текстовых данных — соответствующей альтернативой является общий контент-анализ.
Часто задаваемые вопросы
Чем кластеризация документов отличается от классификации текстов?
Классификация является контролируемой — она назначает документы предопределенным категориям, изученным на основе размеченных примеров. Кластеризация является неконтролируемой: нет меток и предопределенных категорий. Группы возникают исключительно из того, насколько документы похожи друг на друга.
Сколько документов мне нужно?
Рабочий минимум составляет около 30 документов, но кластеризация становится надежной только выше примерно 100. При количестве менее 100 кластеров кластеры нестабильны, и ручной тематический анализ является более безопасным выбором.
Должен ли я заранее решать количество кластеров?
Вы должны установить либо целевое количество кластеров, либо порог расстояния, который определяет, когда документы достаточно близки, чтобы принадлежать к одной группе. Один из этих вариантов конфигурации требуется перед выполнением шага группировки.
Что делать, если мои документы еще не в числовой форме?
Они должны быть сначала векторизованы — например, в векторы TF-IDF — так, чтобы мера расстояния могла их сравнить. Векторизация — это первая стадия конвейера; кластеризационный алгоритм работает с этими векторами, а не с необработанным текстом.
Похожие методы
Источники
Aggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.
ISBN: 9781461432227Скопировано.Steinbach, M., Karypis, G. & Kumar, V. (2000). A Comparison of Document Clustering Techniques. KDD Workshop on Text Mining.
Открыть ссылку на публикациюСкопировано.