Коллокационный анализ — Ассоциации слов
- Автор метода
- Church & Hanks
- Год
- 1990
- Тип
- Statistical text-mining technique
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Коллокационный анализ — это статистический метод интеллектуального анализа текстов, который выявляет пары слов или выражения, часто встречающиеся вместе, используя меры ассоциации, а не случайные совпадения.
Впервые предложенный в лексикографической работе Church и Hanks (1990), он используется для извлечения терминологии и лингвистического анализа, выявляя многословные единицы, несущие смысл в корпусе.
Интуиция метода
Некоторые слова просто сочетаются друг с другом — «крепкий чай» звучит естественно, а «мощный чай» — нет, хотя значение похоже. Коллокационный анализ выходит за рамки простой частоты и спрашивает, какие пары слов встречаются вместе гораздо чаще, чем предсказывает случайность. Статистически оценивая совместную встречаемость, он выделяет осмысленные фразы и устойчивые выражения, скрытые в тексте, а не просто перечисляет часто встречающиеся слова.
История
Коллокационный анализ как статистический метод был установлен Church и Hanks (1990), которые ввели нормы словесных ассоциаций и взаимную информацию для лексикографии, показав, как статистика совместной встречаемости может выявлять осмысленные пары слов. Подход был консолидирован в более широкой области статистической обработки естественного языка Manning и Schütze (1999).
Когда применять
Коллокационный анализ подходит, когда у вас есть текстовый корпус разумного размера (около 50 или более документов), и вы хотите найти осмысленные многословные единицы, а не частоты отдельных слов. Он подходит для исследовательских и описательных работ по извлечению терминологии и лингвистическому анализу. Он предполагает наличие достаточного количества текста для стабильной статистики совместной встречаемости и предварительную очистку от стоп-слов; при очень малом объеме текста оценки ассоциации становятся ненадежными.
Ограничения и замечания
- Требуется достаточно большой корпус для стабильности статистики совместной встречаемости.
- Результаты сильно зависят от предварительной обработки — оставшиеся стоп-слова искажают ассоциации.
- Меры, такие как PMI, могут чрезмерно вознаграждать редкие пары слов, которые случайно встречаются несколько раз.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Выявляет осмысленные многословные выражения и устойчивые фразы, которые упускаются при подсчете частоты отдельных слов.
- Статистические меры ассоциации отделяют истинные словесные ассоциации от случайных совпадений.
- Концептуально прост и легок в применении для извлечения терминологии и лингвистического анализа.
Применение
- Извлечение терминологии — идентификация специфичных для предметной области многословных терминов в корпусе.
- Лексикография и составление словарей, выявление характерных словесных ассоциаций.
- Лингвистический анализ и анализ дискурса того, как слова сочетаются в тексте.
- Подготовка кандидатных фраз для последующих задач интеллектуального анализа текстов и извлечения информации.
Как это работает
Как это работает
Корпус токенизируется и очищается, удаляются стоп-слова, чтобы высокочастотные служебные слова не заглушали значимые ассоциации. Последовательная предварительная обработка обеспечивает сопоставимость счетчиков совместной встречаемости и интерпретируемость полученных коллокаций.
Формируются кандидатные пары слов (обычно биграммы), и собираются счетчики их совместной встречаемости по всему корпусу, наряду с индивидуальными частотами каждого слова. Эти счетчики являются исходным материалом для каждой меры ассоциации.
Каждая кандидатная пара оценивается с помощью статистической меры ассоциации — такой как точечная взаимная информация (PMI) — которая сравнивает, как часто слова встречаются вместе, с тем, как часто они должны были бы встречаться случайно. Высокий балл указывает на подлинную ассоциацию, а не на случайное соседство.
Кандидатные коллокации ранжируются по их оценкам ассоциации, и выбираются наиболее сильные пары (например, топ-N по PMI). Результатом является ранжированный список осмысленных пар слов и многословных выражений для извлечения терминологии или лингвистического анализа.
Частые ошибки
- Пропуск удаления стоп-слов позволяет высокочастотным служебным словам доминировать и скрывать реальные коллокации.
- Проведение анализа на слишком малом объеме текста дает нестабильные, ненадежные оценки ассоциации.
- PMI завышает оценки очень редких пар, поэтому перед ранжированием примените минимальное количество совместных встреч.
- Рассмотрение высокочастотной пары как коллокации без теста на ассоциацию ошибочно принимает распространенность за осмысленную ассоциацию.
Часто задаваемые вопросы
Что такое коллокация?
Коллокация — это пара или последовательность слов, которые встречаются вместе чаще, чем предсказывает случайность — привычная словесная ассоциация, такая как «крепкий чай» или «принять решение». Коллокационный анализ находит их, статистически оценивая совместную встречаемость, а не просто по списку частот.
Чем коллокационный анализ отличается от частотного анализа?
Частотный анализ подсчитывает, как часто встречаются слова или n-граммы. Коллокационный анализ идет дальше: он определяет, встречаются ли два слова вместе чаще, чем ожидается случайно, используя меру ассоциации, тем самым выявляя осмысленные пары, а не просто распространенные.
Что такое PMI и почему он используется?
Точечная взаимная информация (PMI) сравнивает, как часто два слова встречаются вместе, с тем, как часто они должны были бы встречаться независимо друг от друга. Высокий PMI указывает на сильную ассоциацию. Поскольку PMI может чрезмерно вознаграждать редкие пары, перед ранжированием обычно применяется минимальное количество совместных встреч.
Сколько текста мне нужно?
Метод предполагает наличие корпуса разумного размера — порядка 50 или более документов — чтобы счетчики совместной встречаемости были стабильными. При недостаточном объеме текста оценки ассоциации колеблются, и извлеченные коллокации становятся ненадежными.
Похожие методы
Источники
Church, K.W. & Hanks, P. (1990). Word Association Norms, Mutual Information, and Lexicography. Computational Linguistics, 16(1), 22-29.
Открыть ссылку на публикациюСкопировано.Manning, C.D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.
ISBN: 9780262133609Скопировано.