Лексическое разнообразие — измерение богатства словарного запаса
- Тип
- Text quantification / lexical richness measurement
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Анализ лексического разнообразия количественно определяет, насколько разнообразен словарный запас текста — насколько богат выбор слов автора — с использованием таких мер, как отношение числа типов к числу токенов (TTR), MTLD, vocd-D и K Юла.
Меры MTLD и vocd-D были валидированы Маккарти и Джарвисом (2010), опираясь на более ранние работы Твиди и Баайена (1998) по стабильности показателей лексического богатства.
Интуиция метода
Если подсчитать, сколько различных слов использует текст, по отношению к общему количеству слов в нем, вы получите представление о богатстве его словарного запаса: текст, в котором одни и те же несколько слов повторяются, менее разнообразен, чем тот, в котором используется множество различных слов. Проблема в том, что это простое отношение уменьшается по мере увеличения длины текста, поэтому метод использует меры, устойчивые к длине, и уравнивает длины текстов перед сравнением одного текста с другим.
История
Количественная оценка богатства словарного запаса имеет долгую историю в стилометрии и корпусной лингвистике. Твиди и Баайен (1998) исследовали, насколько стабильны различные меры лексического богатства в зависимости от длины текста, выявив ограничения чувствительных к длине соотношений. Маккарти и Джарвис (2010) затем валидировали более сложные подходы — MTLD, vocd-D и HD-D — установив меры, устойчивые к длине, в качестве стандарта для оценки разнообразия.
Когда применять
Используйте лексическое разнообразие, когда у вас есть токенизированный текст и вы хотите описать или сравнить богатство его словарного запаса — между авторами, документами или группами. Он подходит для описательных и сравнительных целей и требует лишь скромного объема текста (минимум около десяти токенов), но для справедливого сравнения сравниваемые тексты должны быть приведены к одинаковой длине и сопоставлены по языку и жанру.
Ограничения и замечания
- Длина текста влияет на расчет TTR; необработанный TTR ненадежен при сравнении текстов разного размера.
- Сравнительный анализ требует уравненных длин текстов (стандартные фрагменты или разрежение) для валидности.
- Язык и жанр изменяют показатели разнообразия, поэтому неконтролируемые сравнения могут вводить в заблуждение.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Превращает богатство словарного запаса текста в одно сопоставимое число с использованием хорошо валидированных мер (TTR, MTLD, vocd-D, K Юла).
- MTLD и vocd-D разработаны так, чтобы быть более устойчивыми к длине текста, чем необработанное отношение числа типов к числу токенов.
- Прост в применении и полезен как для описательного профилирования, так и для сравнения между авторами или группами.
Применение
- Профилирование богатства словарного запаса автора в стилометрических исследованиях и исследованиях авторства.
- Сравнение лексического разнообразия между писателями, документами или жанрами в гуманитарных науках.
- Оценка развития словарного запаса в исследованиях изучения языка и образования.
- Характеристика концентрации использования слов в корпусах текстов социальных наук и бизнеса.
Как это работает
Как это работает
Текст разбивается на токены (слова). Подсчет различных типов слов по отношению к общему числу токенов является основой, на которой строится каждая мера разнообразия, поэтому последовательная токенизация текстов, которые вы намереваетесь сравнить, — первое требование.
Вычисляется одна или несколько мер лексического разнообразия. Отношение числа типов к числу токенов (TTR) делит количество различных типов слов на общее количество токенов; MTLD и vocd-D оценивают разнообразие способами, менее чувствительными к длине текста; а K Юла характеризует концентрацию повторяющихся слов. Вместе они описывают богатство словарного запаса с разных точек зрения.
Поскольку TTR уменьшается по мере роста длины текста, необработанные значения не могут быть напрямую сопоставлены между текстами разной длины. MTLD и vocd-D по своей конструкции более независимы от длины, но для любого сравнения тексты должны быть поставлены на равные условия — например, путем уравнивания длин с помощью стандартных фрагментов или разрежения — так, чтобы различия отражали словарный запас, а не длину документа.
Нормализованные оценки сравниваются между текстами, авторами или группами. Поскольку язык и жанр также влияют на разнообразие, эти факторы удерживаются постоянными или контролируются, чтобы сравнение выделяло сигнал богатства словарного запаса, а не смешивающие факторы.
Частые ошибки
- Сравнение необработанного TTR между текстами разной длины — более длинные тексты неизбежно показывают более низкий TTR, поэтому сравнение отражает длину, а не словарный запас; используйте MTLD или vocd-D или сначала уравняйте длины.
- Неуравнение длин текстов при сравнении (без стандартного фрагмента или разрежения) делает разницу в разнообразии неинтерпретируемой.
- Игнорирование различий в языке и жанре при сравнении текстов смешивает сигнал богатства словарного запаса со стилистическими факторами.
Часто задаваемые вопросы
Почему бы просто не использовать отношение числа типов к числу токенов (TTR)?
TTR интуитивно понятен, но уменьшается по мере роста текста, поскольку любой текст в конечном итоге повторно использует общие слова. Это делает необработанный TTR ненадежным для сравнения текстов разной длины. MTLD и vocd-D разработаны так, чтобы быть гораздо менее чувствительными к длине текста, поэтому они предпочтительнее для сравнения.
Сколько текста мне нужно?
Метод работает на скромном объеме текста — минимум около десяти токенов — но больший объем текста дает более стабильные оценки. Для сравнения важнее всего то, чтобы тексты были приведены к одинаковой длине, а не то, чтобы какой-либо отдельный текст был очень длинным.
Могу ли я напрямую сравнить разнообразие двух разных текстов?
Только после приведения их к одинаковым условиям. Уравняйте их длины с помощью стандартных фрагментов или разрежения и контролируйте язык и жанр, поскольку все три фактора изменяют показатели разнообразия независимо от богатства словарного запаса.
Какую меру следует сообщать?
MTLD и vocd-D являются валидированными, устойчивыми к длине вариантами и обычно предпочтительны. K Юла описывает, насколько сконцентрированы повторяющиеся слова, а TTR остается полезной в качестве простой описательной фигуры при сопоставлении текстов по длине. Сообщение более чем одной меры дает более полную картину.
Похожие методы
Источники
McCarthy, P. M. & Jarvis, S. (2010). MTLD, vocd-D, and HD-D: A validation study of sophisticated approaches to lexical diversity assessment. Behavior Research Methods, 42(2), 381-392.
Открыть ссылку DOIСкопировано.Tweedie, F. J. & Baayen, R. H. (1998). How Variable May a Constant Be? Measures of Lexical Richness in Perspective. Computers and the Humanities, 32(5), 323-352.
Открыть ссылку DOIСкопировано.