Saltar al contenido
Volver a los resultados

Diversidad léxica — Medición de la riqueza del vocabulario

Tipo
Text quantification / lexical richness measurement

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El análisis de la diversidad léxica cuantifica cuán variado es el vocabulario de un texto —cuán rica es la elección de palabras de un autor— utilizando medidas como la razón tipo-token (TTR), MTLD, vocd-D y K de Yule.

Las medidas MTLD y vocd-D fueron validadas por McCarthy y Jarvis (2010), basándose en trabajos anteriores de Tweedie y Baayen (1998) sobre la estabilidad de las medidas de riqueza léxica.

La intuición detrás del método

Si se cuenta cuántas palabras distintas utiliza un texto frente a cuántas palabras contiene en total, se obtiene una idea de la riqueza de su vocabulario: un texto que repite las mismas pocas palabras es menos diverso que uno que recurre a muchas palabras diferentes. El problema es que esta simple razón disminuye a medida que un texto se alarga, por lo que el método utiliza medidas robustas a la longitud e iguala las longitudes de los textos antes de comparar uno con otro.

Historia

La cuantificación de la riqueza del vocabulario tiene una larga historia en estilometría y lingüística de corpus. Tweedie y Baayen (1998) examinaron la estabilidad de varias medidas de riqueza léxica en función de la longitud del texto, exponiendo las limitaciones de las razones sensibles a la longitud. McCarthy y Jarvis (2010) validaron entonces enfoques más sofisticados —MTLD, vocd-D y HD-D—, estableciendo las medidas robustas a la longitud como el estándar para la evaluación de la diversidad.

Cuándo usarlo

Utilice la diversidad léxica cuando tenga texto tokenizado y desee describir o comparar la riqueza de su vocabulario —entre autores, documentos o grupos. Se adapta a objetivos descriptivos y comparativos y solo necesita una cantidad modesta de texto (alrededor de diez tokens como mínimo), pero para una comparación justa los textos que se comparan deben estar en igualdad de condiciones de longitud y coincidir en idioma y género.

Limitaciones y consideraciones

  • La longitud del texto afecta al cálculo de la TTR; la TTR bruta no es fiable al comparar textos de diferentes tamaños.
  • El análisis comparativo requiere longitudes de texto igualadas (fragmentos estándar o rarefacción) para ser válido.
  • El lenguaje y el género cambian las puntuaciones de diversidad, por lo que las comparaciones no controladas pueden ser engañosas.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Convierte la riqueza del vocabulario de un texto en un único número comparable utilizando medidas bien validadas (TTR, MTLD, vocd-D, K de Yule).
  • MTLD y vocd-D están diseñados para ser más robustos a la longitud del texto que la razón tipo-token bruta.
  • Introductorio de aplicar y útil tanto para el perfil descriptivo como para la comparación entre autores o grupos.

Aplicaciones

  • Perfilado de la riqueza del vocabulario de un autor en estudios estilométricos y de autoría.
  • Comparación de la diversidad léxica entre escritores, documentos o géneros en las humanidades.
  • Evaluación del desarrollo del vocabulario en la investigación educativa y de aprendizaje de idiomas.
  • Caracterización de la concentración del uso de palabras en corpus de textos de ciencias sociales y empresariales.

Cómo funciona

Cómo funciona

1

El texto se divide en tokens (palabras). Contar los tipos de palabras distintos frente al número total de tokens es la base sobre la que se construye cada medida de diversidad, por lo que la tokenización coherente en todos los textos que se pretenden comparar es el primer requisito.

2

Se calcula una o más medidas de diversidad léxica. La razón tipo-token (TTR) divide el número de tipos de palabras distintos por el total de tokens; MTLD y vocd-D estiman la diversidad de maneras menos sensibles a la longitud del texto; y K de Yule caracteriza la concentración de palabras repetidas. Juntas describen la riqueza del vocabulario desde diferentes ángulos.

3

Dado que la TTR disminuye a medida que aumenta la longitud del texto, las puntuaciones brutas no son directamente comparables entre textos de diferentes tamaños. MTLD y vocd-D son más independientes de la longitud por diseño, pero para cualquier comparación los textos deben ponerse en igualdad de condiciones —por ejemplo, igualando las longitudes con fragmentos de tamaño estándar o rarefacción— para que las diferencias reflejen el vocabulario, no la longitud del documento.

4

Se comparan las puntuaciones normalizadas entre textos, autores o grupos. Dado que el lenguaje y el género también cambian la diversidad, esos factores se mantienen constantes o se controlan para que la comparación aísle la señal de riqueza del vocabulario en lugar de las confusiones.

Errores comunes

  • Comparar la TTR bruta entre textos de diferentes longitudes —los textos más largos inevitablemente muestran una TTR más baja, por lo que la comparación refleja la longitud, no el vocabulario; utilice MTLD o vocd-D o iguale las longitudes primero.
  • No igualar las longitudes de los textos en una comparación (sin fragmento estándar o rarefacción) hace que la diferencia de diversidad no sea interpretable.
  • Ignorar las diferencias de idioma y género al comparar textos confunde la señal de riqueza del vocabulario con factores estilísticos.

Preguntas frecuentes

¿Por qué no usar simplemente la razón tipo-token (TTR)?

La TTR es intuitiva pero disminuye a medida que un texto crece, porque todo texto eventualmente reutiliza palabras comunes. Eso hace que la TTR bruta no sea fiable para comparar textos de diferentes longitudes. MTLD y vocd-D están diseñados para ser mucho menos sensibles a la longitud del texto, por lo que se prefieren para la comparación.

¿Cuánto texto necesito?

El método funciona con una cantidad modesta de texto —alrededor de diez tokens como mínimo— pero más texto produce estimaciones más estables. Para la comparación, lo más importante es que los textos se coloquen en igualdad de condiciones de longitud en lugar de que cualquier texto individual sea muy largo.

¿Puedo comparar directamente la diversidad de dos textos diferentes?

Solo después de ponerlos en igualdad de condiciones. Iguale sus longitudes con fragmentos de tamaño estándar o rarefacción, y controle el idioma y el género, porque los tres factores cambian las puntuaciones de diversidad independientemente de la riqueza del vocabulario.

¿Qué medida debo informar?

MTLD y vocd-D son las opciones validadas y robustas a la longitud, y generalmente se prefieren. K de Yule describe cuán concentradas están las palabras repetidas, y la TTR sigue siendo útil como una cifra descriptiva simple cuando los textos coinciden en longitud. Informar de más de una medida proporciona una imagen más completa.

Métodos relacionados

Fuentes

  1. McCarthy, P. M. & Jarvis, S. (2010). MTLD, vocd-D, and HD-D: A validation study of sophisticated approaches to lexical diversity assessment. Behavior Research Methods, 42(2), 381-392.

    Abrir referencia DOI
    Copiado.
  2. Tweedie, F. J. & Baayen, R. H. (1998). How Variable May a Constant Be? Measures of Lexical Richness in Perspective. Computers and the Humanities, 32(5), 323-352.

    Abrir referencia DOI
    Copiado.