Análisis de Frecuencia de Texto — Conteo de Palabras y N-gramas
- Propuesto por
- George K. Zipf (frequency-distribution foundation)
- Año
- 1949
- Tipo
- Descriptive text-mining analysis
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
El análisis de frecuencia de texto es un método descriptivo de minería de texto que cuenta la frecuencia con la que aparecen palabras, n-gramas y frases en un corpus para revelar patrones de contenido y temas dominantes.
Se basa en la idea de la distribución de frecuencias formalizada por George K. Zipf (1949), según la cual unos pocos términos ocurren muy a menudo mientras que la mayoría son raros, y es uno de los puntos de entrada más básicos y ampliamente utilizados en el análisis cuantitativo de texto.
La intuición detrás del método
Cuando se lee un cuerpo de texto, las palabras que aparecen una y otra vez indican de qué trata. El análisis de frecuencia de texto hace explícita y reproducible esta intuición: en lugar de hojear, se cuenta cada token, cada secuencia de dos o tres palabras y cada frase recurrente, y luego se clasifican según su frecuencia de aparición. El resultado es una tabla de frecuencias que muestra el vocabulario y los temas dominantes de un corpus de un vistazo, sin lectura subjetiva alguna.
Historia
El análisis de frecuencia de texto se basa en la observación de Zipf (1949), en Human Behavior and the Principle of Least Effort, de que las frecuencias de palabras siguen una distribución característica en la que pocas palabras ocurren muy a menudo y la mayoría son raras. Manning y Schütze (1999), en Foundations of Statistical Natural Language Processing, establecieron el conteo de frecuencias como una herramienta fundamental del Procesamiento del Lenguaje Natural (PLN) estadístico, sobre la cual se construyen métodos más ricos como TF-IDF y modelado de temas.
Cuándo usarlo
Utilice el análisis de frecuencia de texto cuando tenga datos de texto y desee una primera visión descriptiva o exploratoria de su vocabulario, n-gramas o frases dominantes. Se adapta a corpus transversales y longitudinales y solo necesita una cantidad modesta de texto (alrededor de 10 documentos o más). Se debe realizar un preprocesamiento adecuado —tokenización, eliminación de palabras vacías y lematización— primero, y debe tener en cuenta que el tamaño del corpus y la diversidad lingüística afectan la fiabilidad de las frecuencias.
Limitaciones y consideraciones
- El tamaño del corpus y la diversidad lingüística afectan la fiabilidad de las frecuencias.
- Los recuentos brutos capturan el vocabulario superficial pero no el contexto, el significado o el sentimiento.
- Los resultados dependen en gran medida de las elecciones de preprocesamiento, como las listas de palabras vacías y la lematización.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Simple, transparente y fácil de interpretar: es el punto de entrada más básico al análisis cuantitativo de texto.
- Revela patrones de contenido y temas dominantes directamente a partir de recuentos brutos, sin necesidad de datos de entrenamiento etiquetados.
- Funciona tanto con palabras como con n-gramas y frases, por lo que se adapta a diferentes unidades de significado.
Aplicaciones
- Identificar el vocabulario y los temas dominantes de una colección de documentos.
- Explorar patrones de n-gramas y frases en respuestas de encuestas o transcripciones de entrevistas.
- Perfilar el contenido en corpus de ciencias sociales, salud, educación, ingeniería y negocios.
- Servir como un primer paso descriptivo antes de métodos de minería de texto más avanzados.
Cómo funciona
Cómo funciona
El texto en bruto se prepara antes de contar nada: se tokeniza en palabras, se eliminan las palabras vacías (palabras funcionales de alta frecuencia como 'el' o 'y'), y los tokens restantes se lematizan a una forma base común. El preprocesamiento consistente es lo que hace que los recuentos finales sean comparables y significativos, en lugar de estar dominados por relleno gramatical.
Cada unidad de interés se cuenta en todo el corpus. Se cuentan los tokens individuales para la frecuencia de palabras, las secuencias de tokens adyacentes para la frecuencia de n-gramas (bigramas, trigramas), y las expresiones multipalabra recurrentes se cuentan como frases. El resultado de esta etapa es un recuento bruto para cada término distinto.
Los términos contados se ordenan de mayor a menor frecuencia, y se suelen presentar como una lista de los más comunes. Esta vista clasificada es donde aparece la distribución característica: una cabeza pequeña de términos muy frecuentes y una cola larga de términos raros, consistente con la ley de Zipf.
Las frecuencias clasificadas se leen para identificar patrones de contenido y temas dominantes. El tamaño del corpus y su diversidad lingüística afectan la fiabilidad de los recuentos, por lo que la interpretación tiene en cuenta la escala del corpus y la cola larga de palabras raras en lugar de sobreinterpretar cualquier recuento individual.
Errores comunes
- Omitir el preprocesamiento permite que las palabras funcionales de alta frecuencia y las variantes flexionadas dominen la tabla y oculten el contenido real.
- Leer frecuencias de un corpus demasiado pequeño o demasiado estrecho produce recuentos inestables que no generalizan.
- Sobreinterpretar la cola larga: los términos raros (la cola Zipfiana) tienen poca señal de frecuencia y se confunden fácilmente con ruido o significado.
- Comparar recuentos brutos entre corpus de diferentes tamaños sin normalizar conduce a conclusiones erróneas.
Preguntas frecuentes
¿Qué cuenta realmente el análisis de frecuencia de texto?
Cuenta la frecuencia con la que aparecen palabras individuales, secuencias de palabras adyacentes (n-gramas como bigramas y trigramas) y frases recurrentes en un corpus, y luego las clasifica. El resultado es una tabla de frecuencias que muestra los términos y temas dominantes.
¿Por qué necesito preprocesar el texto primero?
Sin tokenización, eliminación de palabras vacías y lematización, las palabras funcionales de alta frecuencia y las variantes flexionadas de la misma palabra dominan los recuentos y ocultan el contenido real. El preprocesamiento consistente mantiene las frecuencias comparables y significativas.
¿Qué es la ley de Zipf y por qué es importante aquí?
La ley de Zipf describe el patrón típico de que un pequeño número de palabras ocurre muy frecuentemente mientras que la mayoría de las palabras son raras, formando una cola larga. Explica la forma de la lista de frecuencias clasificadas y advierte contra la sobreinterpretación de la cola de palabras raras.
¿Cuánta texto necesito?
Un corpus modesto de aproximadamente diez documentos o más es manejable, pero el tamaño del corpus y la diversidad lingüística afectan la fiabilidad de las frecuencias: corpus más grandes y representativos dan recuentos más estables.
Métodos relacionados
Fuentes
Zipf, G. K. (1949). Human Behavior and the Principle of Least Effort. Addison-Wesley.
Abrir referencia de la publicaciónCopiado.Manning, C. D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.
ISBN: 9780262133609Copiado.