Diversidade Lexical — Medindo a Riqueza do Vocabulário
- Tipo
- Text quantification / lexical richness measurement
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A análise de diversidade lexical quantifica o quão variado é o vocabulário de um texto — quão rica é a escolha de palavras de um autor — usando medidas como a razão tipo-token (TTR), MTLD, vocd-D e K de Yule.
As medidas MTLD e vocd-D foram validadas por McCarthy e Jarvis (2010), baseando-se em trabalhos anteriores de Tweedie e Baayen (1998) sobre a estabilidade das medidas de riqueza lexical.
A intuição por trás do método
Se você contar quantas palavras distintas um texto usa em relação a quantas palavras ele contém no total, terá uma noção de sua riqueza vocabular: um texto que repete as mesmas poucas palavras é menos diverso do que um que utiliza muitas palavras diferentes. O problema é que essa razão simples diminui à medida que um texto se torna mais longo, portanto, o método usa medidas robustas ao comprimento e iguala os comprimentos dos textos antes de comparar um texto com outro.
História
A quantificação da riqueza vocabular tem uma longa história na estilometria e na linguística de corpus. Tweedie e Baayen (1998) examinaram a estabilidade de várias medidas de riqueza lexical como função do comprimento do texto, expondo as limitações de razões sensíveis ao comprimento. McCarthy e Jarvis (2010) então validaram abordagens mais sofisticadas — MTLD, vocd-D e HD-D — estabelecendo medidas robustas ao comprimento como o padrão para avaliação de diversidade.
Quando usar
Use diversidade lexical quando tiver texto tokenizado e quiser descrever ou comparar a riqueza de seu vocabulário — entre autores, documentos ou grupos. É adequada para objetivos descritivos e comparativos e requer apenas uma quantidade modesta de texto (cerca de dez tokens no mínimo), mas para uma comparação justa, os textos a serem comparados devem estar em igualdade de comprimento e correspondidos em língua e gênero.
Limitações e considerações
- O comprimento do texto afeta o cálculo da TTR; a TTR bruta é não confiável ao comparar textos de tamanhos diferentes.
- A análise comparativa requer comprimentos de texto equalizados (trechos padrão ou rarefação) para ser válida.
- Linguagem e gênero alteram as pontuações de diversidade, portanto, comparações não controladas podem ser enganosas.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Transforma a riqueza vocabular de um texto em um único número comparável usando medidas bem validadas (TTR, MTLD, vocd-D, Yule's K).
- MTLD e vocd-D são projetados para serem mais robustos ao comprimento do texto do que a razão tipo-token bruta.
- Introdutório de aplicar e útil tanto para perfilamento descritivo quanto para comparação entre autores ou grupos.
Aplicações
- Perfilamento da riqueza vocabular de um autor em estudos estilométricos e de autoria.
- Comparação de diversidade lexical entre escritores, documentos ou gêneros nas humanidades.
- Avaliação do desenvolvimento vocabular em pesquisa educacional e de aprendizagem de idiomas.
- Caracterização da concentração de uso de palavras em corpus de textos de ciências sociais e negócios.
Como funciona
Como funciona
O texto é dividido em tokens (palavras). Contar tipos de palavras distintas em relação ao número total de tokens é a base sobre a qual toda medida de diversidade se constrói, portanto, a tokenização consistente entre os textos que você pretende comparar é o primeiro requisito.
Uma ou mais medidas de diversidade lexical são computadas. A razão tipo-token (TTR) divide o número de tipos de palavras distintas pelo total de tokens; MTLD e vocd-D estimam a diversidade de maneiras menos sensíveis ao comprimento do texto; e K de Yule caracteriza a concentração de palavras repetidas. Juntas, elas descrevem a riqueza do vocabulário de diferentes ângulos.
Como a TTR diminui à medida que o comprimento do texto aumenta, as pontuações brutas não são diretamente comparáveis entre textos de tamanhos diferentes. MTLD e vocd-D são mais independentes do comprimento por design, mas para qualquer comparação, os textos devem ser colocados em igualdade — por exemplo, igualando os comprimentos com trechos de tamanho padrão ou rarefação — para que as diferenças reflitam o vocabulário, não o comprimento do documento.
Pontuações normalizadas são comparadas entre textos, autores ou grupos. Como a linguagem e o gênero também alteram a diversidade, esses fatores são mantidos constantes ou controlados para que a comparação isole o sinal de riqueza vocabular em vez de confundidores.
Erros comuns
- Comparar TTR bruta entre textos de comprimentos diferentes — textos mais longos inevitavelmente mostram TTR menor, então a comparação reflete o comprimento, não o vocabulário; use MTLD ou vocd-D ou equalize os comprimentos primeiro.
- Falhar em equalizar os comprimentos dos textos em uma comparação (sem trecho padrão ou rarefação) torna a diferença de diversidade ininterpretável.
- Ignorar diferenças de linguagem e gênero ao comparar textos confunde o sinal de riqueza vocabular com fatores estilísticos.
Perguntas frequentes
Por que não usar apenas a razão tipo-token (TTR)?
A TTR é intuitiva, mas diminui à medida que um texto cresce, pois todo texto eventualmente reutiliza palavras comuns. Isso torna a TTR bruta não confiável para comparar textos de comprimentos diferentes. MTLD e vocd-D são projetados para serem muito menos sensíveis ao comprimento do texto, razão pela qual são preferidos para comparação.
Quanto texto preciso?
O método funciona com uma quantidade modesta de texto — cerca de dez tokens no mínimo — mas mais texto produz estimativas mais estáveis. Para comparação, o que mais importa é que os textos sejam colocados em igualdade de comprimento, em vez de que qualquer texto individual seja muito longo.
Posso comparar diretamente a diversidade de dois textos diferentes?
Somente após colocá-los em igualdade. Equalize seus comprimentos com trechos de tamanho padrão ou rarefação, e controle a língua e o gênero, pois todos os três fatores alteram as pontuações de diversidade independentemente da riqueza vocabular.
Qual medida devo reportar?
MTLD e vocd-D são as escolhas validadas e robustas ao comprimento, sendo geralmente preferidas. K de Yule descreve quão concentradas são as palavras repetidas, e a TTR permanece útil como uma figura descritiva simples quando os textos são comparados em comprimento. Reportar mais de uma medida fornece uma imagem mais completa.
Métodos relacionados
Fontes
McCarthy, P. M. & Jarvis, S. (2010). MTLD, vocd-D, and HD-D: A validation study of sophisticated approaches to lexical diversity assessment. Behavior Research Methods, 42(2), 381-392.
Abrir referência DOICopiado.Tweedie, F. J. & Baayen, R. H. (1998). How Variable May a Constant Be? Measures of Lexical Richness in Perspective. Computers and the Humanities, 32(5), 323-352.
Abrir referência DOICopiado.