Skip to content
Voltar aos resultados

Análise de Colocação — Associação de Palavras

Proposto por
Church & Hanks
Ano
1990
Tipo
Statistical text-mining technique

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A análise de colocação é uma técnica estatística de mineração de texto que identifica pares de palavras ou expressões que ocorrem frequentemente juntos, utilizando medidas de associação em vez de coocorrência por acaso.

Introduzida no trabalho lexicográfico de Church e Hanks (1990), é usada para extração de terminologia e análise de linguagem, revelando as unidades de múltiplas palavras que carregam significado em um corpus.

A intuição por trás do método

Algumas palavras simplesmente pertencem juntas — 'chá forte' soa natural enquanto 'chá poderoso' não, mesmo que o significado seja semelhante. A análise de colocação vai além da frequência bruta e pergunta quais pares de palavras aparecem juntos com muito mais frequência do que o acaso preveria. Ao pontuar a coocorrência estatisticamente, ela extrai as frases significativas e expressões fixas escondidas em um corpo de texto em vez de apenas listar palavras comuns.

História

A análise de colocação como uma técnica estatística foi estabelecida por Church e Hanks (1990), que introduziram normas de associação de palavras e informação mútua para lexicografia, mostrando como estatísticas de coocorrência poderiam revelar pares de palavras significativas. A abordagem foi consolidada no campo mais amplo de processamento estatístico de linguagem natural por Manning e Schütze (1999).

Quando usar

A análise de colocação é adequada quando você tem um corpus de texto razoavelmente grande (cerca de 50 ou mais documentos) e deseja encontrar unidades significativas de múltiplas palavras em vez de frequências de palavras únicas. Ela se adequa a trabalhos exploratórios e descritivos em extração de terminologia e análise linguística. Assume texto suficiente para estatísticas de coocorrência estáveis e que as stop-words foram limpas primeiro; com muito pouco texto, as pontuações de associação tornam-se não confiáveis.

Limitações e considerações

  • Requer um corpus suficientemente grande para que as estatísticas de coocorrência sejam estáveis.
  • Os resultados dependem fortemente do pré-processamento — stop-words remanescentes distorcem as associações.
  • Medidas como PMI podem superestimar pares de palavras raras que acontecem de coocorrer algumas vezes.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Revela expressões significativas de múltiplas palavras e frases fixas que as contagens de frequência de palavras únicas não captam.
  • Medidas de associação estatística separam associações genuínas de palavras de adjacências casuais.
  • Conceitualmente simples e fácil de aplicar para extração de terminologia e análise de linguagem.

Aplicações

  • Extração de terminologia — identificando termos multipalavra específicos de domínio em um corpus.
  • Lexicografia e construção de dicionários, revelando associações características de palavras.
  • Análise linguística e de discurso de como as palavras se combinam em um corpo de texto.
  • Preparação de frases candidatas para tarefas de mineração de texto e extração de informação subsequentes.

Como funciona

Como funciona

1

O corpus é tokenizado e limpo, com stop-words removidas para que palavras funcionais de alta frequência não ofusquem associações significativas. O pré-processamento consistente é o que mantém as contagens de coocorrência comparáveis e as colocações resultantes interpretáveis.

2

Pares de palavras candidatos (tipicamente bigramas) são formados e suas contagens de coocorrência são coletadas em todo o corpus, juntamente com as frequências individuais de cada palavra. Essas contagens são a matéria-prima de que toda medida de associação é construída.

3

Cada par candidato é pontuado com uma medida de associação estatística — como a informação mútua ponto a ponto (PMI) — que compara a frequência com que as palavras ocorrem juntas com a frequência com que se esperaria que coocorressem por acaso. Uma pontuação alta sinaliza uma associação genuína em vez de uma adjacência acidental.

4

As colocações candidatas são classificadas por suas pontuações de associação e os pares mais fortes são selecionados (por exemplo, os top-N por PMI). O resultado é uma lista classificada de pares de palavras significativas e expressões de múltiplas palavras para extração de terminologia ou análise de linguagem.

Erros comuns

  • Pular a remoção de stop-words permite que palavras funcionais de alta frequência dominem e enterrem colocações reais.
  • Executar a análise em texto insuficiente produz pontuações de associação instáveis e não confiáveis.
  • PMI inflaciona as pontuações de pares muito raros, portanto, aplique uma contagem mínima de coocorrência antes de classificar.
  • Tratar um par de alta frequência como uma colocação sem um teste de associação confunde a comumidade com associação significativa.

Perguntas frequentes

O que exatamente é uma colocação?

Uma colocação é um par ou sequência de palavras que coocorrem com mais frequência do que o acaso preveria — uma associação habitual de palavras como 'chá forte' ou 'tomar uma decisão'. A análise de colocação encontra essas por meio da pontuação estatística da coocorrência em vez de lê-las em uma lista de frequência.

Como a análise de colocação difere da análise de frequência?

A análise de frequência conta com que frequência palavras ou n-gramas aparecem. A análise de colocação vai além: ela pergunta se duas palavras aparecem juntas mais do que o esperado por acaso, usando uma medida de associação, de modo que revela emparelhamentos significativos em vez de meramente comuns.

O que é PMI e por que é usado?

A informação mútua ponto a ponto (PMI) compara a frequência com que duas palavras ocorrem juntas com a frequência com que se esperaria que coocorressem independentemente. Um PMI alto sinaliza uma forte associação. Como PMI pode superestimar pares raros, uma contagem mínima de coocorrência é geralmente aplicada antes da classificação.

Quanta texto é necessário?

A técnica espera um corpus de tamanho razoável — na ordem de 50 ou mais documentos — para que as contagens de coocorrência sejam estáveis. Com texto insuficiente, as pontuações de associação flutuam e as colocações extraídas tornam-se não confiáveis.

Métodos relacionados

Fontes

  1. Church, K.W. & Hanks, P. (1990). Word Association Norms, Mutual Information, and Lexicography. Computational Linguistics, 16(1), 22-29.

    Abrir referência da publicação
    Copiado.
  2. Manning, C.D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.

    ISBN: 9780262133609
    Copiado.