Skip to content
Voltar aos resultados

GloVe Embeddings — Vetores Globais para Representação de Palavras

Proposto por
Pennington, Socher & Manning
Ano
2014
Tipo
Static word-embedding model

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

GloVe (Global Vectors for Word Representation) é um modelo estático de *embedding* de palavras introduzido por Pennington, Socher e Manning (2014) que aprende vetores de palavras diretamente de estatísticas globais de coocorrência palavra-palavra coletadas em todo um corpus.

Os vetores resultantes posicionam palavras semanticamente relacionadas próximas umas das outras e têm um desempenho forte em tarefas de analogia semântica.

A intuição por trás do método

Palavras que aparecem em contextos semelhantes tendem a ter significados semelhantes. Em vez de analisar o texto uma pequena janela de cada vez, GloVe primeiro conta a frequência com que cada par de palavras coocorre em todo o corpus, e então ajusta vetores de modo que as relações entre essas contagens sejam capturadas como relações geométricas entre vetores de palavras. A vantagem é que a aritmética vetorial simples espelha o significado — a estrutura que permite que analogias como 'rei é para rainha assim como homem é para mulher' surjam da geometria.

História

GloVe foi introduzido por Pennington, Socher e Manning na EMNLP 2014. Foi posicionado como um modelo que combina os pontos fortes de métodos de fatoração de matrizes globais e métodos de janelas de contexto locais, treinando diretamente na matriz global de coocorrência palavra-palavra, e tornou-se uma fonte amplamente utilizada de vetores de palavras estáticos pré-treinados.

Quando usar

GloVe é adequado quando você deseja um vetor fixo e reutilizável para cada palavra e ou tem um grande corpus de texto para treinar ou pode contar com vetores GloVe pré-treinados. Ele precisa de uma quantidade razoável de texto — aproximadamente cem documentos ou mais — e o pré-processamento de texto deve ser feito primeiro. Ele se adequa a trabalhos exploratórios sobre relações semânticas e similaridade de palavras; se não houver dados de texto, GloVe não pode ser executado.

Limitações e considerações

  • Os vetores são estáticos: cada palavra recebe um único vetor, independentemente do contexto, portanto, os sentidos das palavras não são desambiguados.
  • O treinamento do zero requer um grande corpus de texto para produzir vetores confiáveis.
  • As estatísticas de coocorrência dependem do corpus, portanto, um modelo treinado em um domínio pode ter uma transferência ruim para outro.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Aprende a partir de estatísticas de coocorrência globais de todo o corpus, em vez de apenas janelas de contexto locais.
  • Tem um desempenho forte em tarefas de analogia semântica e similaridade de palavras.
  • Vetores GloVe pré-treinados podem ser carregados diretamente, evitando a necessidade de treinar em um grande corpus.

Aplicações

  • Computar similaridade de palavras e vizinhos mais próximos dentro de um vocabulário.
  • Resolver tarefas de analogia semântica através de aritmética vetorial.
  • Fornecer *features* de palavras pré-treinadas como entrada para modelos de classificação ou agrupamento de texto em etapas posteriores.
  • Explorar a estrutura e as relações semânticas em um grande corpus de texto.

Como funciona

Como funciona

1

O corpus é tokenizado e limpo para que o vocabulário seja consistente. O pré-processamento de texto é necessário antes que a contagem comece, pois a qualidade das estatísticas de coocorrência depende de um vocabulário limpo e bem definido.

2

Uma matriz global de coocorrência palavra-palavra é construída contando a frequência com que cada par de palavras aparece junto dentro de uma janela de contexto em todo o corpus. Esta matriz é a estatística global que dá nome ao GloVe e o distingue de abordagens puramente locais, janela por janela.

3

GloVe ajusta vetores de palavras à matriz de coocorrência de modo que o produto escalar de dois vetores de palavras se aproxime do logaritmo de sua contagem de coocorrência. Coocorrências frequentes são ponderadas para baixo para que pares muito comuns não dominem, produzindo vetores estáticos densos de uma dimensionalidade escolhida.

4

Os vetores treinados (ou pré-treinados) são então usados em etapas posteriores: medindo similaridade de palavras, resolvendo analogias ou servindo como *features* de entrada para outros modelos. Um corpus grande pode ser treinado do zero, ou vetores GloVe pré-treinados prontos podem ser carregados diretamente.

Erros comuns

  • O pré-processamento de texto omitido deixa um vocabulário ruidoso e degrada as contagens de coocorrência nas quais o modelo se baseia.
  • Treinar com pouquíssimo texto (bem abaixo de ~100 documentos) resulta em vetores instáveis — prefira vetores pré-treinados quando o corpus for pequeno.
  • Tratar GloVe como ciente de contexto: ele atribui um vetor fixo por palavra, portanto, não consegue separar sentidos distintos da mesma palavra como os modelos contextuais fazem.
  • Aplicar vetores treinados em um domínio ou idioma a outro sem verificar se o vocabulário corresponde.

Perguntas frequentes

Como o GloVe difere do word2vec?

Ambos produzem vetores de palavras estáticos, mas o GloVe treina em uma matriz global de coocorrência palavra-palavra construída a partir de todo o corpus, enquanto o word2vec aprende a partir de janelas de contexto locais escaneadas através do texto. O GloVe foi projetado para combinar a visão de estatísticas globais da fatoração de matrizes com a visão de janelas de contexto.

Preciso treinar o GloVe eu mesmo?

Não necessariamente. Você pode treinar em um grande corpus do zero, ou carregar vetores GloVe pré-treinados prontos diretamente. Quando seu corpus é pequeno, vetores pré-treinados são a escolha mais segura.

Por que os vetores são chamados de 'estáticos'?

Cada palavra recebe um único vetor fixo, independentemente da frase em que aparece. Isso significa que o GloVe não consegue distinguir diferentes sentidos da mesma palavra a partir do contexto, ao contrário dos modelos de *embedding* contextuais.

Quanta texto eu preciso?

O treinamento do zero requer um grande corpus para fornecer estatísticas de coocorrência confiáveis; aproximadamente cem documentos ou mais é um limite prático, e o pré-processamento deve ser feito primeiro. Abaixo disso, confie em vetores pré-treinados.

Métodos relacionados

Fontes

  1. Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. EMNLP.

    Abrir referência DOI
    Copiado.