Skip to content
Voltar aos resultados

Word2Vec — Embeddings de Palavras

Proposto por
Tomas Mikolov et al.
Ano
2013
Tipo
Neural word-embedding model

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Word2Vec é uma técnica neural de *embedding* de palavras introduzida por Mikolov e colegas em 2013, que mapeia cada palavra em um corpus de texto a um vetor numérico denso.

Palavras que aparecem em contextos similares acabam próximas no espaço vetorial, de modo que os *embeddings* capturam similaridade semântica que pode ser medida aritmeticamente.

A intuição por trás do método

Um computador não pode comparar o significado de palavras diretamente, mas pode aprender com a companhia que as palavras mantêm. Word2Vec lê um grande corpus e nota quais palavras tendem a cercar quais outras palavras. Palavras usadas em contextos similares recebem vetores similares, de modo que 'rei' pousa perto de 'rainha' e longe de 'banana'. O significado é codificado como posição no espaço, e a similaridade se torna uma distância que pode ser computada.

História

Word2Vec foi introduzido por Mikolov e colegas em 2013 como uma forma eficiente de estimar representações de palavras em espaço vetorial, oferecendo as arquiteturas *skip-gram* e *continuous bag-of-words*. Popularizou *embeddings* de palavras densos e distribuídos e foi seguido por abordagens relacionadas como GloVe e, posteriormente, *embeddings* contextuais.

Quando usar

Use Word2Vec quando tiver um grande corpus de texto não rotulado e desejar representações vetoriais densas que capturem similaridade semântica entre palavras. É adequado para análise exploratória e relacional de texto. Um corpus razoavelmente grande (aproximadamente cem documentos ou mais, idealmente bem mais) é necessário; em corpora pequenos, o modelo não consegue aprender *embeddings* significativos e vetores pré-treinados como GloVe são a melhor escolha. Sem nenhum dado textual, *embeddings* de palavras não podem ser construídos.

Limitações e considerações

  • Necessita de um grande corpus de texto; corpora pequenos geram *embeddings* instáveis e sem sentido.
  • Requer pré-processamento cuidadoso do texto antes do treinamento.
  • Atribui um vetor por palavra, de modo que não consegue distinguir diferentes sentidos da mesma palavra a partir do contexto.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Captura similaridade semântica, de modo que palavras relacionadas ficam próximas no espaço vetorial.
  • Produz vetores densos compactos que servem como *features* numéricas para tarefas textuais subsequentes.
  • Aprende apenas com texto não rotulado — nenhuma anotação manual é necessária.

Aplicações

  • Medir similaridade semântica entre palavras para busca e recomendação.
  • Gerar *features* numéricas de palavras que alimentam *clustering* e classificação de texto.
  • Explorar relações e analogias dentro de um grande corpus de texto.
  • Construir recursos lexicais a partir de corpora específicos de domínio em pesquisa e indústria.

Como funciona

Como funciona

1

Um grande corpus de texto é limpo e tokenizado em uma sequência de palavras. Word2Vec necessita de um corpus considerável — pelo menos algumas milhares de sentenças — pois os *embeddings* são aprendidos puramente a partir de padrões de coocorrência, e texto insuficiente gera vetores instáveis e sem sentido.

2

Cada palavra é pareada com as palavras que a cercam dentro de uma janela de contexto deslizante. Esses pares (palavra-alvo, palavra-contexto) são o sinal de treinamento: eles codificam quais palavras aparecem juntas e formam a base para aprender que palavras contextualmente similares devem ter vetores similares.

3

Uma rede neural rasa é treinada nos pares de contexto, usando quer a arquitetura *skip-gram* (prever palavras do entorno a partir de uma palavra-alvo) quer *continuous bag-of-words* (prever uma palavra-alvo a partir de seu entorno). Os pesos da rede são ajustados até que palavras em contextos similares recebam vetores similares.

4

Após o treinamento, cada palavra é representada por seu vetor denso aprendido — comumente de 100 a 300 dimensões. Esses *embeddings* podem então ser comparados com similaridade de cosseno para encontrar palavras relacionadas, ou usados como *features* numéricas alimentando tarefas subsequentes como *clustering* ou classificação.

Erros comuns

  • Treinar em um corpus muito pequeno (abaixo de ~100 documentos) produz ruído em vez de significado — prefira vetores GloVe pré-treinados em vez disso.
  • Pular o pré-processamento deixa tokens ruidosos que poluem os vetores aprendidos.
  • Tentar construir *embeddings* sem nenhum dado textual — Word2Vec não tem nada para aprender; agrupe dados estruturados em vez disso.
  • Tratar um único vetor estático por palavra como se ele capturasse todos os sentidos dessa palavra.

Perguntas frequentes

Qual a diferença entre *skip-gram* e CBOW?

Ambas são arquiteturas neurais rasas para aprendizado de *embeddings*. *Skip-gram* prevê as palavras de contexto circundantes a partir de uma palavra-alvo dada, enquanto *continuous bag-of-words* (CBOW) prevê a palavra-alvo a partir de seu contexto circundante. Produzem *embeddings* comparáveis, com *skip-gram* frequentemente funcionando melhor em corpora menores e palavras raras.

Qual o tamanho do meu corpus?

Word2Vec aprende puramente por coocorrência, então necessita de um corpus considerável. Em textos muito pequenos (abaixo de cerca de cem documentos), não consegue aprender vetores significativos; nesse caso, *embeddings* pré-treinados como GloVe são a escolha mais segura.

Como medir a similaridade entre duas palavras?

Compare seus vetores aprendidos com similaridade de cosseno. Palavras usadas em contextos similares recebem vetores similares, de modo que uma alta similaridade de cosseno indica palavras semanticamente relacionadas.

O Word2Vec consegue distinguir significados diferentes da mesma palavra?

Não. Ele atribui um único vetor estático por palavra, misturando todos os sentidos. Distinguir sentidos de palavras a partir do contexto requer modelos de *embedding* contextual em vez de Word2Vec.

Métodos relacionados

Fontes

  1. Mikolov, T., Chen, K., Corrado, G. & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space.

    Abrir referência da publicação
    Copiado.