Embeddings de Sentenças
- Proposto por
- Kiros et al. (Skip-Thought, 2015); Reimers & Gurevych (Sentence-BERT, 2019)
- Ano
- 2015–2019
- Tipo
- Representation learning / embedding
- Família
- Deep learning / NLP / CV
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Embeddings de sentenças convertem uma sentença ou texto curto em um único vetor denso de comprimento fixo que captura seu significado semântico.
Esses vetores permitem que tarefas subsequentes — similaridade semântica, agrupamento, recuperação e classificação — operem sobre representações numéricas em vez de texto bruto, tornando-os um dos blocos de construção mais versáteis em pipelines modernos de PLN.
A intuição por trás do método
Imagine cada sentença como um ponto em um espaço de alta dimensão onde o significado determina a proximidade: duas sentenças que dizem a mesma coisa com palavras diferentes ficam muito próximas, enquanto sentenças não relacionadas ficam distantes. Um modelo de embedding de sentenças aprende essa geometria a partir de grandes corpora. Uma vez treinado o modelo, a incorporação de uma nova sentença é uma única passagem direta — sem treinamento adicional necessário — e qualquer tarefa subsequente simplesmente opera com essas coordenadas. Essa reutilização de uma geometria pré-treinada é o que torna os embeddings de sentenças poderosos: você pode comparar, agrupar ou classificar milhões de textos sem rótulos específicos da tarefa.
História
Representações de sentenças iniciais usavam vetores de palavras médios (word2vec, GloVe). Skip-Thought Vectors (Kiros et al., 2015) treinaram um codificador-decodificador para prever sentenças adjacentes, produzindo os primeiros embeddings de sentenças contextuais profundos. InferSent (Conneau et al., 2017) ajustou finamente em pares NLI e mostrou forte transferência. Sentence-BERT (Reimers & Gurevych, 2019) aplicou uma arquitetura BERT siamesa a dados NLI e melhorou dramaticamente a qualidade dos embeddings derivados de BERT, reduzindo o tempo de computação de similaridade de 65 horas para cerca de 5 segundos para 10.000 pares de sentenças.
Quando usar
Use embeddings de sentenças quando precisar medir similaridade semântica, agrupar documentos, realizar recuperação densa ou alimentar um classificador com texto sem rótulos específicos da tarefa para cada exemplo. Eles se destacam quando você tem quantidades moderadas a grandes de texto e deseja uma representação de propósito geral que se transfira entre tarefas. Não use embeddings de sentenças brutos — sem ajuste fino ou uma cabeça de tarefa — quando precisar de probabilidades calibradas ou pesos de características interpretáveis. Eles também são inadequados para textos muito curtos (uma ou duas palavras), para idiomas sem um codificador pré-treinado disponível, ou quando os recursos computacionais são muito limitados, pois codificar milhões de documentos longos pode ser caro.
Limitações e considerações
- A qualidade do embedding depende fortemente da qualidade e do domínio do modelo pré-treinado; texto fora do domínio degrada o desempenho.
- Representar documentos muito longos como um único vetor fixo perde informações locais detalhadas.
- Limiares de similaridade de cosseno para decisões subsequentes devem ser calibrados empiricamente e não são universais.
- Grandes modelos codificadores exigem memória de GPU; armazenar embeddings para milhões de documentos requer espaço em disco significativo.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Capturam significado semântico rico que bag-of-words e TF-IDF perdem, como sinonímia e paráfrase.
- Modelos pré-treinados transferem diretamente para novos domínios com poucos ou nenhum dado rotulado.
- Rápidos na inferência: uma vez codificada, a busca por similaridade em milhões de vetores leva milissegundos com índices no estilo FAISS.
- Versáteis: os mesmos embeddings servem para agrupamento, recuperação, desduplicação semântica e classificação.
- Variantes multilíngues (por exemplo, paraphrase-multilingual-mpnet) lidam com similaridade interlingual com um único modelo.
Aplicações
- Similaridade textual semântica e detecção de paráfrase em corpora de texto acadêmico e comercial.
- Recuperação densa de passagens em questionamento de domínio aberto e motores de busca.
- Agrupamento de documentos e parágrafos para descoberta de tópicos sem categorias predefinidas.
- Classificação de texto zero-shot e few-shot comparando embeddings com protótipos de rótulos.
- Detecção e desduplicação de quase duplicatas em grandes bases de dados bibliográficas.
- Alinhamento semântico interlingual em síntese de pesquisa multilíngue.
Como funciona
Como funciona
A sentença de entrada é dividida em tokens (subpalavras ou palavras) de acordo com o vocabulário do codificador — tipicamente um tokenizador WordPiece ou SentencePiece no estilo BERT. Tokens especiais como [CLS] e [SEP] são inseridos para marcar limites de sentenças, preparando a sequência para o codificador.
Um codificador profundo — mais comumente um Transformer pré-treinado como BERT ou RoBERTa — processa a sequência de tokens e produz um estado oculto contextual para cada posição. Cada estado oculto carrega informações sobre seu token no contexto da sentença inteira.
Fórmula
\mathbf{s} = \text{Pooling}(\text{Encoder}(w_1, \ldots, w_n)) \in \mathbb{R}^dOs estados ocultos por token são colapsados em um único vetor de tamanho fixo através de uma operação de pooling. Mean-pooling (média de todos os vetores de token) e extração do token CLS são as duas escolhas mais comuns. Sentence-BERT mostrou que o mean-pooling sobre todos os estados de token supera consistentemente o vetor CLS bruto.
Para embeddings de alta qualidade, o codificador é ajustado finamente com um objetivo contrastivo ou de similaridade semântica. Sentence-BERT usa uma rede siamesa treinada em pares de inferência de linguagem natural, aproximando sentenças semanticamente similares e afastando as dissimilares no espaço de embedding.
No tempo de inferência, dois vetores de sentenças são comparados com similaridade de cosseno: o produto escalar dos vetores normalizados unitariamente. Pontuações próximas a 1 indicam equivalência semântica; pontuações próximas a 0 indicam ortogonalidade. Este único número impulsiona tarefas de recuperação, desduplicação, agrupamento e classificação.
Fórmula
\text{sim}(\mathbf{s}_i, \mathbf{s}_j) = \frac{\mathbf{s}_i \cdot \mathbf{s}_j}{\|\mathbf{s}_i\|\|\mathbf{s}_j\|}Erros comuns
- Usar o token [CLS] bruto de um modelo BERT base como embedding de sentença sem ajuste fino — isso produz embeddings de baixa qualidade e não isotrópicos.
- Comparar embeddings produzidos por diferentes arquiteturas de codificador ou estratégias de pooling, o que torna as pontuações de cosseno incomparáveis.
- Escolher um limiar de similaridade (por exemplo, 0.85 significa 'duplicado') sem calibrá-lo em dados retidos do seu domínio.
- Ignorar a necessidade de normalizar vetores antes de calcular a similaridade de cosseno ao usar índices de busca apenas por produto escalar.
- Tratar o embedding como interpretável: dimensões individuais não carregam significado semântico por si só.
Perguntas frequentes
Qual modelo pré-treinado devo usar?
Para similaridade de propósito geral em inglês, 'all-mpnet-base-v2' da biblioteca sentence-transformers é um forte padrão. Para tarefas multilíngues, 'paraphrase-multilingual-mpnet-base-v2' cobre mais de 50 idiomas. Sempre faça benchmark em uma pequena amostra do seu domínio alvo antes de se comprometer com um modelo.
Como isso é diferente de usar BERT diretamente?
O BERT padrão produz representações por token otimizadas para tarefas em nível de token. Usar sua saída bruta (por exemplo, o vetor [CLS]) como embedding de sentença resulta em resultados de similaridade de cosseno ruins. Sentence-BERT ajusta finamente o BERT com um objetivo contrastivo para que os vetores resultantes sejam explicitamente estruturados para comparação em nível de sentença.
Quantos exemplos rotulados eu preciso?
Modelos de embedding de sentenças prontos para uso da biblioteca sentence-transformers requerem zero exemplos rotulados para inferência. Se você ajustar finamente em seu domínio, mesmo algumas centenas de pares de sentenças com rótulos de similaridade podem melhorar notavelmente o desempenho.
Posso usar embeddings de sentenças para documentos longos?
A maioria dos codificadores tem um limite de tokens (512 tokens para modelos baseados em BERT). Para textos mais longos, você pode dividir o documento em sentenças ou parágrafos, incorporar cada pedaço e fazer pooling dos vetores dos pedaços. Alternativamente, modelos como Longformer lidam com contextos mais longos nativamente.
Como avalio a qualidade dos meus embeddings?
Benchmarks padrão incluem STS-B (Semantic Textual Similarity Benchmark) e MTEB (Massive Text Embedding Benchmark). Em seus próprios dados, pares de sentenças anotados por humanos com pontuações de similaridade permitem calcular a correlação de Spearman entre as pontuações do modelo e os julgamentos humanos.
Métodos relacionados
Fontes
Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), 3980–3990.
Abrir referência DOICopiado.Kiros, R., Zhu, Y., Salakhutdinov, R., Zemel, R. S., Torralba, A., Urtasun, R., & Fidler, S. (2015). Skip-Thought Vectors. Advances in Neural Information Processing Systems (NeurIPS), 28.
Abrir referência da publicaçãoCopiado.