Skip to content
Voltar aos resultados

TextCNN

Proposto por
Kim, Y.
Ano
2014
Tipo
Convolutional neural network (deep learning)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

TextCNN é uma rede neural convolucional para classificação de texto, introduzida por Yoon Kim em 2014, que aplica filtros de convolução paralelos de diferentes tamanhos de janela sobre *word embeddings* para capturar padrões locais de n-gramas.

É rápido e eficaz para análise de sentimento e classificação de tópicos.

A intuição por trás do método

Muitas pistas que decidem sobre o que uma frase se trata são frases curtas — duas, três ou quatro palavras como 'não muito bom' ou 'altamente recomendo'. O TextCNN desliza pequenos filtros pela sequência de vetores de palavras, cada filtro agindo como um detector para um tipo particular de frase curta. Ao usar vários tamanhos de janela em paralelo, ele aprende a identificar as frases mais reveladoras, independentemente de onde apareçam no texto, e então usa os sinais mais fortes para decidir o rótulo.

História

O TextCNN foi introduzido por Yoon Kim em 2014 (EMNLP), mostrando que uma CNN simples construída sobre vetores de palavras pré-treinados alcança resultados fortes em vários *benchmarks* de classificação de sentenças. Zhang e Wallace (2015) seguiram com uma análise de sensibilidade para praticantes que examinou como as escolhas de design, como tamanhos de janela de filtro e o número de mapas de características, afetam o desempenho, tornando o TextCNN uma linha de base bem compreendida e amplamente utilizada para classificação de texto.

Quando usar

É uma boa opção para classificar ou prever a partir de texto rotulado — análise de sentimento ou classificação de tópicos — quando se tem um corpus rotulado de tamanho razoável (pelo menos cerca de 200 documentos, e mais confortavelmente 500+) e *word embeddings* pré-treinados como Word2Vec ou GloVe prontos para uso. Não requer dados com distribuição normal. Em conjuntos de texto muito pequenos (abaixo de cerca de 100 documentos), o *deep learning* falha e um pipeline clássico de TF-IDF mais *machine learning* é suficiente; entre aproximadamente 100 e 500 documentos, o *gradient boosting* é uma escolha mais segura porque o TextCNN tende a *overfit*.

Limitações e considerações

  • Necessita de um conjunto de dados de texto rotulado e *word embeddings* pré-treinados para ter um bom desempenho.
  • Apresenta *overfitting* em *corpora* pequenos: abaixo de cerca de 500 documentos, os padrões de n-gramas não são aprendidos de forma confiável.
  • Abaixo de aproximadamente 100 documentos, o *deep learning* falha completamente e modelos mais simples são preferíveis.
  • Captura apenas janelas locais, portanto, dependências de longo alcance em um documento são mais difíceis de modelar.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Rápido para treinar e eficaz para análise de sentimento e classificação de tópicos.
  • Captura padrões locais de n-gramas através de filtros paralelos de vários tamanhos de janela.
  • Independente da posição: o *max pooling* identifica a frase-chave onde quer que ela apareça no texto.
  • Aproveita *word embeddings* pré-treinados para codificar o significado sem engenharia de características manual.

Aplicações

  • Análise de sentimento em avaliações, comentários e respostas a pesquisas.
  • Classificação de tópicos de documentos e textos curtos.
  • Categorização de texto rotulado em domínios sociais, de saúde, econômicos e de negócios.
  • Uma linha de base rápida para classificação em nível de sentença antes de tentar modelos de sequência mais complexos.

Como funciona

Como funciona

1

Cada palavra no texto de entrada é mapeada para um *word embedding* denso (como Word2Vec ou GloVe), transformando a frase em uma matriz onde cada linha é um vetor de palavra. Essa representação posiciona palavras com significado semelhante próximas umas das outras, fornecendo à camada de convolução uma visão numérica significativa do texto.

2

Filtros de convolução paralelos de diferentes tamanhos de janela (por exemplo, cobrindo 3, 4 e 5 palavras consecutivas) deslizam sobre a matriz de *embedding*. Cada filtro produz um valor de característica em cada posição combinando as palavras que ele abrange atualmente, de modo que captura padrões locais de n-gramas onde quer que ocorram na frase.

Fórmula
c_i = f(\mathbf{w} \cdot \mathbf{x}_{i:i+h-1} + b)
3

O *max-over-time pooling* mantém apenas a ativação mais forte de cada filtro, resumindo a frase mais saliente que detectou. Essas características agrupadas são concatenadas e passadas para uma camada de classificação final que produz a classe prevista, como um sentimento ou um tópico.

Fórmula
\hat{c} = \max_i c_i

Erros comuns

  • Treinar com poucos documentos rotulados e confiar em um modelo com *overfitting*.
  • Ignorar *embeddings* pré-treinados e aprender vetores do zero em um *corpus* pequeno.
  • Escolher tamanhos de janela sem verificações de sensibilidade no conjunto de validação.
  • Recorrer ao TextCNN quando um pipeline de TF-IDF mais *machine learning* clássico seria suficiente para dados pequenos.

Perguntas frequentes

De quanto texto rotulado eu preciso?

O TextCNN funciona melhor com algumas centenas de documentos rotulados ou mais. Abaixo de cerca de 500, ele tende a apresentar *overfitting* e os padrões de n-gramas não são aprendidos de forma confiável, e abaixo de aproximadamente 100 documentos, o *deep learning* falha completamente — um pipeline clássico de TF-IDF mais *machine learning* é então suficiente.

Preciso de *word embeddings* pré-treinados?

*Embeddings* pré-treinados como Word2Vec ou GloVe são assumidos e fortemente recomendados. Eles codificam o significado das palavras aprendido a partir de grandes *corpora*, o que é especialmente valioso quando seu conjunto rotulado é modesto.

O que os diferentes tamanhos de janela fazem?

Cada tamanho de janela permite que um filtro examine um comprimento diferente de frase — por exemplo, três, quatro ou cinco palavras consecutivas. A execução de vários tamanhos em paralelo captura padrões de n-gramas de diferentes comprimentos, e uma análise de sensibilidade pode ajudar a escolhê-los.

Quando devo escolher um método diferente?

Em conjuntos de texto muito pequenos (abaixo de cerca de 100 documentos), use um modelo TF-IDF mais *machine learning* clássico; entre aproximadamente 100 e 500 documentos, o *gradient boosting* é uma escolha mais segura, já que o TextCNN apresenta *overfitting* quando os dados são escassos.

Métodos relacionados

Fontes

  1. Kim, Y. (2014). Convolutional Neural Networks for Sentence Classification. EMNLP.

    Abrir referência DOI
    Copiado.
  2. Zhang, Y. & Wallace, B. (2015). A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification. arXiv:1510.03820.

    Abrir referência da publicação
    Copiado.