Classificação de Texto — Categorização de Texto
- Tipo
- Supervised NLP classification task
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A classificação de texto, também chamada de categorização de texto, é uma tarefa de processamento de linguagem natural supervisionada que atribui automaticamente documentos a categorias predefinidas.
Baseando-se na abordagem de máquina de vetores de suporte para categorização de texto estabelecida por Joachims (1998) e consolidada na literatura de mineração de texto por Aggarwal e Zhai (2012), ela potencializa tarefas como detecção de spam e classificação de tópicos, aprendendo a partir de exemplos rotulados.
A intuição por trás do método
Quando se tem muitos documentos, cada um pertencente a uma de um conjunto fixo de categorias, a classificação manual não é escalável. A classificação de texto aprende os padrões que separam uma categoria de outra a partir de um conjunto de exemplos já rotulados, e então aplica esses padrões para rotular novos documentos não vistos automaticamente — muito parecido com ensinar um classificador mostrando-lhe pilhas pré-classificadas e permitindo que ele arquive o restante.
História
A classificação de texto tornou-se um problema de benchmark de aprendizado de máquina através de Joachims (1998), que demonstrou que máquinas de vetores de suporte lidam bem com as muitas características relevantes da categorização de texto. Aggarwal e Zhai (2012) posteriormente consolidaram o campo na literatura mais ampla de mineração de texto, e a tarefa permanece um bloco de construção central do processamento de linguagem natural aplicado.
Quando usar
Use a classificação de texto quando tiver dados de texto organizados em categorias predefinidas e um conjunto de treinamento rotulado para aprender. Ela precisa de pelo menos aproximadamente 100 documentos rotulados, e uma distribuição de classes balanceada é preferível para que o classificador possa aprender cada categoria. Com menos de cerca de 100 documentos, o classificador tende a sobreajustar, então uma abordagem de classificação zero-shot é mais segura; sem nenhum dado de texto, o método não pode ser executado e a classificação geral em variáveis categóricas é a alternativa.
Limitações e considerações
- Requer dados de treinamento rotulados, o que pode ser caro de produzir.
- Uma distribuição de classes balanceada é preferível; classes desbalanceadas tornam algumas categorias difíceis de aprender.
- Precisa de um corpus de tamanho razoável (cerca de 100 documentos ou mais) para evitar sobreajuste.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Automatiza a rotulagem de grandes coleções de documentos que seriam impraticáveis de classificar manualmente.
- Adapta-se a muitas tarefas — detecção de spam, classificação de tópicos e problemas de categorização semelhantes — através do mesmo pipeline supervisionado.
- Aprende padrões específicos do domínio diretamente de exemplos rotulados, em vez de depender de regras fixas.
Aplicações
- Detecção de spam — separação de mensagens indesejadas de mensagens legítimas.
- Classificação de tópicos — roteamento de documentos ou artigos para categorias temáticas.
- Organização e triagem de grandes coleções de documentos por categoria.
- Tarefas de previsão e classificação em corpora de texto das áreas de saúde, social, educação, engenharia, ciências naturais e negócios.
Como funciona
Como funciona
Comece com um corpus de documentos onde cada exemplo já carrega um dos rótulos de categoria predefinidos. Esses dados de treinamento rotulados são a base da tarefa supervisionada; quanto mais balanceada a distribuição de classes, mais confiavelmente o classificador aprende cada categoria.
O texto bruto é limpo e padronizado para que os documentos se tornem comparáveis: o ruído é removido e o conteúdo é normalizado e segmentado em unidades analisáveis. Pular esta etapa permite que tokens ruidosos degradem tudo o que vier a seguir.
O texto limpo é transformado em características numéricas que o classificador pode ler — por exemplo, representações de frequência de termos que capturam quais palavras distinguem as categorias. Isso converte palavras nos números com os quais o algoritmo de aprendizado opera.
Um classificador supervisionado é ajustado nos dados de treinamento rotulados e vetorizados, aprendendo a associação entre as características do texto e os rótulos das categorias para que possa atribuir um rótulo a cada novo documento.
O modelo treinado é avaliado em dados rotulados mantidos à parte e suas classificações incorretas são inspecionadas antes da implantação. Como classes desbalanceadas tornam a acurácia bruta enganosa, o desempenho é julgado nas categorias que o modelo se destina a separar.
Erros comuns
- O treinamento com poucos documentos (abaixo de ~100) causa sobreajuste no pequeno conjunto de treinamento; prefira uma abordagem de classificação zero-shot em vez disso.
- Pular o pré-processamento de texto permite que tokens ruidosos degradem as características e o modelo.
- Classes desbalanceadas tornam a acurácia simples enganosa; inspecione o desempenho por categoria em vez de confiar em uma única figura de acurácia.
- Aplicar o método quando não há dados de texto — recorra à classificação geral em variáveis categóricas.
Perguntas frequentes
Quanta informação rotulada eu preciso?
Planeje pelo menos aproximadamente 100 documentos rotulados. Abaixo disso, o classificador tende a sobreajustar o pequeno conjunto de treinamento, então uma abordagem de classificação zero-shot é a escolha mais segura.
O balanceamento de classes importa?
Sim. Uma distribuição de classes balanceada é preferível para que o classificador possa aprender cada categoria de forma confiável. Com classes desbalanceadas, julgue o desempenho por categoria em vez de confiar na acurácia geral.
E se eu não tiver dados de texto?
A classificação de texto não pode ser executada sem texto. Se suas variáveis forem categóricas em vez disso, use métodos de classificação geral nesses dados estruturados.
Qual a diferença para o agrupamento de documentos?
A classificação de texto é supervisionada: ela atribui documentos a categorias predefinidas aprendidas a partir de exemplos rotulados. O agrupamento de documentos é não supervisionado e agrupa documentos semelhantes sem rótulos predefinidos.
Métodos relacionados
Fontes
Joachims, T. (1998). Text Categorization with Support Vector Machines: Learning with Many Relevant Features. ECML 1998. Lecture Notes in Computer Science, vol 1398. Springer.
Abrir referência DOICopiado.Aggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.
ISBN: 978-1-4614-3222-7Copiado.