Skip to content
Voltar aos resultados

Identificação de Idioma (LID)

Tipo
NLP text-classification task

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A identificação de idioma é uma tarefa de processamento de linguagem natural que detecta automaticamente em qual idioma um texto está escrito.

Baseando-se em ferramentas prontas para uso, como langid.py (Lui & Baldwin, 2012) e os eficientes classificadores de Joulin et al. (2017), é amplamente utilizada para pré-processar e filtrar conjuntos de dados multilíngues.

A intuição por trás do método

Idiomas diferentes deixam impressões digitais características em seus padrões de letras e palavras: as sequências de caracteres que aparecem em turco são diferentes das que aparecem em inglês ou japonês. Em vez de um humano precisar ler e reconhecer cada documento, a identificação de idioma aprende esses padrões estatísticos e atribui a cada texto um rótulo de idioma, de modo que uma coleção multilíngue possa ser classificada por idioma automaticamente.

História

A identificação automática de idioma amadureceu em ferramentas confiáveis e prontas para uso com langid.py (Lui & Baldwin, 2012), uma ferramenta autônoma que cobre muitos idiomas. Joulin et al. (2017) então mostraram que modelos de classificação de texto simples e eficientes poderiam realizar a tarefa em grande escala, uma abordagem popularizada através dos modelos de identificação de idioma fastText.

Quando usar

Use a identificação de idioma quando tiver dados de texto de idioma desconhecido ou misto e precisar classificá-los ou filtrá-los por idioma antes de análises posteriores. Cada documento deve ser longo o suficiente — pelo menos cerca de 20 caracteres — para carregar um sinal confiável. Adapta-se a corpora multilíngues que precisam ser limpos ou roteados por idioma; se todo o seu texto já é conhecido por estar em um único idioma, a etapa é desnecessária.

Limitações e considerações

  • Textos muito curtos carregam pouco sinal; documentos com menos de cerca de 20 caracteres são não confiáveis.
  • A alternância de códigos — misturar dois idiomas em um único documento — é genuinamente difícil de rotular corretamente.
  • A precisão pode cair em idiomas de poucos recursos e em textos que misturam escritas.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Ferramentas prontas para uso tornam a implantação rápida, sem a necessidade de dados rotulados próprios.
  • Transforma uma coleção multilíngue não classificada em subconjuntos limpos e rotulados por idioma, prontos para processamento posterior.
  • Um método introdutório de baixa dificuldade que escala para grandes corpora.

Aplicações

  • Pré-processamento de conjuntos de dados multilíngues, rotulando cada documento com seu idioma.
  • Filtragem de um corpus para manter apenas documentos no idioma alvo antes de análises posteriores.
  • Roteamento de texto de entrada para pipelines específicos de idioma em pesquisa nas ciências sociais, humanidades e negócios.
  • Limpeza de coleções raspadas da web que misturam muitos idiomas.

Como funciona

Como funciona

1

O texto a ser analisado é coletado e verificado quanto ao comprimento utilizável. Fragmentos muito curtos carregam pouco sinal, portanto, cada documento deve ter pelo menos cerca de 20 caracteres antes de poder ser rotulado de forma confiável.

2

Cada documento é transformado no sinal estatístico que distingue um idioma de outro — tipicamente padrões de n-gramas de caracteres que capturam como as letras tendem a seguir umas às outras em um determinado idioma. Esses padrões são o que o classificador lê.

3

Um modelo treinado atribui o rótulo de idioma mais provável a cada documento, utilizando ferramentas criadas para essa tarefa, como langid.py ou classificadores do tipo fastText. A saída é um idioma previsto para cada texto.

4

Os rótulos previstos são usados posteriormente: uma coleção multilíngue é classificada por idioma e documentos em idiomas indesejados são filtrados antes do processamento adicional de texto. É aqui que a identificação de idioma garante seu lugar como uma etapa de pré-processamento.

Erros comuns

  • Executá-la em trechos muito curtos e confiar no rótulo mesmo assim — aplique um comprimento mínimo primeiro.
  • Assumir um rótulo por documento quando o texto alterna entre idiomas; o rótulo único previsto será enganoso.
  • Tratar o idioma previsto como verdade absoluta sem verificação pontual, especialmente para idiomas intimamente relacionados.

Perguntas frequentes

Quanta texto a identificação de idioma precisa?

Cada documento deve ter pelo menos cerca de 20 caracteres. Fragmentos mais curtos carregam pouco sinal estatístico e o idioma previsto torna-se não confiável.

O que acontece com texto que mistura dois idiomas?

A alternância de códigos é uma dificuldade conhecida: quando dois idiomas aparecem em um único documento, uma ferramenta que retorna um único rótulo não pode representar ambos, e o resultado é frequentemente enganoso. Segmente ou sinalize tais textos em vez de confiar em um único rótulo.

Preciso de dados de treinamento rotulados?

Geralmente não. Ferramentas prontas para uso como langid.py e classificadores do tipo fastText vêm pré-treinados em muitos idiomas, então você pode detectar o idioma sem preparar seu próprio conjunto rotulado.

Por que identificar o idioma antes de outras análises de texto?

A maioria dos métodos posteriores — tokenizadores, léxicos, modelos de linguagem — assume um único idioma conhecido. Identificar e filtrar por idioma primeiro mantém essa suposição válida e impede que ferramentas criadas para um idioma sejam aplicadas a outro.

Métodos relacionados

Fontes

  1. Lui, M. & Baldwin, T. (2012). langid.py: An Off-the-shelf Language Identification Tool. Proceedings of the ACL 2012 System Demonstrations.

    Abrir referência da publicação
    Copiado.
  2. Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. (2017). Bag of Tricks for Efficient Text Classification. Proceedings of the EACL 2017.

    Abrir referência da publicação
    Copiado.