Skip to content
Voltar aos resultados

Modelo de Linguagem N-grama

Tipo
Statistical language model

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Um modelo de linguagem n-grama é um modelo estatístico que prevê a probabilidade da próxima palavra olhando apenas para as n−1 palavras anteriores.

Descrito em detalhe por Jurafsky e Martin (Speech and Language Processing), ele fornece infraestrutura fundamental para geração de texto, correção ortográfica e reconhecimento de fala.

A intuição por trás do método

A linguagem é sequencial: as palavras que você acabou de ver restringem fortemente o que vem a seguir. Em vez de raciocinar sobre uma frase inteira de uma vez, um modelo n-grama faz uma aposta simplificadora — que apenas um punhado das últimas palavras importa para prever a próxima. Ele conta a frequência com que sequências de palavras aparecem em um corpus de treinamento e transforma essas contagens em probabilidades, de modo que uma frase como 'obrigado muito' torna 'bem' uma continuação provável.

História

A abordagem n-grama é um pilar de longa data do processamento estatístico de linguagem natural, tratado como fundamental em Speech and Language Processing de Jurafsky e Martin. Uma preocupação prática chave sempre foi a suavização: o estudo empírico de Chen e Goodman (1999) comparou técnicas de suavização e estabeleceu métodos como Kneser-Ney como escolhas fortes para lidar com sequências não vistas. Modelos n-grama serviram por muito tempo como o padrão antes que os modelos de linguagem neurais se tornassem dominantes.

Quando usar

Use um modelo n-grama quando você tiver um corpus de texto razoavelmente grande (a fonte sugere pelo menos cerca de 100 documentos) e uma tarefa formulada como prever ou explicar sequências de palavras — autocompletar, correção ortográfica ou como um modelo de linguagem de base (baseline). Ele precisa de texto de treinamento suficiente para estimar contagens confiáveis, e a suavização deve ser aplicada para lidar com a esparsidade de sequências não vistas.

Limitações e considerações

  • Captura apenas contexto de curto alcance (as n−1 palavras anteriores) e não consegue modelar dependências de longo alcance.
  • Sofre de esparsidade de dados: a maioria das sequências de palavras não é vista, portanto, a suavização é obrigatória.
  • O tamanho do modelo e a memória crescem rapidamente à medida que n aumenta, enquanto n-gramas de ordem superior se tornam cada vez mais esparsos.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Simples, rápido e interpretável — as probabilidades vêm diretamente de contagens observadas.
  • Uma base (baseline) forte e transparente para geração de texto, correção ortográfica e reconhecimento de fala.
  • Baixo custo computacional em comparação com modelos de linguagem neurais, sem necessidade de hardware especializado.

Aplicações

  • Geração de texto e autocompletar a partir de uma distribuição aprendida de sequências de palavras.
  • Correção ortográfica e gramatical pontuando quão prováveis são as sequências candidatas.
  • Reconhecimento de fala, onde um modelo de linguagem classifica hipóteses de transcrição concorrentes.
  • Bases (baselines) leves para qualquer tarefa que se beneficie da estimativa de probabilidades de sequência.

Como funciona

Como funciona

1

O corpus de treinamento é segmentado em tokens e as sentenças são preenchidas (padded) para que inícios e fins de sequências sejam modelados explicitamente. Cada janela sobreposta de n tokens consecutivos se torna um n-grama, que é a unidade que o modelo contará e pontuará.

2

O modelo conta a frequência com que cada n-grama e seu prefixo de (n−1) palavras ocorrem no corpus. Dividir a contagem do n-grama pela contagem de seu prefixo fornece a probabilidade condicional da palavra final dada as n−1 palavras precedentes — a estimativa central do modelo.

3

Como a maioria das sequências de palavras possíveis nunca aparece em nenhum corpus finito, contagens brutas atribuem probabilidade zero a n-gramas não vistos (o problema da esparsidade). Métodos de suavização (smoothing) como Laplace add-one ou Kneser-Ney redistribuem massa de probabilidade para que sequências não vistas, mas plausíveis, recebam uma pequena probabilidade não nula. Esta etapa é essencial — sem ela o modelo falha em texto real.

4

Dado um contexto de n−1 palavras, o modelo retorna uma distribuição de probabilidade sobre a próxima palavra, a partir da qual a continuação mais provável pode ser escolhida ou o texto pode ser gerado. A mesma mecânica pontua quão provável é uma sentença observada, que é o que impulsiona a correção ortográfica e o reconhecimento de fala.

Erros comuns

  • Omitir a suavização deixa n-gramas não vistos com probabilidade zero, o que colapsa o modelo em texto real e não visto.
  • O treinamento em um corpus muito pequeno (abaixo de aproximadamente 100 documentos) produz contagens não confiáveis.
  • Escolher n muito grande torna as contagens esparsas e o modelo frágil; escolher n muito pequeno perde contexto útil.
  • Falhar em preencher (pad) os limites das sentenças lida incorretamente com o início e o fim das sequências.

Perguntas frequentes

O que significa o 'n' em n-grama?

É o número de palavras consecutivas consideradas juntas. Um bigrama (n=2) condiciona a próxima palavra na única palavra anterior, um trigrama (n=3) nas duas anteriores. Um n maior captura mais contexto, mas precisa de muito mais dados de treinamento e se torna esparso.

Por que a suavização é necessária?

Um corpus finito nunca pode conter todas as sequências de palavras plausíveis, então muitos n-gramas válidos têm contagem zero e receberiam probabilidade zero. Métodos de suavização como Laplace add-one ou Kneser-Ney realocam uma pequena probabilidade para sequências não vistas para que o modelo não falhe em texto novo.

Quanta quantidade de dados de treinamento eu preciso?

A fonte sugere pelo menos cerca de 100 documentos como mínimo. Mais texto fornece contagens mais confiáveis; n-gramas de ordem superior, em particular, precisam de dados substancialmente maiores para evitar esparsidade.

Como um modelo n-grama difere de um modelo de linguagem neural?

Um modelo n-grama estima probabilidades da próxima palavra diretamente de contagens sobre uma janela fixa de palavras anteriores, tornando-o simples, rápido e interpretável. Modelos neurais aprendem representações distribuídas e capturam contexto mais longo, com custo computacional mais alto. N-gramas permanecem uma base (baseline) transparente útil.

Métodos relacionados

Fontes

  1. Jurafsky, D. & Martin, J.H. (2023). Speech and Language Processing, 3rd ed.

    Abrir referência da publicação
    Copiado.
  2. Chen, S.F. & Goodman, J. (1999). An Empirical Study of Smoothing Techniques for Language Modeling. Computer Speech & Language, 13(4), 359-394.

    Abrir referência DOI
    Copiado.