Modelo de Linguagem N-grama
- Tipo
- Statistical language model
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Um modelo de linguagem n-grama é um modelo estatístico que prevê a probabilidade da próxima palavra olhando apenas para as n−1 palavras anteriores.
Descrito em detalhe por Jurafsky e Martin (Speech and Language Processing), ele fornece infraestrutura fundamental para geração de texto, correção ortográfica e reconhecimento de fala.
A intuição por trás do método
A linguagem é sequencial: as palavras que você acabou de ver restringem fortemente o que vem a seguir. Em vez de raciocinar sobre uma frase inteira de uma vez, um modelo n-grama faz uma aposta simplificadora — que apenas um punhado das últimas palavras importa para prever a próxima. Ele conta a frequência com que sequências de palavras aparecem em um corpus de treinamento e transforma essas contagens em probabilidades, de modo que uma frase como 'obrigado muito' torna 'bem' uma continuação provável.
História
A abordagem n-grama é um pilar de longa data do processamento estatístico de linguagem natural, tratado como fundamental em Speech and Language Processing de Jurafsky e Martin. Uma preocupação prática chave sempre foi a suavização: o estudo empírico de Chen e Goodman (1999) comparou técnicas de suavização e estabeleceu métodos como Kneser-Ney como escolhas fortes para lidar com sequências não vistas. Modelos n-grama serviram por muito tempo como o padrão antes que os modelos de linguagem neurais se tornassem dominantes.
Quando usar
Use um modelo n-grama quando você tiver um corpus de texto razoavelmente grande (a fonte sugere pelo menos cerca de 100 documentos) e uma tarefa formulada como prever ou explicar sequências de palavras — autocompletar, correção ortográfica ou como um modelo de linguagem de base (baseline). Ele precisa de texto de treinamento suficiente para estimar contagens confiáveis, e a suavização deve ser aplicada para lidar com a esparsidade de sequências não vistas.
Limitações e considerações
- Captura apenas contexto de curto alcance (as n−1 palavras anteriores) e não consegue modelar dependências de longo alcance.
- Sofre de esparsidade de dados: a maioria das sequências de palavras não é vista, portanto, a suavização é obrigatória.
- O tamanho do modelo e a memória crescem rapidamente à medida que n aumenta, enquanto n-gramas de ordem superior se tornam cada vez mais esparsos.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Simples, rápido e interpretável — as probabilidades vêm diretamente de contagens observadas.
- Uma base (baseline) forte e transparente para geração de texto, correção ortográfica e reconhecimento de fala.
- Baixo custo computacional em comparação com modelos de linguagem neurais, sem necessidade de hardware especializado.
Aplicações
- Geração de texto e autocompletar a partir de uma distribuição aprendida de sequências de palavras.
- Correção ortográfica e gramatical pontuando quão prováveis são as sequências candidatas.
- Reconhecimento de fala, onde um modelo de linguagem classifica hipóteses de transcrição concorrentes.
- Bases (baselines) leves para qualquer tarefa que se beneficie da estimativa de probabilidades de sequência.
Como funciona
Como funciona
O corpus de treinamento é segmentado em tokens e as sentenças são preenchidas (padded) para que inícios e fins de sequências sejam modelados explicitamente. Cada janela sobreposta de n tokens consecutivos se torna um n-grama, que é a unidade que o modelo contará e pontuará.
O modelo conta a frequência com que cada n-grama e seu prefixo de (n−1) palavras ocorrem no corpus. Dividir a contagem do n-grama pela contagem de seu prefixo fornece a probabilidade condicional da palavra final dada as n−1 palavras precedentes — a estimativa central do modelo.
Como a maioria das sequências de palavras possíveis nunca aparece em nenhum corpus finito, contagens brutas atribuem probabilidade zero a n-gramas não vistos (o problema da esparsidade). Métodos de suavização (smoothing) como Laplace add-one ou Kneser-Ney redistribuem massa de probabilidade para que sequências não vistas, mas plausíveis, recebam uma pequena probabilidade não nula. Esta etapa é essencial — sem ela o modelo falha em texto real.
Dado um contexto de n−1 palavras, o modelo retorna uma distribuição de probabilidade sobre a próxima palavra, a partir da qual a continuação mais provável pode ser escolhida ou o texto pode ser gerado. A mesma mecânica pontua quão provável é uma sentença observada, que é o que impulsiona a correção ortográfica e o reconhecimento de fala.
Erros comuns
- Omitir a suavização deixa n-gramas não vistos com probabilidade zero, o que colapsa o modelo em texto real e não visto.
- O treinamento em um corpus muito pequeno (abaixo de aproximadamente 100 documentos) produz contagens não confiáveis.
- Escolher n muito grande torna as contagens esparsas e o modelo frágil; escolher n muito pequeno perde contexto útil.
- Falhar em preencher (pad) os limites das sentenças lida incorretamente com o início e o fim das sequências.
Perguntas frequentes
O que significa o 'n' em n-grama?
É o número de palavras consecutivas consideradas juntas. Um bigrama (n=2) condiciona a próxima palavra na única palavra anterior, um trigrama (n=3) nas duas anteriores. Um n maior captura mais contexto, mas precisa de muito mais dados de treinamento e se torna esparso.
Por que a suavização é necessária?
Um corpus finito nunca pode conter todas as sequências de palavras plausíveis, então muitos n-gramas válidos têm contagem zero e receberiam probabilidade zero. Métodos de suavização como Laplace add-one ou Kneser-Ney realocam uma pequena probabilidade para sequências não vistas para que o modelo não falhe em texto novo.
Quanta quantidade de dados de treinamento eu preciso?
A fonte sugere pelo menos cerca de 100 documentos como mínimo. Mais texto fornece contagens mais confiáveis; n-gramas de ordem superior, em particular, precisam de dados substancialmente maiores para evitar esparsidade.
Como um modelo n-grama difere de um modelo de linguagem neural?
Um modelo n-grama estima probabilidades da próxima palavra diretamente de contagens sobre uma janela fixa de palavras anteriores, tornando-o simples, rápido e interpretável. Modelos neurais aprendem representações distribuídas e capturam contexto mais longo, com custo computacional mais alto. N-gramas permanecem uma base (baseline) transparente útil.
Métodos relacionados
Fontes
Jurafsky, D. & Martin, J.H. (2023). Speech and Language Processing, 3rd ed.
Abrir referência da publicaçãoCopiado.Chen, S.F. & Goodman, J. (1999). An Empirical Study of Smoothing Techniques for Language Modeling. Computer Speech & Language, 13(4), 359-394.
Abrir referência DOICopiado.