Saltar al contenido
Volver a los resultados

Modelo de lenguaje N-gram

Tipo
Statistical language model

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Un modelo de lenguaje n-gram es un modelo estadístico que predice la probabilidad de la siguiente palabra observando únicamente las n−1 palabras anteriores.

Descrito en detalle por Jurafsky y Martin (Speech and Language Processing), proporciona una infraestructura fundamental para la generación de texto, la corrección ortográfica y el reconocimiento del habla.

La intuición detrás del método

El lenguaje es secuencial: las palabras que se acaban de ver restringen fuertemente lo que viene a continuación. En lugar de razonar sobre una oración completa a la vez, un modelo n-gram hace una suposición simplificadora: que solo el último puñado de palabras importa para predecir la siguiente. Cuenta con qué frecuencia aparecen secuencias de palabras en un corpus de entrenamiento y convierte esos recuentos en probabilidades, por lo que una frase como 'muchas gracias por' hace que 'su' sea una continuación probable.

Historia

El enfoque n-grama es una piedra angular de larga data del procesamiento estadístico del lenguaje natural, tratado como fundamental en Speech and Language Processing de Jurafsky y Martin. Una preocupación práctica clave siempre ha sido el suavizado: el estudio empírico de Chen y Goodman (1999) comparó técnicas de suavizado y estableció métodos como Kneser-Ney como opciones sólidas para manejar secuencias no vistas. Los modelos n-gram sirvieron durante mucho tiempo como el estándar antes de que los modelos de lenguaje neuronales se volvieran dominantes.

Cuándo usarlo

Utilice un modelo n-gram cuando tenga un corpus de texto razonablemente grande (la fuente sugiere al menos unos 100 documentos) y una tarea enmarcada como la predicción o explicación de secuencias de palabras: autocompletado, corrección ortográfica o como modelo de lenguaje de referencia. Necesita suficiente texto de entrenamiento para estimar recuentos fiables, y se debe aplicar suavizado para manejar la escasez de secuencias no vistas.

Limitaciones y consideraciones

  • Captura solo contexto de corto alcance (las n−1 palabras anteriores) y no puede modelar dependencias de largo alcance.
  • Sufre de escasez de datos: la mayoría de las secuencias de palabras no se ven, por lo que el suavizado es obligatorio.
  • El tamaño del modelo y la memoria crecen rápidamente a medida que aumenta n, mientras que los n-gramas de orden superior se vuelven cada vez más escasos.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Simple, rápido e interpretable: las probabilidades provienen directamente de los recuentos observados.
  • Una referencia sólida y transparente para la generación de texto, la corrección ortográfica y el reconocimiento del habla.
  • Bajo costo computacional en comparación con los modelos de lenguaje neuronales, sin necesidad de hardware especializado.

Aplicaciones

  • Generación de texto y autocompletado a partir de una distribución aprendida de secuencias de palabras.
  • Corrección ortográfica y gramatical al puntuar la probabilidad de las secuencias candidatas.
  • Reconocimiento del habla, donde un modelo de lenguaje clasifica hipótesis de transcripción competidoras.
  • Referencias ligeras para cualquier tarea que se beneficie de la estimación de probabilidades de secuencias.

Cómo funciona

Cómo funciona

1

El corpus de entrenamiento se segmenta en tokens y las oraciones se rellenan para que los principios y finales de las secuencias se modelen explícitamente. Cada ventana superpuesta de n tokens consecutivos se convierte en un n-grama, que es la unidad que el modelo contará y puntuará.

2

El modelo cuenta con qué frecuencia cada n-grama y su prefijo de (n−1) palabras ocurren en el corpus. Dividir el recuento del n-grama por el recuento de su prefijo da la probabilidad condicional de la última palabra dados los n−1 palabras precedentes: la estimación central del modelo.

3

Dado que la mayoría de las secuencias de palabras posibles nunca aparecen en ningún corpus finito, los recuentos brutos asignan probabilidad cero a los n-gramas no vistos (el problema de la escasez). Los métodos de suavizado como Laplace add-one o Kneser-Ney redistribuyen la masa de probabilidad para que las secuencias no vistas pero plausibles reciban una pequeña probabilidad distinta de cero. Este paso es esencial: sin él, el modelo falla en texto real.

4

Dado un contexto de n−1 palabras, el modelo devuelve una distribución de probabilidad sobre la siguiente palabra, de la cual se puede elegir la continuación más probable o generar texto. La misma maquinaria puntúa la probabilidad de una oración observada, que es lo que impulsa la corrección ortográfica y el reconocimiento del habla.

Errores comunes

  • Omitir el suavizado deja los n-gramas no vistos con probabilidad cero, lo que colapsa el modelo en texto real no visto.
  • Entrenar con un corpus demasiado pequeño (menos de aproximadamente 100 documentos) produce recuentos poco fiables.
  • Elegir n demasiado grande hace que los recuentos sean escasos y el modelo frágil; elegir n demasiado pequeño pierde contexto útil.
  • No rellenar los límites de las oraciones maneja incorrectamente el principio y el final de las secuencias.

Preguntas frecuentes

¿Qué significa la 'n' en n-grama?

Es el número de palabras consecutivas consideradas juntas. Un bigrama (n=2) condiciona la siguiente palabra a la palabra anterior única, un trigrama (n=3) a las dos anteriores. Un n mayor captura más contexto pero necesita muchos más datos de entrenamiento y se vuelve escaso.

¿Por qué es necesario el suavizado?

Un corpus finito nunca puede contener todas las secuencias de palabras plausibles, por lo que muchos n-gramas válidos tienen un recuento de cero y recibirían probabilidad cero. Los métodos de suavizado como Laplace add-one o Kneser-Ney reasignan una pequeña probabilidad a las secuencias no vistas para que el modelo no falle en texto nuevo.

¿Cuántos datos de entrenamiento necesito?

La fuente sugiere al menos unos 100 documentos como mínimo. Más texto proporciona recuentos más fiables; los n-gramas de orden superior en particular necesitan sustancialmente más datos para evitar la escasez.

¿En qué se diferencia un modelo n-gram de un modelo de lenguaje neuronal?

Un modelo n-gram estima las probabilidades de la siguiente palabra directamente a partir de recuentos en una ventana fija de palabras anteriores, lo que lo hace simple, rápido e interpretable. Los modelos neuronales aprenden representaciones distribuidas y capturan contexto más largo, a un costo computacional mayor. Los n-gramas siguen siendo una referencia transparente útil.

Métodos relacionados

Fuentes

  1. Jurafsky, D. & Martin, J.H. (2023). Speech and Language Processing, 3rd ed.

    Abrir referencia de la publicación
    Copiado.
  2. Chen, S.F. & Goodman, J. (1999). An Empirical Study of Smoothing Techniques for Language Modeling. Computer Speech & Language, 13(4), 359-394.

    Abrir referencia DOI
    Copiado.