Saltar al contenido
Volver a los resultados

Reconocimiento de entidades nombradas (NER)

Tipo
NLP sequence-labelling task

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El reconocimiento de entidades nombradas (NER) es una tarea de procesamiento del lenguaje natural que detecta y etiqueta automáticamente entidades en el texto —como personas, organizaciones, ubicaciones y fechas.

Revisado por Nadeau y Sekine (2007) y posteriormente avanzado con arquitecturas neuronales por Lample et al. (2016), convierte texto libre en fragmentos etiquetados que las herramientas posteriores pueden utilizar.

La intuición detrás del método

Un documento menciona nombres, lugares y fechas en prosa ordinaria, pero una máquina solo ve un flujo de palabras. El objetivo del NER es encontrar los fragmentos que se refieren a entidades del mundo real y adjuntar la etiqueta de tipo correcta a cada uno. En lugar de que una persona lea y resalte nombres a mano, el método escanea el texto, decide qué palabras forman una entidad y la etiqueta como persona, organización, ubicación, fecha, etc.

Historia

El reconocimiento de entidades nombradas se consolidó como una tarea en la revisión de Nadeau y Sekine (2007), que revisó los métodos basados en reglas y en características del campo. El trabajo de Lample et al. (2016) en NAACL introdujo entonces arquitecturas neuronales para NER, moviendo el campo hacia modelos de etiquetado de secuencias que aprenden representaciones contextuales en lugar de depender de características creadas manualmente.

Cuándo usarlo

El NER es adecuado cuando se tienen datos de texto y un modelo de lenguaje que admite el idioma de ese texto, con preprocesamiento aplicado primero. Se necesita una cantidad razonable de texto; con un corpus muy pequeño, el modelo funciona mal y la extracción simple de palabras clave basada en reglas es la opción más segura. Si no hay datos de texto en absoluto, el NER no puede ejecutarse y se debe analizar contenido estructurado en su lugar.

Limitaciones y consideraciones

  • En un corpus pequeño, el rendimiento del modelo disminuye y la extracción simple de palabras clave basada en reglas se convierte en la mejor opción.
  • El rendimiento depende de que el modelo de lenguaje admita el idioma de destino del texto.
  • Requiere preprocesamiento; sin una tokenización limpia, los límites de las entidades se detectan de manera poco fiable.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Convierte texto no estructurado en fragmentos de entidades estructurados y tipificados que las tareas posteriores pueden consumir.
  • Abarca múltiples enfoques: coincidencia basada en reglas para problemas pequeños, etiquetado de secuencias neuronales para problemas grandes.
  • Identifica varias clases de entidades —personas, organizaciones, ubicaciones, fechas— en una sola pasada sobre el texto.

Aplicaciones

  • Extracción de personas, organizaciones y ubicaciones de noticias e informes para indexación.
  • Identificación de entidades nombradas en texto clínico o biomédico para registros estructurados.
  • Minería de menciones de empresas, lugares y fechas de grandes colecciones de documentos.
  • Alimentación de entidades etiquetadas en pipelines posteriores de extracción de información y relaciones.

Cómo funciona

Cómo funciona

1

El texto crudo se limpia y segmenta en unidades analizables —las oraciones se dividen y las palabras se tokenizan— para que los límites de las entidades puedan detectarse de manera consistente. El modelo de lenguaje elegido debe admitir el idioma de destino para que esto funcione.

2

Cada token se convierte en características que el modelo puede leer. Dependiendo del enfoque, esto significa reglas escritas a mano y directorios, vectores de características clásicos o incrustaciones contextuales de un modelo neuronal —cada uno proporciona al etiquetador la señal que necesita para reconocer una entidad.

3

El modelo asigna una etiqueta de tipo de entidad a cada fragmento de token. Un enfoque basado en reglas coincide con patrones y diccionarios, un enfoque de aprendizaje automático utiliza un etiquetador de secuencias entrenado y un enfoque neuronal aplica una arquitectura que captura el contexto. La salida es un conjunto de fragmentos de texto etiquetados con tipos como persona, organización, ubicación y fecha.

4

Los fragmentos etiquetados se evalúan con datos etiquetados utilizando precisión, recuperación y F1, y las entidades incorrectas o perdidas se inspeccionan antes de confiar en el modelo. Esto evita confiar en un etiquetador que omite silenciosamente toda una clase de entidades.

Errores comunes

  • Ejecutar NER en un corpus pequeño (menos de ~100 documentos) donde el modelo tiene un rendimiento inferior — recurrir a la extracción de palabras clave basada en reglas en su lugar.
  • Aplicar un modelo que no admite el idioma del corpus, lo que degrada el reconocimiento.
  • Omitir el preprocesamiento para que el texto ruidoso o mal tokenizado rompa los límites de las entidades.
  • Evaluar el etiquetador solo por precisión cuando se omite toda una clase de entidad; informar precisión, recuperación y F1 e inspeccionar las entidades perdidas.

Preguntas frecuentes

Basado en reglas, aprendizaje automático o neuronal: ¿qué enfoque debo usar?

Un enfoque basado en reglas coincide con patrones y diccionarios y funciona en problemas pequeños sin datos etiquetados. Un etiquetador de secuencias de aprendizaje automático aprende de ejemplos etiquetados y se adapta a su dominio. Un enfoque neuronal utiliza arquitecturas contextuales y generalmente funciona mejor en corpus grandes, con un mayor costo computacional.

¿Qué sucede si mi corpus es muy pequeño?

En un corpus pequeño (aproximadamente menos de 100 documentos), el rendimiento del modelo NER disminuye. En ese caso, se prefiere un enfoque más simple de extracción de palabras clave basado en reglas sobre un modelo completo de reconocimiento de entidades.

¿NER funciona en idiomas distintos del inglés?

Sí, pero el modelo de lenguaje elegido debe admitir el idioma de destino del texto. Un modelo que no cubra el idioma del corpus es una causa común de reconocimiento deficiente.

¿Cómo se evalúa el NER?

Los fragmentos etiquetados se comparan con datos etiquetados utilizando precisión, recuperación y F1. La inspección de entidades perdidas e incorrectas es importante, porque un etiquetador puede fallar silenciosamente en detectar toda una clase de entidad mientras parece preciso en general.

Métodos relacionados

Fuentes

  1. Nadeau, D. & Sekine, S. (2007). A survey of named entity recognition. Lingvisticae Investigationes.

    Abrir referencia de la publicación
    Copiado.
  2. Lample, G. et al. (2016). Neural Architectures for Named Entity Recognition. NAACL.

    Abrir referencia DOI
    Copiado.