Identificación de Idiomas (LID)
- Tipo
- NLP text-classification task
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La identificación de idiomas es una tarea de procesamiento del lenguaje natural que detecta automáticamente en qué idioma está escrito un texto.
Basándose en herramientas listas para usar como langid.py (Lui & Baldwin, 2012) y los eficientes clasificadores de Joulin et al. (2017), se utiliza ampliamente para preprocesar y filtrar conjuntos de datos multilingües.
La intuición detrás del método
Los diferentes idiomas dejan huellas características en sus patrones de letras y palabras: las secuencias de caracteres que aparecen en turco son diferentes de las que aparecen en inglés o japonés. En lugar de necesitar que un humano lea y reconozca cada documento, la identificación de idiomas aprende estos patrones estadísticos y asigna a cada texto una etiqueta de idioma, de modo que una colección multilingüe pueda clasificarse por idioma automáticamente.
Historia
La identificación automática de idiomas ha madurado hasta convertirse en herramientas fiables y listas para usar con langid.py (Lui & Baldwin, 2012), una herramienta autocontenida que cubre muchos idiomas. Joulin et al. (2017) demostraron entonces que modelos de clasificación de texto simples y eficientes podían realizar la tarea a gran escala, un enfoque popularizado a través de los modelos de identificación de idiomas fastText.
Cuándo usarlo
Utilice la identificación de idiomas cuando tenga datos de texto de idioma desconocido o mixto y necesite clasificarlos o filtrarlos por idioma antes de un análisis posterior. Cada documento debe ser lo suficientemente largo, al menos unos 20 caracteres, para aportar una señal fiable. Es adecuado para corpus multilingües que deben limpiarse o enrutarse por idioma; si todo su texto se sabe que ya está en un solo idioma, el paso es innecesario.
Limitaciones y consideraciones
- Los textos muy cortos aportan muy poca señal; los documentos de menos de unos 20 caracteres no son fiables.
- La mezcla de idiomas (code-switching), que consiste en mezclar dos idiomas dentro de un mismo documento, es realmente difícil de etiquetar correctamente.
- La precisión puede disminuir en idiomas de bajos recursos y en textos que mezclan escrituras.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Las herramientas listas para usar hacen que su implementación sea rápida sin necesidad de datos etiquetados propios.
- Convierte una colección multilingüe desordenada en subconjuntos limpios y etiquetados por idioma, listos para el procesamiento posterior.
- Un método introductorio de baja dificultad que se escala a grandes corpus.
Aplicaciones
- Preprocesamiento de conjuntos de datos multilingües etiquetando cada documento con su idioma.
- Filtrado de un corpus para mantener solo los documentos en el idioma de destino antes de un análisis posterior.
- Enrutamiento de texto entrante a canalizaciones específicas de idioma en investigación de ciencias sociales, humanidades y negocios.
- Limpieza de colecciones extraídas de la web que mezclan muchos idiomas.
Cómo funciona
Cómo funciona
Se recopila el texto a analizar y se comprueba su longitud útil. Los fragmentos muy cortos aportan muy poca señal, por lo que cada documento debe tener al menos unos 20 caracteres antes de poder etiquetarlo de forma fiable.
Cada documento se convierte en la señal estadística que distingue un idioma de otro, típicamente patrones de n-gramas de caracteres que capturan cómo las letras tienden a seguirse en un idioma determinado. Estos patrones son lo que lee el clasificador.
Un modelo entrenado asigna la etiqueta de idioma más probable a cada documento, basándose en herramientas creadas para esta tarea como langid.py o clasificadores de estilo fastText. La salida es un idioma predicho para cada texto.
Las etiquetas predichas se utilizan posteriormente: una colección multilingüe se clasifica por idioma y los documentos en idiomas no deseados se filtran antes de un procesamiento adicional del texto. Aquí es donde la identificación de idiomas se gana su lugar como paso de preprocesamiento.
Errores comunes
- Ejecutarlo en fragmentos muy cortos y confiar de todos modos en la etiqueta: imponga primero una longitud mínima.
- Asumir una etiqueta por documento cuando el texto mezcla idiomas; la etiqueta única predicha será engañosa.
- Tratar el idioma predicho como verdad fundamental sin una comprobación puntual, especialmente para idiomas estrechamente relacionados.
Preguntas frecuentes
¿Cuánta texto necesita la identificación de idiomas?
Cada documento debe tener al menos unos 20 caracteres. Los fragmentos más cortos aportan muy poca señal estadística y el idioma predicho se vuelve poco fiable.
¿Qué sucede con el texto que mezcla dos idiomas?
La mezcla de idiomas es una dificultad conocida: cuando dos idiomas aparecen en un mismo documento, una herramienta que devuelve una sola etiqueta no puede representar ambos, y el resultado suele ser engañoso. Segmente o marque dichos textos en lugar de confiar en una sola etiqueta.
¿Necesito datos de entrenamiento etiquetados?
Normalmente no. Las herramientas listas para usar como langid.py y los clasificadores de estilo fastText vienen preentrenados en muchos idiomas, por lo que puede detectar el idioma sin preparar su propio conjunto etiquetado.
¿Por qué identificar el idioma antes de otros análisis de texto?
La mayoría de los métodos posteriores (tokenizadores, léxicos, modelos de lenguaje) asumen un solo idioma conocido. Identificar y filtrar por idioma primero mantiene esa suposición válida y evita que las herramientas creadas para un idioma se apliquen a otro.
Métodos relacionados
Fuentes
Lui, M. & Baldwin, T. (2012). langid.py: An Off-the-shelf Language Identification Tool. Proceedings of the ACL 2012 System Demonstrations.
Abrir referencia de la publicaciónCopiado.Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. (2017). Bag of Tricks for Efficient Text Classification. Proceedings of the EACL 2017.
Abrir referencia de la publicaciónCopiado.