Análisis Morfológico — Derivación y Lematización
- Propuesto por
- M.F. Porter (Porter stemmer)
- Año
- 1980
- Tipo
- Text-normalisation preprocessing task
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
El análisis morfológico descompone las palabras en sus raíces y afijos para que diferentes formas superficiales de la misma palabra puedan tratarse como una sola.
Abarca dos enfoques complementarios: la derivación basada en reglas, como los algoritmos de Porter (1980) y Snowball, y la lematización consciente del diccionario; es un paso crítico de normalización de texto para lenguas aglutinantes como el turco y el árabe.
La intuición detrás del método
Un lector sabe que 'running', 'runs' y 'ran' apuntan al verbo 'run', pero para una máquina son tres cadenas de caracteres no relacionadas. El análisis morfológico elimina los finales gramaticales de una palabra para recuperar la forma subyacente, de modo que las múltiples apariciones de una palabra colapsen en un único token. La derivación (stemming) trunca los sufijos por regla; la lematización consulta el diccionario para devolver su forma real. En cualquier caso, el objetivo es dejar de contar un concepto como varias palabras distintas.
Historia
La derivación basada en reglas fue popularizada por el algoritmo de truncamiento de sufijos de Porter (1980), que sigue siendo un punto de referencia y que posteriormente evolucionó a la familia de derivadores Snowball. Le siguieron análisis morfológicos probabilísticos y basados en modelos, con el etiquetador de categorías gramaticales (part-of-speech tagger) de árboles de decisión de Schmid (1994) ilustrando el avance hacia enfoques estadísticos que informan la lematización moderna.
Cuándo usarlo
Utilice el análisis morfológico como paso de normalización siempre que tenga texto tokenizado y reglas morfológicas o un modelo para su lengua. Es especialmente valioso para lenguas aglutinantes como el turco y el árabe, donde una única raíz genera múltiples formas superficiales. Requiere que el texto esté tokenizado primero y un recurso de morfología para la lengua de destino; sin ellos, no puede funcionar de manera fiable.
Limitaciones y consideraciones
- Requiere que las reglas morfológicas o un modelo ya existan para la lengua de destino.
- El texto debe estar tokenizado antes de que pueda comenzar el análisis.
- La derivación basada en reglas puede sobre-derivar (fusionar palabras no relacionadas) o sub-derivar (omitir variantes válidas).
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Colapsa variantes flexionadas de una palabra en una única forma, reduciendo el vocabulario para análisis posteriores.
- Ofrece un espectro desde la rápida derivación basada en reglas (Porter, Snowball) hasta la lematización precisa según el diccionario.
- Especialmente potente para lenguas aglutinantes como el turco y el árabe, donde muchas formas comparten una única raíz.
Aplicaciones
- Normalización de texto antes de la indexación, búsqueda o recuperación de información.
- Reducción del tamaño del vocabulario antes de la clasificación de texto o el modelado de temas.
- Preprocesamiento de corpus en lenguas aglutinantes (turco, árabe) donde las formas superficiales se multiplican.
- Limpieza y estandarización de características de texto para canalizaciones posteriores de minería de textos.
Cómo funciona
Cómo funciona
El texto se segmenta primero en tokens de palabras individuales. El análisis morfológico opera sobre palabras, por lo que el corpus debe estar ya tokenizado antes de que se puedan extraer raíces o lemas; este es un requisito previo declarado del método.
Cada token se examina contra la morfología de la lengua de destino para separar la raíz de sus afijos (prefijos, sufijos, inflexiones). Este paso requiere que existan reglas morfológicas o un modelo para la lengua en cuestión, lo que es más importante en lenguas ricas en inflexiones y aglutinantes.
La palabra se reduce a una forma canónica. Un enfoque de derivación (Porter, Snowball) trunca los sufijos por regla para producir una raíz que no tiene por qué ser una palabra real, mientras que un enfoque de lematización devuelve el lema real del diccionario, opcionalmente guiado por la categoría gramatical de la palabra.
Las formas reducidas se reescriben en el corpus para que las formas superficiales variantes se mapeen a un único token. Esta normalización reduce el vocabulario y permite que los pasos posteriores de minería de textos traten las variantes flexionadas de una palabra como la misma característica.
Errores comunes
- La derivación puede producir raíces que no son palabras reales; no trate una raíz como una forma de diccionario cuando se necesita un lema real.
- Aplicar un derivador de inglés a texto en otro idioma produce resultados sin sentido: el recurso de morfología debe coincidir con la lengua del corpus.
- Omitir la tokenización introduce tokens mal formados en el analizador y corrompe la salida.
- La sobre-derivación fusiona palabras distintas en una sola raíz y la sub-derivación deja las variantes separadas; elija entre derivación y lematización para que se ajuste a la exactitud que requiere su tarea posterior.
Preguntas frecuentes
¿Cuál es la diferencia entre derivación (stemming) y lematización?
La derivación trunca sufijos por regla (como en los algoritmos Porter o Snowball) para obtener una raíz que no tiene por qué ser una palabra real, y es rápida. La lematización consulta el diccionario, a menudo utilizando la categoría gramatical, para devolver el lema real del diccionario, lo cual es más preciso pero más costoso computacionalmente.
¿Por qué esto es más importante para lenguas como el turco y el árabe?
Estas son lenguas aglutinantes donde una única raíz puede tomar muchos afijos y generar un gran número de formas superficiales. El análisis morfológico colapsa esas formas de nuevo a la raíz, lo cual es esencial para la normalización de texto en tales lenguas.
¿Necesito tokenizar el texto primero?
Sí. El análisis morfológico opera sobre palabras individuales, por lo que el corpus debe estar ya tokenizado. La tokenización es un requisito previo declarado del método.
¿Qué sucede si el recurso de morfología no coincide con el idioma?
La salida se vuelve sin sentido. Las reglas o el modelo deben estar construidos para la lengua de destino; aplicar, por ejemplo, un derivador de inglés a texto no inglés produce raíces incorrectas.
Métodos relacionados
Fuentes
Porter, M.F. (1980). An Algorithm for Suffix Stripping. Program, 14(3), 130-137.
Abrir referencia DOICopiado.Schmid, H. (1994). Probabilistic Part-of-Speech Tagging Using Decision Trees. Proceedings of the International Conference on New Methods in Language Processing (NEMLAP).
Abrir referencia de la publicaciónCopiado.