Lingüística de corpus
- Propuesto por
- John Sinclair
- Año
- 1980
- Tipo
- Empirical process pipeline
- Familia
- Empirical Linguistics
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La lingüística de corpus es el estudio del lenguaje basado en colecciones grandes y representativas de textos (corpora) procesadas por ordenador.
Pionera por John Sinclair y otros, el método utiliza análisis estadístico, concordancias y herramientas computacionales para examinar patrones de uso real del lenguaje. La lingüística de corpus ha transformado nuestra comprensión del inglés y otros idiomas, revelando patrones de frecuencia, preferencias de colocación y variación de registro que antes estaban ocultos. Sirve a la lingüística teórica, la enseñanza de idiomas aplicada y el procesamiento del lenguaje natural.
La intuición detrás del método
Un corpus lingüístico es como una gran biblioteca de habla y escritura reales, cuidadosamente seleccionada y organizada. En lugar de depender de oraciones inventadas u observaciones aisladas, los lingüistas de corpus piden al ordenador que encuentre todas las instancias de una palabra o frase, cuente frecuencias, mida qué palabras tienden a aparecer juntas y compare patrones en diferentes tipos de texto (periódicos frente a novelas, habla formal frente a informal). Los patrones que emergen a lo largo de millones de palabras a menudo anulan supuestos teóricos o confirman predicciones con rigor cuantitativo.
Historia
John Sinclair fue pionero en la lingüística de corpus en las décadas de 1960-1980, construyendo el Survey of English Usage y más tarde el proyecto COBUILD. El almacenamiento digital y la potencia computacional permitieron un crecimiento exponencial en las décadas de 1990-2000. Corpora importantes como el British National Corpus, el Corpus of Contemporary American English y el conjunto de datos Google Books Ngram transformaron el campo. Hoy en día, los métodos de corpus son estándar en lingüística, estudios aplicados del lenguaje y PLN.
Cuándo usarlo
Utilizar la lingüística de corpus para investigar patrones de uso real del lenguaje, para probar hipótesis teóricas con datos empíricos, para comprender la variación entre registros y dialectos, o para desarrollar recursos lingüísticos para aplicaciones de PLN. Los corpora son esenciales para estudiar fenómenos de alta frecuencia, variación dialectal, cambio lingüístico y semántica léxica. Complementan métodos experimentales e introspectivos.
Limitaciones y consideraciones
- Los corpora son muestras finitas; los fenómenos de baja frecuencia pueden no estar representados adecuadamente, y la ausencia de un corpus no prueba que una forma sea imposible.
- La anotación (POS tagging, análisis sintáctico) introduce errores que se propagan aguas abajo. La anotación manual es costosa; la anotación automática es imperfecta.
- Los resultados reflejan la composición del corpus (p. ej., los corpora escritos pueden no representar el lenguaje hablado por igual); los sesgos en la selección afectan los hallazgos.
- Los patrones de frecuencia no revelan directamente la competencia; la alta frecuencia puede reflejar factores de desempeño como las convenciones del discurso en lugar de la estructura gramatical.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Proporciona evidencia empírica para patrones lingüísticos basada en el uso real, reduciendo la dependencia de la introspección y las oraciones inventadas.
- Permite el análisis cuantitativo de frecuencia, colocación y variación en conjuntos de datos grandes y diversos.
- Facilita la comparación interlingüística y entre registros mediante el uso de corpora estandarizados y comparables.
- Soporta el descubrimiento de patrones (p. ej., preferencias semánticas, marcadores de registro) que serían difíciles de predecir sin datos.
Aplicaciones
- Estudiar patrones de frecuencia y uso de verbos frasales en inglés (p. ej., 'put up with', 'run into') para desarrollar materiales de enseñanza graduados por frecuencia.
- Analizar patrones de colocación para mejorar la traducción automática asegurando que la salida respete las preferencias naturales de co-ocurrencia de palabras.
- Investigar el cambio lingüístico a lo largo del tiempo comparando frecuencias de palabras y colocaciones en corpora diacrónicos (p. ej., Google Books Ngram Viewer).
- Documentar lenguas en peligro de extinción mediante la construcción de corpora pequeños y especializados y su análisis para crear diccionarios y gramáticas.
- Estudiar la variación de registro en inglés (académico, noticias, conversación) para comprender cómo el vocabulario y la sintaxis difieren entre contextos sociales.
Cómo funciona
Cómo funciona
Compilar una colección grande y representativa de textos (típicamente millones de palabras) en formato digital, asegurando diversidad entre géneros, registros y hablantes/escritores.
Tokenizar (dividir en palabras), anotar con etiquetas de categoría gramatical (POS tagging) y, opcionalmente, añadir anotaciones sintácticas o semánticas (análisis sintáctico, reconocimiento de entidades nombradas).
Utilizar software de concordancias para extraer todas las ocurrencias de palabras o frases objetivo, contar frecuencias, calcular colocaciones y generar listas de frecuencias y distribuciones.
Aplicar métodos estadísticos (análisis de frecuencia, pruebas chi-cuadrado, métricas de colocación) para identificar patrones, medir la fuerza de asociación y modelar la variación del lenguaje.
Extraer conclusiones sobre la estructura del lenguaje, patrones de uso, variación dialectal y de registro, y validar predicciones teóricas contra evidencia empírica.
Errores comunes
- Asumir que la frecuencia del corpus refleja directamente la aceptabilidad gramatical. Los patrones ausentes pueden estar marcados pragmáticamente en lugar de ser agramaticales; la baja frecuencia puede reflejar el contexto del discurso, no la imposibilidad lingüística.
- Ignorar los errores de anotación y tratar los datos etiquetados automáticamente como estándar de oro. Validar las anotaciones manualmente, especialmente para análisis críticos.
- Generalizar en exceso a partir de un corpus al lenguaje en general. La composición del corpus importa; los resultados del British National Corpus pueden no generalizarse al inglés hablado en otras regiones.
- Confundir correlación con causalidad en patrones de colocación. Dos palabras pueden co-ocurrir frecuentemente debido al tema (p. ej., 'nieve' y 'invierno') en lugar de dependencia semántica o gramatical.
Preguntas frecuentes
¿Qué tan grande debe ser un corpus?
Depende de su pregunta de investigación. Para fenómenos de alta frecuencia (palabras comunes, tipos de oraciones básicas), decenas de miles de palabras son suficientes. Para fenómenos raros o variación detallada, pueden ser necesarias millones de palabras. Una regla general: debe tener al menos 30-50 ocurrencias de su fenómeno objetivo para un análisis estadístico básico. Sin embargo, incluso los corpora especializados pequeños (miles de palabras) son valiosos para la documentación de lenguas en peligro de extinción.
¿Qué es una concordancia?
Una concordancia es una lista de todas las ocurrencias de una palabra o frase objetivo, típicamente mostrada en contexto (generalmente una o dos líneas a cada lado). El objetivo está centrado para facilitar el escaneo. Las concordancias revelan colocaciones (palabras que aparecen regularmente cerca del objetivo), variación de registro y patrones sintácticos. El software moderno de corpus genera concordancias con recuentos de frecuencia y opciones de ordenación.
¿Cómo mido la fuerza de la colocación?
Varias métricas cuantifican la fuerza de la colocación (asociación). La Información Mutua (MI) mide la desviación de la co-ocurrencia aleatoria; la Razón de Verosimilitud Logarítmica (LLR) es una prueba estadística; la puntuación T y Delta-P miden la asociación de manera diferente. Ninguna métrica es universalmente la mejor; diferentes métricas se adaptan a diferentes preguntas de investigación. Inspeccione las frecuencias brutas junto con las métricas para evitar artefactos donde las colocaciones de baja frecuencia muestran alta asociación por casualidad.
¿Puede la evidencia del corpus probar que una oración es agramatical?
No. La ausencia en un corpus muestra que es infrecuente o ausente en esa colección particular, no que sea imposible en el idioma. Las oraciones pueden ser raras debido a restricciones pragmáticas o discursivas, no a la gramaticalidad. Combine la evidencia del corpus con juicios de aceptabilidad, datos experimentales y razonamiento teórico para extraer conclusiones sobre la gramaticalidad.
Métodos relacionados
Fuentes
Sinclair, J. M. (1991). Corpus, Concordance, Collocation. Oxford: Oxford University Press.
Abrir referencia de la publicaciónCopiado.McEnery, T., & Hardie, A. (2012). Corpus Linguistics: Method, Theory and Practice. Cambridge: Cambridge University Press.
Abrir referencia DOICopiado.Biber, D., Conrad, S., & Reppen, R. (2006). Corpus Linguistics: Investigating Language Structure and Use. Cambridge: Cambridge University Press.
Abrir referencia de la publicaciónCopiado.