Корпусная лингвистика
- Автор метода
- John Sinclair
- Год
- 1980
- Тип
- Empirical process pipeline
- Семейство
- Empirical Linguistics
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Корпусная лингвистика — это исследование языка на основе больших, репрезентативных коллекций текстов (корпусов), обрабатываемых компьютером.
Разработанный Джоном Синклером и другими, этот метод использует статистический анализ, конкорданс и вычислительные инструменты для изучения закономерностей фактического использования языка. Корпусная лингвистика изменила наше понимание английского и других языков, выявив частотные закономерности, предпочтения в коллокациях и вариации в регистрах, которые ранее были скрыты. Она служит теоретической лингвистике, прикладному языковому обучению и обработке естественного языка.
Интуиция метода
Лингвистический корпус подобен большой библиотеке реальной речи и письма, тщательно отобранной и организованной. Вместо того чтобы полагаться на придуманные предложения или изолированные наблюдения, корпусные лингвисты просят компьютер найти все вхождения слова или фразы, подсчитать частоты, измерить, какие слова имеют тенденцию появляться вместе, и сравнить закономерности в разных типах текста (газеты против романов, формальная речь против неформальной). Закономерности, которые проявляются в миллионах слов, часто опровергают теоретические предположения или подтверждают прогнозы с количественной строгостью.
История
Джон Синклер был пионером корпусной лингвистики в 1960-1980-х годах, создав Survey of English Usage, а затем проект COBUILD. Цифровое хранение и вычислительная мощность обеспечили экспоненциальный рост в 1990-2000-х годах. Крупные корпусы, такие как Британский национальный корпус, Корпус современного американского английского и набор данных Google Books Ngram, преобразили эту область. Сегодня корпусные методы являются стандартными в лингвистике, прикладных языковых исследованиях и NLP.
Когда применять
Используйте корпусную лингвистику для исследования фактических моделей использования языка, для проверки теоретических гипотез эмпирическими данными, для понимания вариаций в регистрах и диалектах или для разработки языковых ресурсов для приложений NLP. Корпусы необходимы для изучения высокочастотных явлений, диалектных вариаций, языковых изменений и лексической семантики. Они дополняют экспериментальные и интроспективные методы.
Ограничения и замечания
- Корпусы являются конечными выборками; низкочастотные явления могут быть представлены недостаточно, и отсутствие в корпусе не доказывает невозможность формы.
- Аннотация (POS-тегирование, парсинг) вносит ошибки, которые распространяются дальше по цепочке. Ручная аннотация дорога; автоматическая аннотация несовершенна.
- Результаты отражают состав корпуса (например, письменные корпусы могут не в равной степени представлять устную речь); смещения в отборе влияют на выводы.
- Частотные закономерности не раскрывают напрямую компетенцию; высокая частота может отражать факторы исполнения, такие как дискурсивные конвенции, а не грамматическую структуру.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Предоставляет эмпирические доказательства языковых закономерностей, основанные на фактическом использовании, уменьшая зависимость от интроспекции и придуманных предложений.
- Позволяет проводить количественный анализ частоты, коллокации и вариации на больших, разнообразных наборах данных.
- Облегчает межъязыковое и межрегистровое сравнение с использованием стандартизированных, сопоставимых корпусов.
- Поддерживает обнаружение закономерностей (например, семантических предпочтений, маркёров регистра), которые было бы трудно предсказать без данных.
Применение
- Изучение частоты и моделей использования английских фразовых глаголов (например, 'put up with', 'run into') для разработки учебных материалов, градуированных по частоте.
- Анализ коллокационных паттернов для улучшения машинного перевода путем обеспечения того, чтобы результат соответствовал естественным предпочтениям совместного появления слов.
- Исследование языковых изменений во времени путем сравнения частот слов и коллокаций в диахронических корпусах (например, Google Books Ngram Viewer).
- Документирование исчезающих языков путем создания небольших специализированных корпусов и их анализа для составления словарей и грамматик.
- Изучение вариаций регистра в английском языке (академический, новостной, разговорный) для понимания того, как лексика и синтаксис различаются в разных социальных контекстах.
Как это работает
Как это работает
Скомпилируйте большую, репрезентативную коллекцию текстов (обычно миллионы слов) в цифровой форме, обеспечивая разнообразие по жанрам, регистрам и авторам/говорящим.
Токенизируйте (разделите на слова), аннотируйте частями речи и, при необходимости, добавьте синтаксические или семантические аннотации (парсинг, распознавание именованных сущностей).
Используйте программное обеспечение для конкорданса, чтобы извлечь все вхождения целевых слов или фраз, подсчитать частоты, вычислить коллокации и сгенерировать частотные списки и распределения.
Примените статистические методы (частотный анализ, критерии хи-квадрат, метрики коллокации) для выявления закономерностей, измерения силы ассоциации и моделирования языковой вариации.
Сделайте выводы о структуре языка, моделях использования, вариациях диалектов и регистров, а также проверьте теоретические прогнозы на основе эмпирических данных.
Частые ошибки
- Предположение, что частота в корпусе напрямую отражает грамматическую приемлемость. Отсутствующие закономерности могут быть прагматически маркированы, а не неграмматичны; низкая частота может отражать дискурсивный контекст, а не лингвистическую невозможность.
- Игнорирование ошибок аннотации и трактовка автоматически размеченных данных как золотого стандарта. Проверяйте аннотации вручную, особенно для критических анализов.
- Чрезмерное обобщение данных одного корпуса на язык в целом. Состав корпуса имеет значение; результаты Британского национального корпуса могут не обобщаться на разговорный английский в других регионах.
- Путаница корреляции с причинно-следственной связью в коллокационных паттернах. Два слова могут часто встречаться вместе из-за темы (например, 'снег' и 'зима'), а не из-за семантической или грамматической зависимости.
Часто задаваемые вопросы
Насколько большим должен быть корпус?
Это зависит от вашего исследовательского вопроса. Для высокочастотных явлений (распространенные слова, базовые типы предложений) достаточно десятков тысяч слов. Для редких явлений или детальных вариаций могут потребоваться миллионы слов. Хорошее эмпирическое правило: у вас должно быть не менее 30-50 вхождений целевого явления для базового статистического анализа. Однако даже небольшие специализированные корпусы (тысячи слов) ценны для документирования исчезающих языков.
Что такое конкорданс?
Конкорданс — это список всех вхождений целевого слова или фразы, обычно показанных в контексте (обычно одна или две строки с каждой стороны). Целевое слово центрируется для удобства сканирования. Конкордансы выявляют коллокации (слова, которые регулярно появляются рядом с целевым), вариации регистра и синтаксические паттерны. Современное корпусное программное обеспечение генерирует конкордансы с подсчетом частот и опциями сортировки.
Как измерить силу коллокации?
Несколько метрик количественно определяют силу коллокации (ассоциации). Взаимная информация (MI) измеряет отклонение от случайного совместного появления; отношение логарифмических правдоподобий (LLR) — это статистический тест; T-score и Delta-P измеряют ассоциацию по-разному. Ни одна метрика не является универсально лучшей; разные метрики подходят для разных исследовательских вопросов. Проверяйте необработанные частоты наряду с метриками, чтобы избежать артефактов, когда низкочастотные коллокации показывают высокую ассоциацию случайно.
Может ли корпусное доказательство подтвердить, что предложение неграмматично?
Нет. Отсутствие в корпусе показывает, что оно нечасто или отсутствует в данной конкретной коллекции, а не то, что оно невозможно в языке. Предложения могут быть редкими из-за прагматических или дискурсивных ограничений, а не из-за грамматичности. Объединяйте корпусные данные с оценками приемлемости, экспериментальными данными и теоретическими рассуждениями, чтобы делать выводы о грамматичности.
Похожие методы
Источники
Sinclair, J. M. (1991). Corpus, Concordance, Collocation. Oxford: Oxford University Press.
Открыть ссылку на публикациюСкопировано.McEnery, T., & Hardie, A. (2012). Corpus Linguistics: Method, Theory and Practice. Cambridge: Cambridge University Press.
Открыть ссылку DOIСкопировано.Biber, D., Conrad, S., & Reppen, R. (2006). Corpus Linguistics: Investigating Language Structure and Use. Cambridge: Cambridge University Press.
Открыть ссылку на публикациюСкопировано.