İçeriğe atla
Arama sonuçlarına dön

Derlem Dilbilimi

Ortaya koyan
John Sinclair
Yıl
1980
Tür
Empirical process pipeline
Aile
Empirical Linguistics

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Derlem dilbilimi, büyük, temsili metin koleksiyonlarına (derlemler) dayalı, bilgisayar aracılığıyla işlenen dilin incelenmesidir.

John Sinclair ve diğerleri tarafından öncülüğü yapılan bu yöntem, istatistiksel analiz, dizinleme (concordancing) ve hesaplamalı araçları kullanarak gerçek dil kullanımındaki örüntüleri incelemektedir. Derlem dilbilimi, İngilizce ve diğer diller hakkındaki anlayışımızı dönüştürerek, daha önce gizli kalmış sıklık örüntülerini, birlikte geçme tercihlerini ve kayıt (register) değişimlerini ortaya çıkarmıştır. Teorik dilbilime, uygulamalı dil öğretimine ve doğal dil işlemeye hizmet etmektedir.

Yöntemin mantığı

Bir dilbilimsel derlem, dikkatle seçilmiş ve organize edilmiş büyük bir gerçek konuşma ve yazı kütüphanesi gibidir. İcat edilmiş cümlelere veya izole gözlemlere dayanmak yerine, derlem dilbilimcileri bir kelimenin veya ifadenin tüm örneklerini bulmak, sıklıkları saymak, hangi kelimelerin birlikte görünme eğiliminde olduğunu ölçmek ve farklı metin türleri (gazeteler veya romanlar, resmi veya gündelik konuşma) arasındaki örüntüleri karşılaştırmak için bilgisayara sorarlar. Milyonlarca kelime boyunca ortaya çıkan örüntüler genellikle teorik varsayımları altüst eder veya nicel bir titizlikle tahminleri doğrular.

Tarih

John Sinclair, 1960'lar-1980'lerde İngilizce Kullanım Anketi'ni ve daha sonra COBUILD projesini inşa ederek derlem dilbilimine öncülük etti. Dijital depolama ve hesaplama gücü, 1990'lar-2000'lerde üstel büyümeyi sağladı. İngiliz Ulusal Derlemi, Çağdaş Amerikan İngilizcesi Derlemi ve Google Kitaplar Ngram veri kümesi gibi büyük derlemler alanı dönüştürdü. Bugün, derlem yöntemleri dilbilimde, uygulamalı dil çalışmalarında ve NLP'de standarttır.

Ne zaman kullanılır?

Gerçek dil kullanım örüntülerini araştırmak, teorik hipotezleri ampirik verilerle test etmek, kayıtlar ve lehçeler arasındaki değişimi anlamak veya NLP uygulamaları için dil kaynakları geliştirmek amacıyla derlem dilbilimini kullanın. Derlemler, yüksek sıklıkta görülen olguları, lehçe değişimini, dil değişimini ve sözcüksel anlam bilimini incelemek için esastır. Deneysel ve içe dönük yöntemleri tamamlarlar.

Sınırlar ve dikkat edilmesi gerekenler

  • Derlemler sonlu örneklemlerdir; düşük sıklıkta görülen olgular yeterince temsil edilmeyebilir ve bir derlemden yokluğu bir biçimin imkansız olduğunu kanıtlamaz.
  • Ek açıklama (kelime türü etiketleme, ayrıştırma) aşağı akışa yayılan hatalar üretir. Manuel ek açıklama pahalıdır; otomatik ek açıklama kusurludur.
  • Sonuçlar derlem kompozisyonunu yansıtır (örneğin, yazılı derlemler konuşma dilini eşit olarak temsil etmeyebilir); seçimdeki yanlılıklar bulguları etkiler.
  • Sıklık örüntüleri doğrudan yetkinliği ortaya koymaz; yüksek sıklık, dilbilgisel yapıdan ziyade söylem gelenekleri gibi performans faktörlerini yansıtabilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • İçe dönüklüğe ve icat edilmiş cümlelere olan bağımlılığı azaltarak, gerçek kullanıma dayalı dil örüntüleri için ampirik kanıt sağlar.
  • Büyük, çeşitli veri kümeleri boyunca sıklık, birlikte geçme ve değişim analizi yapılmasına olanak tanır.
  • Standartlaştırılmış, karşılaştırılabilir derlemler kullanarak diller arası ve kayıtlar arası karşılaştırmayı kolaylaştırır.
  • Veri olmadan tahmin edilmesi zor olan örüntülerin (örneğin, anlamsal tercihler, kayıt belirteçleri) keşfedilmesini destekler.

Uygulama alanları

  • Öğretim materyallerini sıklığa göre derecelendirmek için İngilizce deyimsel fiillerin (örneğin, 'put up with', 'run into') sıklık ve kullanım örüntülerini inceleme.
  • Çıktının doğal kelime birlikte geçme tercihlerini gözettiğinden emin olarak makine çevirisini iyileştirmek için birlikte geçme örüntülerini analiz etme.
  • Diyakronik derlemler (örneğin, Google Kitaplar Ngram Görüntüleyici) boyunca kelime sıklıklarını ve birlikte geçmeleri karşılaştırarak zaman içindeki dil değişimini araştırma.
  • Küçük, özel derlemler oluşturarak ve sözlükler ile dilbilgileri oluşturmak için bunları analiz ederek nesli tükenmekte olan dilleri belgeleme.
  • Kelime dağarcığı ve sözdiziminin sosyal bağlamlar boyunca nasıl farklılaştığını anlamak için İngilizce'deki kayıt değişimini (akademik, haber, sohbet) inceleme.

Nasıl çalışır?

Nasıl çalışır?

1

Dijital biçimde, türler, kayıtlar ve konuşmacılar/yazarlar arasında çeşitliliği sağlayan, büyük, temsili bir metin koleksiyonu derleyin (tipik olarak milyonlarca kelime).

2

Belirteçlere ayırın (kelimelere ayırın), kelime türü etiketleriyle ek açıklama ekleyin ve isteğe bağlı olarak sözdizimsel veya anlamsal ek açıklamalar ekleyin (ayrıştırma, adlandırılmış varlık tanıma).

3

Hedef kelimelerin veya ifadelerin tüm örneklerini çıkarmak, sıklıkları saymak, birlikte geçmeleri hesaplamak ve sıklık listeleri ile dağılımlar üretmek için dizinleme yazılımı kullanın.

4

Örüntüleri belirlemek, ilişki gücünü ölçmek ve dil değişimini modellemek için istatistiksel yöntemler (sıklık analizi, ki-kare testleri, birlikte geçme metrikleri) uygulayın.

5

Dil yapısı, kullanım örüntüleri, lehçe ve kayıt değişimi hakkında sonuçlar çıkarın ve teorik tahminleri ampirik kanıtlara karşı doğrulayın.

Sık yapılan hatalar

  • Derlem sıklığının doğrudan dilbilgisel kabul edilebilirliği yansıttığı varsayımı. Yok olan örüntüler dilbilgisel olmamaktan ziyade pragmatik olarak işaretlenmiş olabilir; düşük sıklık dilbilimsel imkansızlık değil, söylem bağlamını yansıtabilir.
  • Ek açıklama hatalarını göz ardı ederek ve otomatik olarak etiketlenmiş verileri altın standart olarak ele alma. Özellikle kritik analizler için ek açıklamaları manuel olarak doğrulayın.
  • Bir derlemden dile genelleme yapma. Derlem kompozisyonu önemlidir; İngiliz Ulusal Derlemi'nden elde edilen sonuçlar, diğer bölgelerdeki konuşma İngilizcesine genellenmeyebilir.
  • Birlikte geçme örüntülerinde korelasyon ile nedenselliği karıştırma. İki kelime, anlamsal veya dilbilgisel bağımlılıktan ziyade konuya bağlı olarak sıkça birlikte görünebilir ('kar' ve 'kış' gibi).

Sık sorulan sorular

Bir derlemin ne kadar büyük olması gerekir?

Araştırma sorunuza bağlıdır. Yüksek sıklıkta görülen olgular (yaygın kelimeler, temel cümle türleri) için on binlerce kelime yeterlidir. Nadir olgular veya ayrıntılı değişim için milyonlarca kelime gerekebilir. Genel bir kural: temel istatistiksel analiz için hedef olgunuzun en az 30-50 örneğine sahip olmalısınız. Ancak, binlerce kelimelik küçük özel derlemler bile nesli tükenmekte olan dil belgeleri için değerlidir.

Bir dizinleme (concordance) nedir?

Bir dizinleme, tipik olarak bağlam içinde gösterilen (genellikle bir veya iki satır sağda ve solda) hedef bir kelimenin veya ifadenin tüm örneklerinin bir listesidir. Hedef, kolay tarama için ortalanmıştır. Dizinlemeler, birlikte geçmeleri (hedefin yakınında düzenli olarak görünen kelimeler), kayıt değişimini ve sözdizimsel örüntüleri ortaya çıkarır. Modern derlem yazılımları, sıklık sayımları ve sıralama seçenekleriyle dizinlemeler üretir.

Birlikte geçme gücü nasıl ölçülür?

Birkaç metrik, birlikte geçme gücünü (ilişkiyi) ölçer. Karşılıklı Bilgi (MI), rastgele birlikte geçmeden sapmayı ölçer; Log-Olasılık Oranı (LLR) istatistiksel bir testtir; T-skoru ve Delta-P farklı şekilde ilişkiyi ölçer. Tek bir metrik evrensel olarak en iyisi değildir; farklı metrikler farklı araştırma sorularına uygundur. Şans eseri düşük sıklıkta birlikte geçmelerin yüksek ilişki göstermesi durumundaki artefaktları önlemek için ham sıklıkları metriklerin yanında inceleyin.

Derlem kanıtı bir cümlenin dilbilgisel olmadığını kanıtlayabilir mi?

Hayır. Bir derlemden yokluğu, o belirli koleksiyonda nadir veya yok olduğunu gösterir, dilde imkansız olduğunu kanıtlamaz. Cümleler, dilbilgisellikten ziyade pragmatik veya söylem kısıtlamaları nedeniyle nadir olabilir. Dilbilgisellik hakkında sonuçlar çıkarmak için derlem kanıtlarını kabul edilebilirlik yargıları, deneysel veriler ve teorik akıl yürütme ile birleştirin.

İlgili yöntemler

Kaynaklar

  1. Sinclair, J. M. (1991). Corpus, Concordance, Collocation. Oxford: Oxford University Press.

    Yayın kaynağını aç
    Kopyalandı.
  2. McEnery, T., & Hardie, A. (2012). Corpus Linguistics: Method, Theory and Practice. Cambridge: Cambridge University Press.

    DOI kaynağını aç
    Kopyalandı.
  3. Biber, D., Conrad, S., & Reppen, R. (2006). Corpus Linguistics: Investigating Language Structure and Use. Cambridge: Cambridge University Press.

    Yayın kaynağını aç
    Kopyalandı.