İçeriğe atla
Arama sonuçlarına dön

Collocation Analysis — Kelime İlişkilendirmesi

Ortaya koyan
Church & Hanks
Yıl
1990
Tür
Statistical text-mining technique

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Collocation analysis (birlikte geçme analizi), rastgele birlikte oluşum yerine ilişkilendirme ölçütleri kullanarak sıkça birlikte geçen kelime çiftlerini veya ifadeleri tanımlayan istatistiksel bir metin madenciliği tekniğidir.

Church ve Hanks (1990) tarafından yapılan sözlükbilim çalışmalarında tanıtılan bu yöntem, bir derlemdeki anlam taşıyan çok kelimeli birimleri yüzeye çıkararak terminoloji çıkarımı ve dil analizi için kullanılır.

Yöntemin mantığı

Bazı kelimeler basitçe birbirine aittir — 'güçlü çay' doğal gelirken, anlamları benzer olmasına rağmen 'kuvvetli çay' gelmez. Collocation analysis, ham sıklığın ötesine bakarak, hangi kelime çiftlerinin şansın öngördüğünden çok daha sık birlikte göründüğünü sorar. Birlikte oluşumu istatistiksel olarak puanlayarak, yalnızca yaygın kelimeleri listelemek yerine bir metin yığınında gizlenmiş anlamlı ifadeleri ve sabit ifadeleri ortaya çıkarır.

Tarih

İstatistiksel bir teknik olarak Collocation analysis, Church ve Hanks (1990) tarafından kurulmuştur; bu kişiler sözlükbilim için kelime-ilişkilendirme normlarını ve karşılıklı bilgiyi tanıtmış, birlikte oluşum istatistiklerinin anlamlı kelime çiftlerini nasıl yüzeye çıkarabileceğini göstermişlerdir. Yaklaşım, Manning ve Schütze (1999) tarafından istatistiksel doğal dil işlemenin daha geniş alanında pekiştirilmiştir.

Ne zaman kullanılır?

Collocation analysis, makul büyüklükte bir metin derlemine (yaklaşık 50 veya daha fazla belge) sahip olduğunuzda ve tek kelimelik sıklıklar yerine anlamlı çok kelimeli birimler bulmak istediğinizde uygundur. Terminoloji çıkarımı ve dilbilimsel analizde keşifsel ve tanımlayıcı çalışmalar için uygundur. Kararlı birlikte oluşum istatistikleri için yeterli metin olduğunu varsayar ve durdurma kelimelerinin önceden temizlendiğini varsayar; çok az metinle ilişkilendirme puanları güvenilmez hale gelir.

Sınırlar ve dikkat edilmesi gerekenler

  • Birlikte oluşum istatistiklerinin kararlı olması için yeterince büyük bir derlem gerektirir.
  • Sonuçlar ön işlemeye büyük ölçüde bağlıdır — kalan durdurma kelimeleri ilişkileri bozar.
  • PMI gibi ölçütler, birkaç kez birlikte görünen nadir kelime çiftlerini aşırı ödüllendirebilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Tek kelimelik sıklık sayımlarının kaçırdığı anlamlı çok kelimeli ifadeleri ve sabit ifadeleri yüzeye çıkarır.
  • İstatistiksel ilişkilendirme ölçütleri, gerçek kelime ilişkilerini şans eseri bitişiklikten ayırır.
  • Terminoloji çıkarımı ve dil analizi için kavramsal olarak basittir ve uygulaması kolaydır.

Uygulama alanları

  • Terminoloji çıkarımı — bir derlemdeki alana özgü çok kelimeli terimleri tanımlama.
  • Sözlükbilim ve sözlük oluşturma, karakteristik kelime ilişkilerini yüzeye çıkarma.
  • Metin yığınında kelimelerin nasıl birleştiğinin dilbilimsel ve söylem analizi.
  • Aşağı akış metin madenciliği ve bilgi çıkarma görevleri için aday ifadelerin hazırlanması.

Nasıl çalışır?

Nasıl çalışır?

1

Derlem, token'larına ayrılır ve temizlenir, yüksek sıklıkta işlev kelimelerinin anlamlı ilişkileri boğmasını önlemek için durdurma kelimeleri (stop-words) kaldırılır. Tutarlı ön işleme, birlikte oluşum sayımlarını karşılaştırılabilir tutan ve sonuçta elde edilen birliktelikleri yorumlanabilir kılan şeydir.

2

Aday kelime çiftleri (tipik olarak bigramlar) oluşturulur ve her kelimenin bireysel sıklıklarının yanı sıra derlem boyunca birlikte oluşum sayıları toplanır. Bu sayımlar, her ilişkilendirme ölçütünün temelini oluşturan ham malzemedir.

3

Her aday çift, kelimelerin birlikte ne sıklıkta göründüğünü, şans eseri birlikte görülmelerinin ne sıklıkta bekleneceğiyle karşılaştıran nokta karşılıklı bilgi (pointwise mutual information - PMI) gibi istatistiksel bir ilişkilendirme ölçütüyle puanlanır. Yüksek bir puan, rastgele bir bitişiklik yerine gerçek bir ilişkiyi işaretler.

4

Aday birliktelikler, ilişkilendirme puanlarına göre sıralanır ve en güçlü çiftler seçilir (örneğin, PMI'ye göre en iyi N çift). Sonuç, terminoloji çıkarımı veya dil analizi için anlamlı kelime çiftleri ve çok kelimeli ifadelerin sıralı bir listesidir.

Sık yapılan hatalar

  • Durdurma kelimesi kaldırmayı atlamak, yüksek sıklıkta işlev kelimelerinin baskın olmasına ve gerçek birliktelikleri gömmesine neden olur.
  • Çok az metin üzerinde analiz çalıştırmak kararsız, güvenilmez ilişkilendirme puanları verir.
  • PMI, çok nadir çiftlerin puanlarını şişirir, bu nedenle sıralamadan önce minimum bir birlikte oluşum sayımı uygulayın.
  • Yüksek sıklıkta bir çifti ilişkilendirme testi olmadan bir birliktelik olarak ele almak, yaygınlığı anlamlı bir ilişkiyle karıştırır.

Sık sorulan sorular

Bir birliktelik tam olarak nedir?

Bir birliktelik, şansın öngördüğünden daha sık birlikte geçen bir kelime çifti veya dizisidir — 'güçlü çay' veya 'karar vermek' gibi alışılmış bir kelime ilişkisidir. Collocation analysis, bunları bir sıklık listesinden okumak yerine istatistiksel olarak birlikte oluşumu puanlayarak bulur.

Collocation analysis, sıklık analizinden nasıl farklıdır?

Sıklık analizi, kelimelerin veya n-gramların ne sıklıkta göründüğünü sayar. Collocation analysis daha ileri gider: ilişkilendirme ölçütü kullanarak iki kelimenin şans eseri beklenenden daha sık birlikte görünüp görünmediğini sorar, böylece yalnızca yaygın olanlardan ziyade anlamlı eşleşmeleri yüzeye çıkarır.

PMI nedir ve neden kullanılır?

Nokta karşılıklı bilgi (PMI), iki kelimenin birlikte ne sıklıkta göründüğünü, bağımsız olarak birlikte görülmelerinin ne sıklıkta bekleneceğiyle karşılaştırır. Yüksek bir PMI, güçlü bir ilişkiyi işaretler. PMI nadir çiftleri aşırı ödüllendirebileceğinden, sıralamadan önce genellikle minimum bir birlikte oluşum sayısı uygulanır.

Ne kadar metne ihtiyacım var?

Teknik, birlikte oluşum sayılarının kararlı olması için makul büyüklükte bir derlem — yaklaşık 50 veya daha fazla belge — bekler. Çok az metinle, ilişkilendirme puanları dalgalanır ve çıkarılan birliktelikler güvenilmez hale gelir.

İlgili yöntemler

Kaynaklar

  1. Church, K.W. & Hanks, P. (1990). Word Association Norms, Mutual Information, and Lexicography. Computational Linguistics, 16(1), 22-29.

    Yayın kaynağını aç
    Kopyalandı.
  2. Manning, C.D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.

    ISBN: 9780262133609
    Kopyalandı.