Metin Sıklığı Analizi — Kelime ve N-gram Sayımları
- Ortaya koyan
- George K. Zipf (frequency-distribution foundation)
- Yıl
- 1949
- Tür
- Descriptive text-mining analysis
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Metin sıklığı analizi, bir derlemde kelimelerin, n-gram'ların ve ifadelerin ne sıklıkla geçtiğini sayarak içerik örüntülerini ve baskın temaları ortaya çıkaran betimsel bir metin madenciliği yöntemidir.
George K. Zipf'in (1949) formüle ettiği, az sayıda terimin çok sık geçtiği, çoğunun ise nadir olduğu sıklık dağılımı içgörüsüne dayanır ve nicel metin analizine en temel ve yaygın kullanılan giriş noktalarından biridir.
Yöntemin mantığı
Bir metin külliyatını okuduğunuzda, tekrar tekrar karşınıza çıkan kelimeler size ne hakkında olduğunu söyler. Metin sıklığı analizi bu sezgiyi açık ve tekrarlanabilir hale getirir: göz atma yerine, her bir jetonu, her iki veya üç kelimelik diziyi ve her tekrarlanan ifadeyi sayar, ardından ne sıklıkla göründüklerine göre sıralarsınız. Sonuç, öznel bir okuma olmaksızın, bir derlemin baskın kelime dağarcığını ve temalarını bir bakışta ortaya çıkaran bir sıklık tablosudur.
Tarih
Metin sıklığı analizi, kelime sıklıklarının az sayıda kelimenin çok sık geçtiği ve çoğunun nadir olduğu karakteristik bir dağılımı izlediği, İnsan Davranışı ve En Az Çaba İlkesi'nde (Human Behavior and the Principle of Least Effort) Zipf'in (1949) gözlemine dayanmaktadır. Manning ve Schütze (1999), İstatistiksel Doğal Dil İşleme Temelleri'nde (Foundations of Statistical Natural Language Processing), sıklık sayımını, TF-IDF ve konu modellemesi gibi daha zengin yöntemlerin üzerine inşa edildiği istatistiksel NLP'nin temel bir aracı olarak belirlemişlerdir.
Ne zaman kullanılır?
Metin verileriniz olduğunda ve baskın kelime dağarcığı, n-gram'lar veya ifadeler hakkında betimsel veya keşifsel bir ilk bakış istediğinizde metin sıklığı analizi kullanın. Kesitsel ve boylamsal derlemlere uygundur ve yalnızca mütevazı miktarda metin (yaklaşık 10 belge veya daha fazla) gerektirir. Uygun ön işleme — jetonlama, durdurma kelimesi kaldırma ve indirgeme — önce yapılmalıdır ve derlem boyutu ve dil çeşitliliğinin sıklıkların güvenilirliğini etkilediğini unutmamalısınız.
Sınırlar ve dikkat edilmesi gerekenler
- Derlem boyutu ve dil çeşitliliği sıklıkların güvenilirliğini etkiler.
- Ham sayımlar yüzey kelime dağarcığını yakalar ancak bağlamı, anlamı veya duygu durumunu yakalamaz.
- Sonuçlar, durdurma kelimesi listeleri ve indirgeme gibi ön işleme seçimlerine büyük ölçüde bağlıdır.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Basit, şeffaf ve yorumlanması kolaydır — nicel metin analizine en temel giriş noktasıdır.
- Ham sayımlardan doğrudan içerik örüntülerini ve baskın temaları ortaya çıkarır, etiketlenmiş eğitim verisi gerektirmez.
- Hem kelimeler, hem n-gram'lar hem de ifadeler üzerinde çalışır, bu nedenle farklı anlam birimlerine uyum sağlar.
Uygulama alanları
- Bir belge koleksiyonunun baskın kelime dağarcığını ve temalarını belirleme.
- Anket yanıtları veya mülakat transkriptlerindeki n-gram ve ifade örüntülerini keşfetme.
- Sosyal, sağlık, eğitim, mühendislik ve işletme derlemlerindeki içeriği profilleme.
- Daha gelişmiş metin madenciliği yöntemlerinden önce betimsel bir ilk adım olarak hizmet etme.
Nasıl çalışır?
Nasıl çalışır?
Ham metin, herhangi bir sayım yapılmadan önce hazırlanır: kelimelere jetonlanır, durdurma kelimeleri ('the' veya 'and' gibi yüksek sıklıkta işlev kelimeleri) kaldırılır ve kalan jetonlar ortak bir temel forma indirgenir. Tutarlı ön işleme, nihai sayımların dilbilgisel dolgu maddeleri tarafından domine edilmek yerine karşılaştırılabilir ve anlamlı olmasını sağlayan şeydir.
İlgilenilen her birim derlem boyunca sayılır. Tek jetonlar kelime sıklığı için sayılır, bitişik jeton dizileri n-gram sıklığı (bigramlar, trigramlar) için sayılır ve tekrarlanan çok kelimeli ifadeler ifade olarak sayılır. Bu aşamanın çıktısı, her farklı terim için ham bir sayıdır.
Sayılmış terimler en sık olandan en az sık olana doğru sıralanır, tipik olarak en yaygın liste olarak raporlanır. Bu sıralanmış görünüm, karakteristik dağılımın ortaya çıktığı yerdir — çok sık geçen terimlerin küçük bir başı ve nadir olanların uzun bir kuyruğu, Zipf yasasına uygundur.
Sıralanmış sıklıklar içerik örüntüleri ve baskın temalar için okunur. Derlemin boyutu ve dil çeşitliliği, sayımların ne kadar güvenilir olduğunu etkiler, bu nedenle yorumlama, herhangi bir tek sayımı aşırı okumak yerine derlem ölçeğini ve nadir kelimelerin uzun kuyruğunu hesaba katar.
Sık yapılan hatalar
- Ön işlemeyi atlamak, yüksek sıklıkta işlev kelimelerinin ve eğik varyantların tabloyu domine etmesine ve gerçek içeriği gizlemesine izin verir.
- Çok küçük veya çok dar bir derlemden sıklıkları okumak, genelleme yapmayan kararsız sayımlara yol açar.
- Uzun kuyruğu aşırı yorumlamak — nadir terimler (Zipfian kuyruğu) az sıklık sinyali taşır ve kolayca gürültü veya anlam olarak yanlış yorumlanabilir.
- Farklı boyutlardaki derlemler arasındaki ham sayımları normalleştirmeden karşılaştırmak yanıltıcı sonuçlara yol açar.
Sık sorulan sorular
Metin sıklığı analizi aslında neyi sayar?
Bir derlemde tek tek kelimelerin, bitişik kelime dizilerinin (bigramlar ve trigramlar gibi n-gram'lar) ve tekrarlanan ifadelerin ne sıklıkla geçtiğini sayar, ardından bunları sıralar. Çıktı, baskın terimleri ve temaları ortaya çıkaran bir sıklık tablosudur.
Neden önce metni ön işlemeden geçirmem gerekiyor?
Jetonlama, durdurma kelimesi kaldırma ve indirgeme olmadan, yüksek sıklıkta işlev kelimeleri ve aynı kelimenin eğik varyantları sayımları domine eder ve gerçek içeriği gizler. Tutarlı ön işleme, sıklıkların karşılaştırılabilir ve anlamlı olmasını sağlar.
Zipf yasası nedir ve neden burada önemlidir?
Zipf yasası, az sayıda kelimenin çok sık geçtiği, çoğunun ise nadir olduğu ve uzun bir kuyruk oluşturduğu tipik deseni tanımlar. Sıralanmış sıklık listesinin şeklini açıklar ve nadir kelime kuyruğunu aşırı okumaya karşı uyarır.
Ne kadar metne ihtiyacım var?
Yaklaşık on belge veya daha fazla mütevazı bir derlem işe yarar, ancak derlem boyutu ve dil çeşitliliği sıklıkların ne kadar güvenilir olduğunu etkiler — daha büyük ve daha temsili derlemler daha kararlı sayımlar verir.
İlgili yöntemler
Kaynaklar
Zipf, G. K. (1949). Human Behavior and the Principle of Least Effort. Addison-Wesley.
Yayın kaynağını açKopyalandı.Manning, C. D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.
ISBN: 9780262133609Kopyalandı.