N-gram Dil Modeli
- Tür
- Statistical language model
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Bir n-gram dil modeli, bir sonraki kelimenin olasılığını yalnızca önceki n−1 kelimeye bakarak tahmin eden istatistiksel bir modeldir.
Jurafsky ve Martin (Speech and Language Processing) tarafından ayrıntılı olarak açıklanan bu model, metin üretimi, yazım düzeltme ve konuşma tanıma için temel altyapıyı sağlar.
Yöntemin mantığı
Dil sıralıdır: az önce gördüğünüz kelimeler, bir sonrakini güçlü bir şekilde sınırlar. N-gram modeli, tüm bir cümle üzerinde akıl yürütmek yerine, yalnızca son birkaç kelimenin bir sonrakini tahmin etmek için önemli olduğu yönünde basitleştirici bir varsayımda bulunur. Bir eğitim derleminde kelime dizilerinin ne sıklıkla göründüğünü sayar ve bu sayıları olasılıklara dönüştürür, böylece 'teşekkür ederim çok' gibi bir ifade, 'fazla'yı olası bir devam olarak yapar.
Tarih
N-gram yaklaşımı, istatistiksel doğal dil işlemenin uzun süredir devam eden bir temel taşıdır ve Jurafsky ve Martin'in Speech and Language Processing'inde temel olarak ele alınır. Önemli bir pratik endişe her zaman düzeltme olmuştur: Chen ve Goodman'ın (1999) ampirik çalışması düzeltme tekniklerini karşılaştırmış ve Kneser-Ney gibi yerleşik yöntemleri görülmeyen dizileri ele almak için güçlü seçenekler olarak belirlemiştir. N-gram modelleri, sinirsel dil modelleri baskın hale gelmeden önce uzun süre standart olarak hizmet etmiştir.
Ne zaman kullanılır?
Makul derecede büyük bir metin derlemine (kaynak yaklaşık 100 belge önerir) ve kelime dizilerini tahmin etme veya açıklama olarak çerçevelenmiş bir göreve (otomatik tamamlama, yazım düzeltme veya bir temel dil modeli olarak) sahip olduğunuzda bir n-gram modeli kullanın. Güvenilir sayımlar tahmin etmek için yeterli eğitim metnine ihtiyaç duyar ve görülmeyen dizilerin seyrekliklerini ele almak için düzeltme uygulanmalıdır.
Sınırlar ve dikkat edilmesi gerekenler
- Yalnızca kısa menzilli bağlamı (önceki n−1 kelime) yakalar ve uzun mesafeli bağımlılıkları modelleyemez.
- Veri seyrekliklerinden muzdariptir: çoğu kelime dizisi görülmez, bu nedenle düzeltme zorunludur.
- Model boyutu ve belleği n arttıkça hızla büyür, daha yüksek dereceli n-gramlar giderek daha seyrek hale gelir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Basit, hızlı ve yorumlanabilir — olasılıklar doğrudan gözlemlenen sayımlardan gelir.
- Metin üretimi, yazım düzeltme ve konuşma tanıma için güçlü, şeffaf bir temel.
- Sinirsel dil modellerine kıyasla düşük hesaplama maliyeti, özel donanım gerektirmez.
Uygulama alanları
- Öğrenilmiş bir kelime dizisi dağılımından metin üretimi ve otomatik tamamlama.
- Aday dizilerin ne kadar olası olduğunu puanlayarak yazım ve dilbilgisi düzeltme.
- Bir dil modelinin rakip transkripsiyon hipotezlerini sıraladığı konuşma tanıma.
- Dizi olasılıklarını tahmin etmekten faydalanan herhangi bir görev için hafif temel modeller.
Nasıl çalışır?
Nasıl çalışır?
Eğitim derlemi belirteçlere ayrılır ve dizilerin başlangıç ve sonlarının açıkça modellenebilmesi için cümleler doldurulur. Ardışık n belirteçten oluşan her örtüşen pencere, modelin sayacağı ve puanlayacağı birim olan bir n-gram haline gelir.
Model, her n-gramın ve (n−1) kelimelik öneklerinin derlemde ne sıklıkla geçtiğini sayar. N-gram sayısını önek sayısına bölmek, önceki n−1 kelime verildiğinde son kelimenin koşullu olasılığını verir — modelin temel tahminini.
Çünkü olası kelime dizilerinin çoğu hiçbir sonlu derlemde görünmez, ham sayımlar görülmeyen n-gramlara sıfır olasılık atar (seyreklik sorunu). Laplace ekleme-bir veya Kneser-Ney gibi düzeltme yöntemleri, görülmeyen ancak makul dizilerin küçük, sıfır olmayan bir olasılık alması için olasılık kütlesini yeniden dağıtır. Bu adım esastır — olmadan model gerçek metinde bozulur.
n−1 kelimelik bir bağlam verildiğinde, model bir sonraki kelime üzerinde bir olasılık dağılımı döndürür, buradan en olası devam seçilebilir veya metin üretilebilir. Aynı mekanizma, gözlemlenen bir cümlenin ne kadar olası olduğunu puanlar, bu da yazım düzeltme ve konuşma tanımayı destekleyen şeydir.
Sık yapılan hatalar
- Düzeltmeyi atlamak, görülmeyen n-gramları sıfır olasılıkta bırakır, bu da modeli gerçek, görülmeyen metinde çökerter.
- Çok küçük bir derlemde (yaklaşık 100 belgenin altında) eğitim yapmak güvenilmez sayımlar verir.
- n'yi çok büyük seçmek sayımları seyrek ve modeli kırılgan hale getirir; n'yi çok küçük seçmek faydalı bağlamı kaybettirir.
- Cümle sınırlarını doldurmamak, dizilerin başlangıç ve sonlarını yanlış ele alır.
Sık sorulan sorular
N-gram'daki 'n' ne anlama gelir?
Birlikte ele alınan ardışık kelime sayısıdır. Bir bigram (n=2), bir sonraki kelimeyi tek önceki kelimeye koşullandırır, bir trigram (n=3) önceki iki kelimeye. Daha büyük n daha fazla bağlam yakalar ancak çok daha fazla eğitim verisine ihtiyaç duyar ve seyrek hale gelir.
Düzeltme neden gereklidir?
Sonlu bir derlem hiçbir zaman her makul kelime dizisini içeremez, bu nedenle birçok geçerli n-gram sıfır sayımına sahiptir ve sıfır olasılık alır. Laplace ekleme-bir veya Kneser-Ney gibi düzeltme yöntemleri, modelin yeni metinde bozulmaması için görülmeyen dizilere küçük bir olasılık yeniden atar.
Ne kadar eğitim verisine ihtiyacım var?
Kaynak, minimum olarak yaklaşık 100 belge önerir. Daha fazla metin daha güvenilir sayımlar verir; özellikle daha yüksek dereceli n-gramlar, seyreklikten kaçınmak için önemli ölçüde daha fazla veriye ihtiyaç duyar.
Bir n-gram modeli, bir sinirsel dil modelinden nasıl farklıdır?
Bir n-gram modeli, bir sonraki kelime olasılıklarını sabit bir önceki kelime penceresi üzerindeki sayımlardan doğrudan tahmin eder, bu da onu basit, hızlı ve yorumlanabilir kılar. Sinirsel modeller dağıtılmış temsiller öğrenir ve daha yüksek hesaplama maliyetiyle daha uzun bağlamı yakalar. N-gramlar, kullanışlı, şeffaf bir temel olarak kalır.
İlgili yöntemler
Kaynaklar
Jurafsky, D. & Martin, J.H. (2023). Speech and Language Processing, 3rd ed.
Yayın kaynağını açKopyalandı.Chen, S.F. & Goodman, J. (1999). An Empirical Study of Smoothing Techniques for Language Modeling. Computer Speech & Language, 13(4), 359-394.
DOI kaynağını açKopyalandı.