Anahtar Kelime Çıkarma — Otomatik Anahtar Terim Belirleme
- Tür
- NLP text-mining task
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Anahtar kelime çıkarma, bir belgenin içeriğini en iyi temsil eden kelimeleri veya ifadeleri otomatik olarak tanımlayan bir doğal dil işleme (NLP) görevidir.
Metin tabanlı veriyi, TextRank (Mihalcea & Tarau, 2004) gibi istatistiksel, graf tabanlı yöntemlere veya KeyBERT (Grootendorst, 2020) gibi gömme (embedding) tabanlı yöntemlere dayanarak, kompakt, sıralanmış bir anahtar terim listesine dönüştürür.
Yöntemin mantığı
Uzun bir belge, anlamını tekrarlanan, ayırt edici birkaç terimde taşır, ancak bunları bulmak için her metni elle okumak ölçeklenemez. Anahtar kelime çıkarma bunu otomatik olarak yapar: metin boyunca kelimelerin nasıl kullanıldığına bakar ve belgenin ne hakkında olduğunu en iyi yakalayan birkaçını yüzeye çıkarır, en temsili terimlerin en üste çıkması için onları sıralar.
Tarih
Otomatik anahtar kelime çıkarma, graf tabanlı sıralama ile olgunlaştı: Mihalcea ve Tarau (2004), kelime eş-oluşum grafiği üzerinde PageRank benzeri bir algoritma uygulayarak anahtar terimleri yüzeye çıkaran TextRank'ı tanıttı. Alan daha sonra, aday ifadeleri belgeyle anlamsal benzerliklerine göre puanlayan, Grootendorst'un (2020) KeyBERT'i ile örneklendirilen gömme tabanlı yöntemlere doğru ilerledi.
Ne zaman kullanılır?
Anahtar kelime çıkarma, metin veriniz olduğunda ve içeriği açıklama veya keşif amacıyla temsili terimlerle özetlemek veya indekslemek istediğinizde uygundur. Metin, çıkarma işleminden önce ön işlenmelidir. İstatistiksel çıkarma yalnızca büyük bir derlem (corpus) üzerinde güvenilirdir; küçük bir derlemde (kabaca 100 belgenin altında) basit bir frekans analizi daha güvenli bir seçenektir ve hiç metin verisi olmadığında görev çalıştırılamaz — nitel içerik analizi alternatiftir.
Sınırlar ve dikkat edilmesi gerekenler
- İstatistiksel çıkarma küçük bir derlem üzerinde güvenilmezdir; kabaca 100 belgenin altında güvenilir değildir.
- Ön işlenmiş metin gerektirir; temizlemeyi atlamak aday terimlerin kalitesini düşürür.
- Çalışacak hiç metin verisi olmadığında çalıştırılamaz.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Uzun belgeleri otomatik olarak temsili terimlerin kompakt, sıralanmış bir listesine dönüştürür.
- Yaklaşımlar arasında esneklik: istatistiksel frekans, graf tabanlı TextRank veya gömme tabanlı KeyBERT tek bir işlem hattı altında.
- Düşük kullanım engeli, hem hızlı açıklama hem de bir derlemin daha derinlemesine keşfedilmesini destekler.
Uygulama alanları
- Arama ve erişim için temsili anahtar terimlerle belgeleri indeksleme ve etiketleme.
- Uzun metinlerin içeriğini bir bakışta özetleme.
- Belgelerin paylaştığı tekrarlanan temaları görmek için büyük derlemleri keşfetme.
- Konu keşfi ve içerik organizasyonu gibi sonraki görevleri destekleme.
Nasıl çalışır?
Nasıl çalışır?
Ham metin önce temizlenir ve standartlaştırılır — küçük harfe çevirme, gürültüyü kaldırma ve belgeyi analiz edilebilir birimlere ayırma. Bu ön işleme adımı gereklidir ve varsa alan özelinde bir sözlük, sonraki adımların kalitesini yükseltir.
Temizlenmiş metinden yöntem, anahtar kelime olarak makul bir şekilde hizmet edebilecek tek kelimeler ve kısa ifadelerden (n-gramlar) oluşan bir aday terim havuzu oluşturur. Bu aday kümesi, puanlama aşamasının sıralayacağı kümedir.
Her aday, belgeyi ne kadar iyi temsil ettiğine göre puanlanır. İstatistiksel bir yaklaşım terim sıklığını ağırlıklandırır, TextRank gibi graf tabanlı bir yaklaşım terimleri bir eş-oluşum (co-occurrence) grafındaki bağlantılarına göre sıralar ve KeyBERT gibi gömme tabanlı bir yaklaşım adayları belgeyle anlamsal benzerliklerine göre puanlar.
Adaylar puanlarına göre sıralanır ve en üstteki terimler belgenin anahtar kelimeleri veya anahtar ifadeleri olarak döndürülür. Döndürülen sayı (örneğin, en iyi on) içeriğin özlü ancak temsili bir özetini verecek şekilde seçilir.
Sık yapılan hatalar
- Çok küçük bir derlemde (yaklaşık 100 belgenin altında) istatistiksel çıkarma çalıştırmak güvenilmez anahtar kelimeler verir — bunun yerine basit bir frekans analizine geri dönün.
- Hiç metin verisi olmadan çıkarma yapmaya çalışmak; bu durumda nitel içerik analizi kullanın.
- Gürültü ve tutarsız belirteçlerin (token) aday havuzunu bozmasına izin veren ön işlemeyi atlamak.
- Aksi takdirde çıkarma kalitesini artıracak bir alan özelindeki sözlüğü göz ardı etmek.
Sık sorulan sorular
İstatistiksel, TextRank veya KeyBERT — hangi yaklaşımı kullanmalıyım?
İstatistiksel yaklaşım terim sıklığını ağırlıklandırır ve en basittir. TextRank bir eş-oluşum grafiği oluşturur ve terimleri bağlantılarına göre sıralayarak ham sayımların ötesindeki yapıyı yakalar. KeyBERT, aday ifadeleri belgeyle anlamsal benzerliklerine göre puanlamak için bağlamsal gömmeleri kullanır, bu da daha yüksek hesaplama maliyetiyle daha anlamlı ifadeleri yüzeye çıkarma eğilimindedir.
Ne kadar metne ihtiyacım var?
İstatistiksel anahtar kelime çıkarma yalnızca büyük bir derlem üzerinde güvenilirdir. Küçük bir derlemde — kabaca 100 belgenin altında — basit bir frekans analizi daha güvenli bir seçenektir. Hiç metin verisi olmadığında görev çalıştırılamaz.
Metni önce ön işlemem gerekiyor mu?
Evet. Ön işleme varsayılır: çıkarma işleminden önce metin temizlenmeli ve standartlaştırılmalıdır, aksi takdirde gürültülü belirteçler aday terimleri bozacaktır. Varsa alan özelindeki bir sözlük kaliteyi daha da artırır.
Tek kelimeler mi yoksa ifadeler mi döndürüyor?
Her ikisi de. Aday havuzu tek kelimeleri ve kısa ifadeleri (n-gramlar) içerebilir, bu nedenle çıktı yapılandırmaya bağlı olarak anahtar kelimelerin veya anahtar ifadelerin sıralanmış bir listesidir.
İlgili yöntemler
Kaynaklar
Mihalcea, R. & Tarau, P. (2004). TextRank: Bringing Order into Texts. EMNLP, 404-411.
Yayın kaynağını açKopyalandı.Grootendorst, M. (2020). KeyBERT. Zenodo.
Yayın kaynağını açKopyalandı.