İçeriğe atla
Arama sonuçlarına dön

TF-IDF — Terim Frekansı–Ters Belge Frekansı

Ortaya koyan
Salton & Buckley
Yıl
1988
Tür
Text vectorization / term-weighting scheme

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

TF-IDF, Salton ve Buckley (1988) tarafından tanıtılmış olup, her kelimeyi bir belgede ne sıklıkla göründüğüne ve tüm koleksiyondaki nadirliğine göre puanlayan bir terim ağırlıklandırma şemasıdır.

Ham metni, bir belgede sık geçen ancak başka yerlerde nadir olan terimlere yüksek ağırlık vererek ağırlıklı belge vektörlerine dönüştürür.

Yöntemin mantığı

Her sık geçen kelime bilgilendirici değildir; "the" gibi kelimeler her yerde görünür ve bir belgenin ne hakkında olduğu hakkında size çok az şey söyler. TF-IDF, bir terimin en çok, belirli bir belgede sık geçtiğinde ancak koleksiyonun geri kalanında nadir olduğunda önemli olduğu fikrini yakalar. Bir terimin yerel olarak ne sıklıkta göründüğünü küresel olarak ne kadar ayırt edici olduğuyla çarparak, şema aslında her belgeyi karakterize eden kelimeleri vurgular ve yaygın olanları aşağı çeker.

Tarih

TF-IDF, otomatik metin alma için terim ağırlıklandırma yaklaşımlarını sistematik olarak karşılaştıran ve terim frekansı ile ters belge frekansının birleşimini etkili bir belge temsil şeması olarak kuran Salton ve Buckley'nin (1988) bilgi alma çalışmalarından doğmuştur. Metin vektörleştirmesi için temel bir temel oluşturdu ve şeffaf bir özellik temsili olarak yaygın şekilde kullanılmaya devam ediyor.

Ne zaman kullanılır?

Metin koleksiyonuna sahip olduğunuzda ve belgeleri alma, sınıflandırma veya benzerlik karşılaştırması için sayısal özelliklere dönüştürmeniz gerektiğinde TF-IDF kullanın. Kelime torbası varsayımına dayanır ve önceden metin ön işlemesi gerektirir. Koleksiyon makul ölçüde büyük olmalıdır — yaklaşık 100 belgenin altında, IDF ağırlıkları kararsız hale gelir ve basit bir kelime frekansı analizi daha güvenilirdir. Hiç metin verisi olmadan TF-IDF hesaplanamaz.

Sınırlar ve dikkat edilmesi gerekenler

  • Kelime torbası varsayımına dayanır ve kelime sırasını ve bağlamı göz ardı eder.
  • Çok küçük koleksiyonlarda IDF ağırlıkları kararsız ve anlamsız hale gelir.
  • Dikkatli metin ön işlemesi gerektirir; gürültülü belirteçler ağırlıkları düşürür.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Basit, hızlı ve yorumlanabilir — her ağırlık yerel frekansa ve küresel nadirliğe doğrudan izlenebilir.
  • Ham metni arama, sınıflandırma ve kümeleme yöntemleri tarafından kullanılabilen sayısal belge vektörlerine dönüştürür.
  • Her yerde bulunan, bilgilendirici olmayan kelimeleri aşağı çekerken bir belgeyi ayıran terimleri vurgular.

Uygulama alanları

  • Metin sınıflandırması için belgeleri özellik vektörleri olarak temsil etmek.
  • Arama uygulamalarında belgeleri sıralamak ve almak.
  • Bir belgeyi karakterize eden en ayırt edici anahtar kelimeleri belirlemek.
  • Belge kümeleme ve benzerlik karşılaştırması için girdiler oluşturmak.

Nasıl çalışır?

Nasıl çalışır?

1

Metin koleksiyonu temizlenir ve terimlere ayrılır — metin normalleştirilir ve ağırlıklandırılacak kelime birimlerine ayrılır. TF-IDF, kelime torbası (bag-of-words) varsayımına dayandığından, tüm belgelerdeki tutarlı ön işleme, sonuçta elde edilen sayımları karşılaştırılabilir hale getirir.

2

Her belge için terim frekansı (TF), her terimin o belgede ne sıklıkta geçtiğini sayar. Tek bir belgede birçok kez görünen bir terim, içeriğine ne kadar merkezi olduğunu yansıtarak daha yüksek bir yerel ağırlık alır.

3

Tüm koleksiyon boyunca, ters belge frekansı (IDF) her terimin ne kadar nadir olduğunu ölçer — birçok belgede görünen terimler düşük IDF alırken, az sayıda belgeyle sınırlı olan terimler yüksek IDF alır. Bu, her yerde bulunan, bilgilendirici olmayan kelimeleri bastıran ve ayırt edici olanları ödüllendiren şeydir.

4

TF ve IDF bileşenleri, terim başına tek bir ağırlıkta birleştirilir ve her belge bu ağırlıklı puanların bir vektörü haline gelir. Sonuçta elde edilen belge-terim vektörleri, aşağı akış görevlerinin — arama, sınıflandırma, kümeleme — tükettiği temsildir.

Sık yapılan hatalar

  • Yaklaşık 100 belgenin altındaki bir koleksiyonda TF-IDF çalıştırmak — IDF ağırlıkları anlamsız hale gelir, bu nedenle basit bir kelime frekansı analizine geri dönün.
  • Belgeler arasında atlanan veya tutarsız ön işleme, terim sayımlarını karşılaştırılamaz hale getirir.
  • TF-IDF'yi hiç metin verisi olmadığında uygulamaya çalışmak — içerik analizi ile kategorik kodlama uygun yoldur.
  • TF-IDF'nin anlam veya bağlamı yakalamasını beklemek: izole terimleri ağırlıklandırır ve kelime sırasını veya semantiği modelleyemez.

Sık sorulan sorular

TF ve IDF neyi ölçer?

Terim frekansı (TF), bir terimin tek bir belgede ne sıklıkta göründüğünü ölçerek yerel olarak ne kadar merkezi olduğunu yakalar. Ters belge frekansı (IDF), terimin tüm koleksiyonda ne kadar nadir olduğunu ölçerek birçok belgede görünen kelimeleri aşağı çeker. Bunları çarpmak, bir belgede sık geçen ancak başka yerde nadir olan terimlere yüksek ağırlık verir.

Koleksiyonum ne kadar büyük olmalı?

TF-IDF, makul ölçüde büyük bir koleksiyon gerektirir — kabaca 100 belge veya daha fazla. Bunun altında, IDF ağırlıkları kararsız hale gelir ve anlamını yitirir ve daha basit bir kelime frekansı analizi daha güvenilir bir seçimdir.

TF-IDF anlamı veya bağlamı anlar mı?

Hayır. TF-IDF, kelime torbası varsayımına dayanır: bireysel terimleri frekans ve nadirlik ile ağırlıklandırır ve kelime sırasını, sözdizimini ve semantiği göz ardı eder. Bağlam veya anlamsal benzerlik için Word2Vec gibi gömme yöntemleri daha uygundur.

Ne tür bir ön işleme gerektirir?

Ağırlıklandırmadan önce koleksiyon temizlenmeli ve tutarlı bir şekilde belirteçlere ayrılmalıdır — metni normalleştirip karşılaştırılabilir terim birimlerine ayırarak. Bu adımı atlamak, ağırlıkları düşüren gürültülü belirteçler bırakır.

İlgili yöntemler

Kaynaklar

  1. Salton, G. & Buckley, C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing & Management, 24(5), 513-523.

    DOI kaynağını aç
    Kopyalandı.