İçeriğe atla
Arama sonuçlarına dön

Metin Sınıflandırması — Metin Kategorizasyonu

Tür
Supervised NLP classification task

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Metin sınıflandırması, aynı zamanda metin kategorizasyonu olarak da adlandırılır, belgeleri önceden tanımlanmış kategorilere otomatik olarak atayan denetimli bir doğal dil işleme görevidir.

Joachims (1998) tarafından ortaya konan ve Aggarwal ve Zhai (2012) tarafından metin madenciliği literatüründe pekiştirilen destek vektör makinesi yaklaşımına dayanarak, etiketli örneklerden öğrenerek spam tespiti ve konu sınıflandırması gibi görevleri güçlendirir.

Yöntemin mantığı

Her biri sabit bir kategori kümesine ait olan birçok belgeniz olduğunda, bunları elle sıralamak ölçeklenebilir değildir. Metin sınıflandırması, bir kategoriyi diğerinden ayıran kalıpları, önceden etiketlenmiş örnekler kümesinden öğrenir ve ardından bu kalıpları yeni, görülmemiş belgeleri otomatik olarak etiketlemek için uygular — tıpkı bir sıralayıcıya önceden sıralanmış yığınları göstererek ve geri kalanını dosyalamasına izin vererek öğretmek gibi.

Tarih

Metin sınıflandırması, destek vektör makinelerinin metin kategorizasyonunun birçok ilgili özelliğini iyi bir şekilde ele aldığını gösteren Joachims (1998) aracılığıyla bir kıyaslama makine öğrenimi problemi haline geldi. Aggarwal ve Zhai (2012) daha sonra alanı daha geniş metin madenciliği literatüründe pekiştirdi ve görev, uygulamalı doğal dil işlemenin temel bir yapı taşı olmaya devam ediyor.

Ne zaman kullanılır?

Önceden tanımlanmış kategorilere ayrılmış metin verileriniz ve öğrenmek için etiketli bir eğitim setiniz olduğunda metin sınıflandırmasını kullanın. En az yaklaşık 100 etiketli belgeye ihtiyaç duyar ve sınıflandırıcının her kategoriyi öğrenebilmesi için dengeli bir sınıf dağılımı tercih edilir. Yaklaşık 100 belgeden az olduğunda sınıflandırıcı aşırı uyum gösterme eğilimindedir, bu nedenle sıfır-atış yaklaşımı daha güvenlidir; hiç metin verisi olmadığında yöntem çalışamaz ve kategorik değişkenler üzerinde genel sınıflandırma bir alternatiftir.

Sınırlar ve dikkat edilmesi gerekenler

  • Üretimi maliyetli olabilen etiketli eğitim verileri gerektirir.
  • Dengeli bir sınıf dağılımı tercih edilir; çarpık sınıflar bazı kategorilerin öğrenilmesini zorlaştırır.
  • Aşırı uyumu önlemek için makul büyüklükte bir külliyat (yaklaşık 100 belge veya daha fazla) gerektirir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Elle sıralanması pratik olmayan büyük belge koleksiyonlarının etiketlenmesini otomatikleştirir.
  • Aynı denetimli boru hattı aracılığıyla spam tespiti, konu sınıflandırması ve benzer kategorizasyon problemleri gibi birçok göreve uyum sağlar.
  • Sabit kurallara dayanmak yerine, etiketli örneklerden doğrudan alana özgü kalıpları öğrenir.

Uygulama alanları

  • Spam tespiti — istenmeyen mesajları yasal olanlardan ayırma.
  • Konu sınıflandırması — belgeleri veya makaleleri konu kategorilerine yönlendirme.
  • Büyük belge koleksiyonlarını kategoriye göre düzenleme ve önceliklendirme.
  • Sağlık, sosyal, eğitim, mühendislik, doğa bilimleri ve iş metin külliyatlarında tahmin ve sınıflandırma görevleri.

Nasıl çalışır?

Nasıl çalışır?

1

Her örneğin önceden tanımlanmış kategori etiketlerinden birini taşıdığı bir belge kümesinden başlayın. Bu etiketli eğitim verisi, denetimli görevin temelidir; sınıf dağılımı ne kadar dengeli olursa, sınıflandırıcı her kategoriyi o kadar güvenilir bir şekilde öğrenir.

2

Ham metin temizlenir ve standartlaştırılır, böylece belgeler karşılaştırılabilir hale gelir: gürültü giderilir ve içerik normalleştirilir ve analiz edilebilir birimlere ayrılır. Bu adımı atlamak, gürültülü belirteçlerin aşağı akışta her şeyi bozmasına neden olur.

3

Temizlenmiş metin, sınıflandırıcının okuyabileceği sayısal özelliklere dönüştürülür — örneğin, hangi kelimelerin kategorileri ayırt ettiğini yakalayan terim-frekans temsilleri. Bu, kelimeleri öğrenme algoritmasının üzerinde çalıştığı sayılara dönüştürür.

4

Etiketli, vektörleştirilmiş eğitim verileri üzerinde denetimli bir sınıflandırıcı eğitilir, metin özellikleri ile kategori etiketleri arasındaki ilişkiyi öğrenerek her yeni belgeye bir etiket atayabilir.

5

Eğitilmiş model, ayrılmış etiketli veriler üzerinde puanlanır ve dağıtımdan önce yanlış sınıflandırmaları incelenir. Dengesiz sınıflar ham doğruluğu yanıltıcı hale getirdiğinden, performans modelin ayırması amaçlanan kategoriler üzerinden değerlendirilir.

Sık yapılan hatalar

  • Çok az belge üzerinde eğitim (yaklaşık 100'ün altında) küçük eğitim setinde aşırı uyuma neden olur; bunun yerine sıfır-atış sınıflandırma yaklaşımını tercih edin.
  • Metin ön işleme adımını atlamak, gürültülü belirteçlerin özellikleri ve modeli bozmasına neden olur.
  • Dengesiz sınıflar basit doğruluğu yanıltıcı hale getirir; tek bir doğruluk rakamına güvenmek yerine kategori başına performansı inceleyin.
  • Hiç metin verisi olmadığında yöntemi uygulamak — kategorik değişkenler üzerinde genel sınıflandırmaya geri dönün.

Sık sorulan sorular

Ne kadar etiketli veriye ihtiyacım var?

En az yaklaşık 100 etiketli belge için plan yapın. Bunun altında sınıflandırıcı küçük eğitim setine aşırı uyum gösterme eğilimindedir, bu nedenle sıfır-atış sınıflandırma yaklaşımı daha güvenli bir seçimdir.

Sınıf dengesi önemli mi?

Evet. Sınıflandırıcının her kategoriyi güvenilir bir şekilde öğrenebilmesi için dengeli bir sınıf dağılımı tercih edilir. Çarpık sınıflarda, genel doğruluğa güvenmek yerine kategori başına performansı değerlendirin.

Hiç metin verim yoksa ne olur?

Metin sınıflandırması metin olmadan çalışamaz. Değişkenleriniz bunun yerine kategorik ise, bu yapılandırılmış veriler üzerinde genel sınıflandırma yöntemlerini kullanın.

Belge kümelemesinden farkı nedir?

Metin sınıflandırması denetimlidir: belgeleri etiketli örneklerden öğrenilen önceden tanımlanmış kategorilere atar. Belge kümelemesi denetimsizdir ve benzer belgeleri önceden tanımlanmış etiketler olmadan gruplandırır.

İlgili yöntemler

Kaynaklar

  1. Joachims, T. (1998). Text Categorization with Support Vector Machines: Learning with Many Relevant Features. ECML 1998. Lecture Notes in Computer Science, vol 1398. Springer.

    DOI kaynağını aç
    Kopyalandı.
  2. Aggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.

    ISBN: 978-1-4614-3222-7
    Kopyalandı.