İçeriğe atla
Arama sonuçlarına dön

Sıfır Atışlı Sınıflandırma — Eğitim Verisi Olmadan Metin Sınıflandırması

Ortaya koyan
Yin, Hay & Roth
Yıl
2019
Tür
NLP text-classification task

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Sıfır atışlı sınıflandırma, herhangi bir etiketli eğitim verisi gerektirmeden, düz metinle açıklanan kategorilere metin atayan bir doğal dil işleme görevidir.

Yin, Hay ve Roth (2019) tarafından bir çıkarım problemi olarak biçimlendirilen bu yöntem, büyük bir önceden eğitilmiş dil modelinin, yeni kategorileri sadece adlandırarak anında tanımasını sağlar ve böylece yeni etiket kümelerine hızlı adaptasyonu mümkün kılar.

Yöntemin mantığı

Normalde bir sınıflandırıcının kategorileri tanıyabilmesi için her bir kategorinin birçok etiketli örneğini görmesi gerekir. Sıfır atışlı sınıflandırma bu adımı atlar: kategori adlarını sıradan kelimelerle — örneğin siyaset, spor, bilim — sağlarsınız ve dili zaten anlayan büyük bir önceden eğitilmiş dil modeli, her bir aday etiketin metne ne kadar iyi uyduğunu değerlendirir. Modelin geniş dil bilgisi sayesinde, yeni eğitim verisi toplama ve etiketleme zahmetine girmeden kategorileri anında ekleyebilir veya değiştirebilirsiniz.

Tarih

Sıfır atışlı metin sınıflandırması, Yin, Hay ve Roth (2019) tarafından sistematik olarak kıyaslanmış ve metinsel çıkarım problemi olarak çerçevelenmiştir; bu araştırmacılar, doğal dil çıkarımı üzerine eğitilmiş bir modelin, her etiketi bir hipotez olarak ele alarak görülmemiş kategorilere metin sınıflandırabileceğini göstermiştir. Büyük dil modellerinin, açıkça eğitilmedikleri görevleri yerine getirme yeteneği, Brown ve diğerleri (2020) tarafından GPT-3 üzerindeki az atışlı öğrenme çalışmasında popülerleştirilmiştir.

Ne zaman kullanılır?

Sıfır atışlı sınıflandırma, kategorize edilecek metniniz olduğunda ancak etiketli eğitim veriniz olmadığında ve kategorilerin zamanla değişebileceği veya büyüyebileceği durumlarda uygundur. Büyük bir önceden eğitilmiş dil modeli (BART veya RoBERTa tabanlı çıkarım modelleri gibi) ve açıkça ve ayrık olarak tanımlanmış aday etiketler gerektirir. Hızlı prototipleme ve her sınıf için etiketli örnek toplamanın pratik olmadığı durumlar için çok uygundur.

Sınırlar ve dikkat edilmesi gerekenler

  • Hesaplama maliyeti olan büyük, önceden eğitilmiş bir dil modeline (BART, RoBERTa) bağlıdır.
  • Doğruluk, aday etiketlerin ne kadar açık ve ayrık bir şekilde ifade edildiğine bağlıdır.
  • Göreve özel eğitim olmadan, yeterli etiketli veri mevcut olduğunda denetimli bir sınıflandırıcı tarafından geride bırakılabilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Etiketli eğitim verisi gerektirmez — kategoriler düz dilde açıklanır.
  • Yeni kategorilere hızla adapte olur: bir sınıf eklemek, sadece adını aday etiket listesine eklemek anlamına gelir.
  • Büyük, önceden eğitilmiş bir modelde zaten yakalanmış olan geniş dilsel bilgiden yararlanır.

Uygulama alanları

  • Belgeleri, yeniden eğitim gerektirmeden sık sık değişen etiket kümelerine kategorize etme.
  • Herhangi bir etiketli veri toplanmadan sınıflandırma görevlerinin hızlı prototiplemesi.
  • Gelen metni (konular, niyetler) sadece kategori adlarını kullanarak yönlendirme veya etiketleme.
  • Araştırma ve operasyonel metin korpuslarında ortaya çıkan kategorileri keşfetme.

Nasıl çalışır?

Nasıl çalışır?

1

Hedef kategorileri, modelin doğrudan okuyabileceği kısa ifadeler olan doğal dildeki aday etiketler olarak tanımlarsınız. Bu etiketler açıkça ifade edilmiş ve ayrık olmalıdır, çünkü model metni yazıldığı gibi her bir etiketle karşılaştırır; belirsiz veya örtüşen etiketler kararı bulanıklaştırır.

2

Metin ve aday etiketler, BART veya RoBERTa gibi büyük, önceden eğitilmiş bir dil modeline beslenir. Kendi verileriniz üzerinde herhangi bir uyarlama yapılmaz — model, hem belgeyi hem de her bir aday etiketi temsil etmek için ön eğitim sırasında edindiği dilsel bilgiyi kullanır.

3

Model, her bir aday etiketin metin tarafından ne kadar güçlü bir şekilde desteklendiğini puanlar ve görevi doğal dil çıkarımı olarak çerçeveler: metin, bu etikete ait olduğu hipotezini ima ediyor mu? Her etiket, önceden eğitilmiş modelden bir uyumluluk puanı alır.

4

En yüksek puana sahip etiket metne atanır (veya çok etiketli ayarlarda sıralı bir etiket kümesi). Puanlama tamamen önceden eğitilmiş modele dayandığı için, yeni bir kategori eklemek, adını aday listesine eklemek kadar basittir.

Sık yapılan hatalar

  • Belirsiz veya örtüşen aday etiketler modelin kararlarını bulanıklaştırır; her etiketi açıkça tanımlayın ve ayrık tutun.
  • Bol miktarda etiketli veri mevcut olduğunda sıfır atışlı doğruluğun tam denetimli bir sınıflandırıcıyla eşleşmesini beklemek — bu durumda bunun yerine denetimli bir model eğitin.
  • Büyük, çıkarım yapabilen bir model yerine küçük veya genel bir model kullanmak sonuçları düşürür.
  • Etiketleri, önceden eğitilmiş modelin iyi işleyemediği bir dilde ifade etmek güvenilirliği düşürür.

Sık sorulan sorular

Sıfır atışlı sınıflandırma herhangi bir eğitim verisine ihtiyaç duyar mı?

Hayır. Bu onun tanımlayıcı özelliğidir: kategorileri doğal dildeki aday etiketler olarak tanımlarsınız ve büyük bir önceden eğitilmiş model uyumu değerlendirir, bu nedenle etiketli örneklere gerek yoktur.

Hangi modele dayanır?

Büyük, önceden eğitilmiş bir dil modeline, tipik olarak BART veya RoBERTa gibi çıkarım için eğitilmiş bir modele dayanır. Sonucun kalitesi, küçük, genel bir model yerine yetenekli bir önceden eğitilmiş model kullanmaya büyük ölçüde bağlıdır.

Aday etiketleri nasıl yazmalıyım?

Onları açıkça tanımlayın ve ayrık tutun. Model metni yazıldığı gibi her bir etiketle karşılaştırır, bu nedenle belirsiz veya örtüşen etiketler kararı bulanıklaştırır ve doğruluğu düşürür.

Denetimli bir sınıflandırıcı kadar doğru mudur?

Mutlaka değil. Bol miktarda etiketli veriniz olduğunda, bu veriler üzerinde eğitilmiş denetimli bir sınıflandırıcı, sıfır atışlı sınıflandırmadan daha iyi performans gösterebilir. Sıfır atışlı sınıflandırma, etiketli verinin az olduğu veya kategori kümesinin sürekli değiştiği durumlarda parlar.

İlgili yöntemler

Kaynaklar

  1. Yin, W., Hay, J. & Roth, D. (2019). Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach. EMNLP, 3914-3923.

    DOI kaynağını aç
    Kopyalandı.
  2. Brown, T. et al. (2020). Language Models are Few-Shot Learners. NeurIPS.

    Yayın kaynağını aç
    Kopyalandı.