Az Örnekli Metin Sınıflandırması
- Tür
- NLP text-classification task (low-resource)
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Az örnekli metin sınıflandırması, belgeleri her sınıftan yalnızca birkaç etiketli örnek kullanarak sınıflara atar.
Gao ve ark. (2021) tarafından yapılan ilerlemeler ve Tunstall ve ark. (2022) tarafından sunulan yönlendirmesiz SetFit yaklaşımı üzerine inşa edilen bu yöntem, az sayıda etiketten öğrenmek için prototip ağlarına, MAML'ye veya büyük bir ön-eğitimli modelin ince ayarlanmasına dayanır.
Yöntemin mantığı
Çoğu sınıflandırıcı büyük bir etiketli eğitim kümesi gerektirir, ancak metin etiketlemek pahalıdır ve bazen her sınıftan yalnızca birkaç örnek bulunur. Az örnekli metin sınıflandırması, dili zaten anlayan bir modelle -büyük bir ön-eğitimli modelle- başlayıp, her sınıftan sadece birkaç örnekle onu istediğiniz sınıflara doğru yönlendirerek bu sorunu aşar. Her sınıfı sıfırdan öğrenmek yerine, yeni belgeleri az sayıda etiketli prototiple karşılaştırır veya ön-eğitimli modeli hafifçe uyarlar, böylece sınıftan tek bir örnek bile kararı yönlendirebilir.
Tarih
Az örnekli metin sınıflandırması, dile uyarlanmış az örnekli ve meta-öğrenme araştırmalarından ortaya çıktı. Gao ve ark. (2021), ön-eğitimli dil modellerini nasıl daha iyi az örnekli öğreniciler haline getireceğini gösterdi ve Tunstall ve ark. (2022), yönlendirmesiz verimli az örnekli öğrenme için SetFit'i tanıttı, bu da yaklaşımı küçük etiketli kümeler ve güçlü ön-eğitimli omurgalarla pratik hale getirdi.
Ne zaman kullanılır?
Etiketlemenin pahalı olduğu ve her sınıftan yalnızca birkaç etiketli örneğin bulunduğu, ancak sınıflandırılacak metninizin olduğu durumlarda az örnekli metin sınıflandırmasını kullanın. Her sınıf için en az bir örneğin var olduğunu varsayar ve büyük bir ön-eğitimli modelin eksik bilgiyi sağlayabilmesi durumunda en iyi şekilde çalışır. Bol etiketli veriniz varsa, sıradan bir denetimli metin sınıflandırıcı daha basit bir seçenektir.
Sınırlar ve dikkat edilmesi gerekenler
- Her sınıf için en az bir etiketli örnek gerektirir; tamamen görülmemiş sınıflar tahmin edilemez.
- Kalite büyük ölçüde ön-eğitimli omurgaya bağlıdır - zayıf veya uyumsuz bir model performansı sınırlar.
- Aşırı az örnekle, tahminler kararsız olabilir ve seçilen örneklere duyarlı olabilir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Geleneksel denetimli sınıflandırıcıların başarısız olduğu çok az etiketli örnekten -sınıf başına bir tane kadar az- öğrenir.
- Büyük bir ön-eğitimli modelin içindeki geniş dil bilgisini yeniden kullanır, bu nedenle az miktarda göreve özgü veri gerekir.
- Stratejiler arasında esneklik: prototip ağları, MAML veya hafif ince ayar hepsi aynı işlem hattına uyar.
Uygulama alanları
- Etiketlemenin maliyetli olduğu ve kategori başına yalnızca birkaç örneğin mevcut olduğu durumlarda metin sınıflandırması.
- Büyük ölçekli etiketleme yapılmadan önce yeni bir alan veya etiket kümesi için bir sınıflandırıcıyı başlatma.
- Az sayıda etiketle araştırma ve operasyonel ortamlarda metin kategorizasyonunun hızlı prototiplemesi.
- Yeni, seyrek etiketlenmiş sınıflarla mevcut bir şemayı genişletme.
Nasıl çalışır?
Nasıl çalışır?
Her sınıftan en az bir örnek içeren küçük bir etiketli küme oluşturursunuz - bazen sınıftan sadece birkaç tane. Bu, yöntemin öğrendiği destek kümesidir; ne kadar küçükse, yöntem ön-eğitimli modelin içindeki bilgiden o kadar fazla yararlanır.
Geniş dil bilgisini zaten kodladığı için, omurga olarak büyük bir ön-eğitimli model seçilir. Güçlü bir ön-eğitimli model tercih edilir - dil hakkında ne kadar çok şey bilirse, her sınıfın sizin az sayıdaki örneğinizden o kadar az şey öğrenmesi gerekir.
Omurga, az örnekli stratejilerden biriyle sınıflarınıza doğru yönlendirilir: prototip ağları az sayıdaki örnekten bir sınıf prototipi oluşturur ve en yakın prototipe göre sınıflandırır, MAML hızla uyum sağlayan başlangıç parametrelerini meta-öğrenir ve ince ayar ön-eğitimli modeli küçük küme üzerinde hafifçe günceller.
Her yeni belge uyarlanmış model tarafından kodlanır ve bir sınıf etiketi atanır - en yakın prototipe veya ince ayarlanmış sınıflandırıcı başlığına göre - az sayıdaki eğitim verisine rağmen belge başına bir tahmin edilen etiket elde edilir.
Sık yapılan hatalar
- Sıfır etiketli örneği olan bir sınıfı öğrenilebilir olarak ele almak - her sınıfın en az bir örneği olmalıdır.
- Yöntemi küçük veya kötü eşleşmiş bir ön-eğitimli modelle eşleştirmek, az örnekli ayarın dayandığı ön bilgiyi ortadan kaldırır.
- Küçük bir destek kümesinden doğruluk payını aşırı okumak; bu kadar az örnekle, değerlendirme tahminleri gürültülüdür.
Sık sorulan sorular
Her sınıftan kaç örnek gerçekten gerekiyor?
Her sınıf için en az bir etiketli örnek gereklidir ve yöntem her sınıftan yalnızca birkaç tane ile çalışacak şekilde tasarlanmıştır. Ne kadar az sağlarsanız, ön-eğitimli omurganın ön bilgisine o kadar fazla dayanır.
Hangi az örnekli stratejiyi kullanmalıyım?
Prototip ağları az sayıdaki örnekten her sınıf için bir prototip oluşturur ve en yakın prototipe göre sınıflandırır; MAML, yeni görevlere hızla uyum sağlayan parametreleri meta-öğrenir; ince ayar, ön-eğitimli bir modeli küçük küme üzerinde hafifçe günceller. Her üçü de aynı işlem hattına uyar; yönlendirmesiz SetFit tarzı ince ayar pratik bir varsayılan değerdir.
Ön-eğitimli model neden bu kadar önemli?
Yalnızca birkaç etiketli örnekle, bilginin çoğu başka bir yerden gelmek zorundadır. Büyük bir ön-eğitimli model geniş dil anlayışı sağlar, bu nedenle daha güçlü bir omurga genellikle daha iyi az örnekli sonuçlar verir.
Normal bir denetimli sınıflandırıcıyı ne zaman tercih etmeliyim?
Bol etiketli veriniz olduğunda. Az etiketli rejim için az örnekli yöntemler mevcuttur; büyük, dengeli bir etiketli küme ile standart bir denetimli metin sınıflandırıcı daha basittir ve genellikle daha güçlüdür.
İlgili yöntemler
Kaynaklar
Gao, T., Fisch, A. & Chen, D. (2021). Making Pre-trained Language Models Better Few-shot Learners. ACL.
DOI kaynağını açKopyalandı.Tunstall, L., Reimers, N., Jo, U.E.S., Bates, L., Korat, D., Wasserblat, M. & Pereg, O. (2022). Efficient Few-Shot Learning Without Prompts. arXiv.
DOI kaynağını açKopyalandı.