İçeriğe atla
Arama sonuçlarına dön

RoBERTa Tabanlı Sınıflandırma

Ortaya koyan
Liu, Y. et al. (Facebook AI Research / University of Washington)
Yıl
2019
Tür
Pre-trained transformer fine-tuned for sequence classification
Aile
Deep learning / NLP / CV

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

RoBERTa Tabanlı Sınıflandırma, BERT'ten daha sağlam bir şekilde dinamik maskeleme ve daha büyük yığınlarla eğitilmiş olan RoBERTa ön-eğitimli transformeri, metin kategorizasyon görevlerine, [CLS] belirteci temsilinin üzerine hafif bir sınıflandırma başlığı ekleyerek ve tüm modeli etiketlenmiş örnekler üzerinde ince ayar yaparak uygular.

Standart NLP kıyaslamalarında tutarlı bir şekilde BERT'e eşit veya ondan daha iyi performans gösterir.

Yöntemin mantığı

RoBERTa (Robustly Optimized BERT Pretraining Approach), yüzlerce gigabayt metin üzerinde önceden eğitilmiş derin bir çift yönlü transformatörle başlar, bu da ona dilin zengin bir bağlamsal anlayışını kazandırır. Yeni metni sınıflandırmak için, özel [CLS] özet belirtecinin üzerine tek bir doğrusal katman yerleştirilir ve tüm model görev-spesifik etiketlenmiş veri kümesi üzerinde kısaca eğitilir. RoBERTa, BERT'te kullanılan sonraki-cümle tahmin hedefini kaldırdığı ve daha fazla veri ve dinamik maskeleme ile eğitildiği için, yüksek sınıflandırma doğruluğu elde etmek için daha az ince ayar verisi gerektiren daha güçlü temsiller üretir.

Tarih

RoBERTa, 2019'da Facebook AI Research ve Washington Üniversitesi'nden Liu ve ark. tarafından BERT'in kritik bir çoğaltma ve optimizasyon çalışması olarak tanıtıldı. Yazarlar, BERT'in önemli ölçüde yetersiz eğitildiğini ve sonraki-cümle tahmininin kaldırılmasının, dinamik maskeleme kullanılmasının, daha büyük yığınlarla daha fazla veriyle eğitilmesinin ve çapraz belge bağlamı olmadan tam cümlelerin kullanılmasının, o zamanlar GLUE, SQuAD ve RACE üzerinde yeni rekorlar kıran, önemli ölçüde daha güçlü temsiller ürettiğini gösterdiler.

Ne zaman kullanılır?

Duygu analizi, konu etiketleme, niyet tespiti veya toksik içerik tespiti gibi metin sınıflandırma görevlerinde son teknoloji doğruluğa ihtiyaç duyduğunuzda ve her sınıf için en az birkaç yüz etiketlenmiş eğitim örneğiniz olduğunda RoBERTa Tabanlı Sınıflandırmayı tercih edin. Daha basit kelime torbası veya sığ sinir modellerinin kaçırdığı nüanslı anlamsal ve sözdizimsel ipuçlarını yakalamada mükemmeldir. Hesaplama kaynaklarının sınırlı olduğu durumlarda (GPU ince ayarı ve önemli bellek gerektirir), metin alanının alan uyarlamalı ön eğitim olmadan oldukça uzmanlaşmış olduğu durumlarda veya görev 512 belirteçten çok daha uzun dizileri içermesi durumunda, parçalama stratejileri olmadan bundan kaçının.

Sınırlar ve dikkat edilmesi gerekenler

  • 512 belirteçlik maksimum girdi uzunluğu, parçalama veya hiyerarşik stratejiler olmadan uzun belgeler için uygun değildir.
  • İnce ayar GPU kaynakları ve önemsiz olmayan eğitim süresi gerektirir; üretim iş yükleri için CPU üzerinde çıkarım yavaştır.
  • Büyük model boyutu (125M–355M parametre), kenar veya düşük kaynaklı dağıtım için pratik olmayabilir.
  • Alan-spesifik bir RoBERTa kontrol noktası kullanılmadıkça, oldukça uzmanlaşmış alanlarda (klinik, yasal, bilimsel) performans keskin bir şekilde düşer.
  • Şeffaf olmayan iç temsiller, ek XAI araçları olmadan nedensel veya mekanik yorumlamayı zorlaştırır.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Standart NLP sınıflandırma kıyaslamalarında minimum görev-spesifik mühendislikle tutarlı bir şekilde son teknolojiye yakın doğruluk elde eder.
  • Çift yönlü bağlam, tek yönlü modellerin aksine uzak kelimeler arasındaki karmaşık bağımlılıkları yakalamasını sağlar.
  • Ön eğitim sırasında dinamik maskeleme, BERT'in statik maskelemesine göre daha sağlam temsiller üretir.
  • Nispeten küçük etiketlenmiş veri kümeleriyle (sınıf başına birkaç yüz ila birkaç bin örnek) etkili bir şekilde ince ayar yapılabilir.
  • HuggingFace aracılığıyla kullanılabilen geniş önceden eğitilmiş varyant ekosistemi (roberta-base, roberta-large, alan-spesifik kontrol noktaları).
  • Softmax'ı sigmoid ile değiştirip kayıp fonksiyonunu ayarlayarak çok etiketli sınıflandırma basittir.

Uygulama alanları

  • Sosyal medyadaki, incelemelerdeki ve finans haberlerindeki duygu analizi ve fikir madenciliği.
  • Müşteri desteği, sohbet botu yönlendirme ve içerik denetimi için konu ve niyet sınıflandırması.
  • Çevrimiçi platformlarda toksik dil ve nefret söylemi tespiti.
  • Haber, yasal ve akademik alanlarda çok sınıflı ve çok etiketli belge kategorizasyonu.
  • NLP araştırma işlem hatlarında bilimsel iddia sınıflandırması ve gerçek kontrolü.
  • Alan uyarlamalı RoBERTa kontrol noktaları ile klinik metin kodlaması ve tıbbi kayıt sınıflandırması.

Nasıl çalışır?

Nasıl çalışır?

1

Girdi metni, bayt-çift kodlama (BPE) kullanılarak alt kelime belirteçlerine ayrılır. Özel bir [CLS] belirteci öne eklenir ve bir [SEP] belirteci sona eklenir. Elde edilen dizi, sabit bir maksimum uzunluğa (genellikle 512 belirteç) kırpılır veya doldurulur.

2

Belirteç dizisi, RoBERTa'nın çok katmanlı çift yönlü transformatör kodlayıcısından geçirilir. Her katman, artık bağlantılara sahip çok başlı kendi kendine dikkat ve ileri beslemeli alt katmanları uygular, her belirteç için zengin bir bağlam-duyarlı temsil oluşturur. [CLS] belirtecinin son gizli durumu, toplu cümle temsilini oluşturur.

Formül
\mathbf{h} = \text{RoBERTa}([\text{CLS}], x_1, \ldots, x_n)
3

Doğrusal bir sınıflandırma başlığı — bir ağırlık matrisi W ve sapma b — [CLS] temsiline uygulanır, ardından sınıf olasılıklarını üretmek için bir softmax (veya çok etiketli için sigmoid) aktivasyonu gelir.

Formül
\hat{y} = \text{softmax}(\mathbf{W} \cdot \mathbf{h}_{[\text{CLS}]} + \mathbf{b})
4

Tüm model parametreleri — hem önceden eğitilmiş transformatör ağırlıkları hem de yeni sınıflandırma başlığı — görev-spesifik etiketlenmiş örnekler üzerinde gradyan inişi yoluyla ortaklaşa güncellenir, tipik olarak küçük bir öğrenme oranı (1e-5 ila 5e-5) ve felaket unutmayı önlemek için doğrusal bir ısınma zamanlayıcısı ile 3–10 dönem boyunca.

5

Çıkarım zamanında, girdi metni belirteçlenir, ince ayarlanmış RoBERTa kodlayıcısından geçirilir ve softmax çıktısının argmax'ı tahmin edilen sınıfı verir. Olasılıklar, çok etiketli veya güvenliğe dayalı filtreleme için eşiklenebilir.

Sık yapılan hatalar

  • Ayrı bir ayrılmış test seti olmadan erken durdurma için doğrulama ile aynı bölümü kullanmak, bildirilen doğruluğu şişirmek.
  • Sınıf dengesizliğini ele almayı unutmak: ağırlıklı kayıp veya aşırı örnekleme olmadan ciddi şekilde eğimli sınıflar üzerinde ince ayar yapmak, çoğunluk sınıfını neredeyse tamamen tahmin eden modellere yol açar.
  • Öğrenme oranını çok yüksek ayarlamak (5e-5'in üzerinde) ve ilk birkaç eğitim adımında önceden eğitilmiş temsilleri felaket bir şekilde unutmak.
  • İlgili içeriğin sonda olup olmadığını dikkate almadan uzun girdileri kesmek (örneğin, bir yasal belgenin ana cümlesi), sistematik bilgi kaybına yol açar.
  • Dengesiz veri kümelerinde yalnızca doğruluğu bildirmek yerine makro ortalamalı F1, kesinlik, geri çağırma ve AUC.

Sık sorulan sorular

RoBERTa sınıflandırma için BERT'ten nasıl farklıdır?

RoBERTa, BERT'in sonraki-cümle tahmin hedefini kaldırır, statik maskeleme yerine dinamik maskeleme kullanır, daha büyük mini yığınlarla on kat daha fazla veri üzerinde eğitilir ve belge parçaları yerine tam cümleler kullanır. Bu değişiklikler, standart kıyaslamalarda tutarlı bir şekilde aşağı akış sınıflandırma doğruluğunu %1–3 puan iyileştirir.

RoBERTa'yı ince ayar yapmak için ne kadar etiketlenmiş veriye ihtiyacım var?

RoBERTa, ikili veya kaba taneli görevler için sınıf başına yalnızca birkaç yüz etiketlenmiş örnekle etkili bir şekilde ince ayar yapabilir, ancak sağlam çok sınıflı performans için sınıf başına 1.000 veya daha fazlası önerilir. Daha az örnekle, bunun yerine üretken bir modelle az örnekli istemeyi veya veri artırmayı düşünün.

roberta-base mı yoksa roberta-large mı kullanmalıyım?

roberta-base (125M parametre), daha hızlı eğitilen ve daha az GPU belleğine sığan pratik bir başlangıç noktasıdır. roberta-large (355M parametre) tipik olarak yaklaşık dört kat daha fazla hesaplama ve bellek maliyetiyle 1–3 puan doğruluk ekler. Maksimum doğruluk kritik olduğunda ve kaynaklar izin verdiğinde büyük olanı kullanın.

Metinlerim 512 belirteçten uzunsa ne olur?

Yaygın stratejiler arasında ilk 512 belirtece kırpma (sınıflandırma sinyali başlangıçta olduğunda iyi çalışır), kayan pencereli havuzlama veya parçaları RoBERTa ile kodlayan ve ikinci bir modelle birleştiren hiyerarşik modeller bulunur.

Sınıf dengesizliğiyle nasıl başa çıkarım?

Her sınıf ağırlığının frekansına ters orantılı olduğu ağırlıklı çapraz entropi kaybı kullanın veya azınlık sınıfını aşırı örnekleyin. Sistematik çoğunluk sınıfı yanlılığını tespit etmek için doğruluk yerine makro ortalamalı F1 ile her zaman değerlendirin.

İlgili yöntemler

Kaynaklar

  1. Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692.

    Yayın kaynağını aç
    Kopyalandı.
  2. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.

    DOI kaynağını aç
    Kopyalandı.