İçeriğe atla
Arama sonuçlarına dön

RoBERTa tabanlı İnce Ayarlanmış Sınıflandırma

Ortaya koyan
Liu, Y. et al. (Meta AI / University of Washington)
Yıl
2019
Tür
Pretrained transformer fine-tuned for classification
Aile
Deep learning / NLP / CV

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

RoBERTa zaten çok büyük miktarda metin okumuş ve dilin zengin, bağlamsal temsillerini öğrenmiştir.

İnce ayar, bu bilgiyi belirli bir sınıflandırma görevi için yeniden kullanır: üstüne küçük bir sınıflandırma katmanı yerleştirilir ve tüm model, etiketli verileriniz üzerinde birkaç epok boyunca eğitilir. Dil anlama konusundaki ağır iş yükü ön-eğitim sırasında yapıldığı için, birkaç yüz ila birkaç bin etiketli örnek bile genellikle güçlü bir sınıflandırıcı elde etmek için yeterlidir. Sonuç, her belirtecin yalnızca yerel penceresinin değil, tüm cümlenin bağlamında temsil edilmesi nedeniyle önceki NLP yöntemlerinden daha üstündür.

Yöntemin mantığı

Ön-eğitimli bir RoBERTa kontrol noktası (örneğin, Hugging Face'den roberta-base veya roberta-large) yüklenir. RoBERTa, orijinal BERT'ten çok daha büyük bir veri kümesinde ve daha fazla adımda dinamik maskeleme ile ön-eğitimden geçirilmiştir, bu da onun temsillerini alanlar arasında daha sağlam ve genelleştirilebilir kılar.

Tarih

Ürün incelemeleri, sosyal medya gönderileri ve anket yanıtlarının duygu analizi.

Ne zaman kullanılır?

Standart NLP sınıflandırma kıyaslamalarında tutarlı bir şekilde en gelişmiş veya en gelişmişe yakın doğruluğu elde eder.

Sınırlar ve dikkat edilmesi gerekenler

  • 512 belirtecin maksimum girdi uzunluğu, çok uzun belgelerin sınıflandırmadan önce parçalanması veya özetlenmesi gerektiği anlamına gelir.
  • SHAP veya LIME gibi sonradan müdahale araçları olmadan tahminleri açıklamak, kara kutu doğası nedeniyle zordur.
  • Çok küçük etiketli kümelerde ince ayar yapmak, ön-eğitimli temele rağmen aşırı uyum riskini taşır.
  • Model boyutu, damıtma veya niceleme olmadan gerçek zamanlı üretim sistemlerinde dağıtım gecikmesini bir endişe haline getirir.
  • Ön-eğitimli temsilleri yok eden çok yüksek bir öğrenme oranı kullanmak (5e-5'in üzerinde) — felaket düzeyinde unutma olarak bilinen bir olgu.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Basit modellerin kaçırdığı olumsuzlama, gönderme ve uzun menzilli bağımlılıkları ele alarak tam çift yönlü bağlamı yakalar.
  • Zengin ön-eğitimli dil temsilleri sayesinde sıfırdan eğitime göre çok daha az etiketli veri gerektirir.
  • Alana özgü kontrol noktaları (örneğin, BioBERT, FinBERT'ten türetilmiş RoBERTa) uzmanlık alanlarında performansı daha da artırır.
  • Hugging Face Transformers kütüphanesi, minimum ek kodla uygulamayı kolaylaştırır.
  • Hesaplama açısından maliyetlidir: roberta-large'ı ince ayarlamak, GPU ve önemli miktarda bellek gerektirir, bu da erişilebilirliği sınırlar.

Uygulama alanları

  • Çevrimiçi içerik moderasyonunda toksisite ve nefret söylemi tespiti.
  • Diyalog sistemlerinde haber konu kategorizasyonu ve niyet sınıflandırması.
  • Sağlık bilişiminde klinik not sınıflandırması ve tıbbi kodlama.
  • Hesaplamalı sosyal bilimlerde duruş tespiti ve argüman madenciliği.
  • Hukuki belge sınıflandırması ve sözleşme maddesi etiketlemesi.
  • İnce ayarlanmış RoBERTa, ince ayarlanmış BERT'ten nasıl farklıdır?

Nasıl çalışır?

Nasıl çalışır?

1

Girdi metni, RoBERTa'nın bayt-çift kodlama (BPE) sözlüğü kullanılarak belirteçlere ayrılır. Her örnek, özel bir [CLS] belirteci ile önekiyle başlar ve modelin maksimum dizi uzunluğuna (tipik olarak 512 belirteç) kırpılır veya doldurulur. Dikkat maskeleri, gerçek belirteçleri dolguya karşı gösterir.

2

Son dönüştürücü katman tarafından üretilen [CLS] belirtecinin gizli durumu, sınıf olasılıklarını üretmek için bir softmax (çok sınıflı) veya sigmoid (çok etiketli) aktivasyonlu doğrusal bir sınıflandırma başlığından geçirilir.

3

Tüm model —tüm dönüştürücü katmanları artı sınıflandırma başlığı— etiketli veri kümesi üzerinde çapraz entropi kaybı ve küçük bir öğrenme oranı (tipik olarak 1e-5 ila 3e-5) kullanılarak uçtan uca eğitilir. Genellikle birkaç epok (2–5) yeterlidir; daha uzun süreli eğitim, ön-eğitim bilgisinin felaket düzeyinde unutulması riskini taşır.

Formül
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)
4

Performans, doğruluk, makro-F1 ve sınıf düzeyinde kesinlik ve geri çağırma kullanılarak ayrılmış bir test kümesi üzerinde değerlendirilir. Dengesiz sınıflar için, ham doğruluğa göre makro-F1 ve AUC-ROC tercih edilir. Tahminler, ikili görevler için 0.5'te veya çok sınıflı görevler için argmax'ta eşiklenir.

Formül
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_i
5

Etiketli örnek başına en az birkaç yüz, ideal olarak binden fazla örneğiniz varsa ve bir metin sınıflandırma probleminiz —duygu, konu, niyet, toksisite, duruş veya herhangi bir etiket atama görevi— varsa ince ayarlanmış RoBERTa sınıflandırmasını seçin. Dilsel nüans, uzun menzilli bağlam veya alana özgü ifadeler önemli olduğunda üstünlük sağlar. Doğruluk en önemliyse ve hesaplama gücü izin veriyorsa roberta-large kullanın; GPU kaynakları sınırlıysa roberta-base kullanın. Tamamen yorumlanabilir bir modeli açık özellik ağırlıklarıyla istediğinizde, veri kümeniz çok küçükse (etiketli örnek başına ~100'den az) artırma olmadan veya gecikme kısıtlamaları dönüştürücü çıkarımını engelliyorsa kullanmayın.

Sık yapılan hatalar

  • Dengesiz sınıflarla yalnızca doğruluğu değerlendirmek, azınlık kategorilerindeki zayıf geri çağırmayı gizler.
  • Hiperparametreleri test kümesinde ayarlayarak bir eğitim/doğrulama/test bölümlemesi atlamak, bildirilen performansı şişirir.
  • Ayırıcı içeriğin kırpılmış kısımda olup olmadığını kontrol etmeden hız için tüm metinleri 128 belirtece kırpmak.
  • Sabit bir rastgele tohum ayarlamayı unutmak ve çalıştırmalar arasındaki değişimi bildirmemek, sonuçları tekrarlanamaz hale getirir.
  • RoBERTa, 2019'da Meta AI'da Liu ve arkadaşları tarafından BERT'in bir çoğaltma çalışması ve uzantısı olarak tanıtıldı ve BERT'in önemli ölçüde yetersiz eğitildiğini gösterdi. Daha uzun süre, daha fazla veride, daha büyük toplu işlerde, dinamik maskeleme ile eğiterek ve sonraki-cümle tahmin hedefini kaldırarak, RoBERTa GLUE ve SuperGLUE kıyaslamalarında BERT'i geride bıraktı. Onu sınıflandırma için ince ayarlamak, hem araştırmada hem de endüstride pratik NLP sınıflandırma görevleri için hızla fiili başlangıç noktası haline geldi.

Sık sorulan sorular

RoBERTa, BERT ile aynı dönüştürücü mimarisini kullanır ancak daha büyük bir veri kümesinde (160 GB'a karşılık 16 GB), daha fazla adımda ve sonraki-cümle tahmin hedefi olmadan dinamik maskeleme ile ön-eğitimden geçirilmiştir. Bu değişiklikler daha sağlam temsiller üretir ve ince ayarlanmış RoBERTa, çoğu sınıflandırma kıyaslamasında tutarlı bir şekilde BERT'ten daha iyi performans gösterir.

Kaç etiketli örneğe ihtiyacım var?

Ön-eğitimli model zaten dili anladığı için, sınıf başına yüzlerce örnek genellikle makul sonuçlar elde etmek için yeterlidir. Sınıf başına yaklaşık 100'den az örnekle, aşırı uyum riskini azaltmak için az örnekli istem veya veri artırma stratejileri önerilir.

Hangi RoBERTa varyantını kullanmalıyım — base mı yoksa large mı?

roberta-base (125M parametre), pratik bir varsayılan değerdir: tek bir GPU'da hızlı bir şekilde ince ayarlanır ve genellikle roberta-large'a yakın performans gösterir. Kıyaslama doğruluğu birincil hedefse ve hesaplama bir darboğaz değilse roberta-large (355M parametre) kullanın.

512 belirteçten daha uzun metinlerle nasıl başa çıkarım?

Yaygın stratejiler arasında en bilgilendirici segmente (genellikle başlangıç ve son) kırpma, belgeyi örtüşen parçalara ayırma ve tahminleri toplama veya cümle düzeyindeki gömmelerin sınıflandırmadan önce havuzlandığı hiyerarşik bir yaklaşım kullanma yer alır.

Modelin tahminlerini nasıl daha yorumlanabilir hale getirebilirim?

Tahminleri girdi belirteçlerine veya bölümlerine atfetmek için SHAP değerlerini (transformers için shap kütüphanesinin Explainer'ı aracılığıyla) veya LIME'ı uygulayın. Dikkat ağırlıkları da ilgili metin bölgelerini vurgulayabilir, ancak tek başlarına özellik önemi için güvenilir bir vekil değildirler.

MethodMind'da bir RoBERTa kontrol noktası yükleyin, etiketli metin veri kümenizi yükleyin ve otomatik öğrenme oranı zamanlaması ile ince ayarı çalıştırın. MethodMind, eğitilmiş model kontrol noktasına ek olarak sınıf başına kesinlik, geri çağırma, F1 ve bir karışıklık matrisi döndürür.

İlgili yöntemler

Kaynaklar

  1. Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692.

    Yayın kaynağını aç
    Kopyalandı.
  2. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.

    DOI kaynağını aç
    Kopyalandı.