İçeriğe atla
Arama sonuçlarına dön

BERT Tabanlı Sınıflandırma

Ortaya koyan
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI Language)
Yıl
2019
Tür
Pre-trained language model with fine-tuning
Aile
Deep learning / NLP / CV

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

BERT Tabanlı Sınıflandırma, Google'ın Bidirectional Encoder Representations from Transformers (BERT) modelini etiketlenmiş bir metin veri kümesi üzerinde ince ayar yaparak, genel ön-eğitimli başlığı görev-özel bir sınıflandırma katmanıyla değiştirir.

Nispeten mütevazı miktarda etiketlenmiş veriyle kısa ve orta uzunluktaki metin sınıflandırma görevlerinde son teknoloji doğruluğu sunmak için yüz milyonlarca ön-eğitimli parametreden gelen derin çift yönlü bağlamdan yararlanır.

Yöntemin mantığı

BERT, her kelimeyi, her iki yöndeki tüm çevreleyen kelimelerin tam farkındalığıyla okur — daha önceki soldan sağa veya sağdan sola okuyan modellerin aksine. İnce ayardan önce BERT, devasa bir derlemden zengin dil kalıplarını zaten özümsemiştir. Metni sınıflandırmak için, üzerine ince bir sınıflandırma katmanı yerleştirilir ve tüm model etiketlenmiş örnekleriniz üzerinde kısaca yeniden eğitilir. Model, ön-eğitimli olduğu geniş dil bilgisini korurken, iç temsillerini belirli kategorilerinize uyacak şekilde ayarlar, bu da etiketlenmiş veri kıt olduğunda bile güçlü performans sağlar.

Tarih

BERT, 2019'da Google AI Language'daki Devlin ve arkadaşları tarafından yayınlandı ve hemen GLUE ve SQuAD dahil olmak üzere 11 NLP kıyaslamasında yeni son teknoloji sonuçlar elde etti. Temel yeniliği, maskeli dil modellemesi ve sonraki cümle tahmini yoluyla çift yönlü ön-eğitim idi. 2019'dan bu yana RoBERTa, ALBERT, DistilBERT, alan özel varyantlar gibi bir türev ailesi oluşturdu ve akademik, endüstriyel ve klinik ortamlarda metin sınıflandırması dahil olmak üzere modern uygulamalı NLP'nin temeli haline geldi.

Ne zaman kullanılır?

Etiketlenmiş metin verileriniz olduğunda ve duygu analizi, konu kategorizasyonu, niyet algılama veya klinik metin sınıflandırması gibi görevler için son teknoloji doğruluğu istediğinizde BERT tabanlı sınıflandırmayı kullanın. Sınıf başına yalnızca birkaç yüz etiketlenmiş örnekle bile iyi çalışır, bu da büyük etiketlenmiş derlemlerin mevcut olmadığında güçlü bir seçenek olmasını sağlar. Dilsel nüans, uzun menzilli bağlam veya ince anlamsal ayrımların görevi yönlendirdiği durumlarda, daha basit modellerden (TF-IDF + lojistik regresyon, CNN, LSTM) daha çok tercih edin. Dizilerin özel işlem görmeden 512 belirteci aşması, GPU hesaplamasının mevcut olmaması veya çok maliyetli olması, milisaniyenin altında gerçek zamanlı çıkarım gecikmesinin gerekli olması veya alanın oldukça uzmanlaşmış olması ve çok az alan içi ön-eğitim verisinin bulunması durumlarında bundan kaçının — bu gibi durumlarda, alan özel bir model (BioBERT, LegalBERT) daha uygun olabilir.

Sınırlar ve dikkat edilmesi gerekenler

  • 512 belirteçlik zorlu dizi uzunluğu sınırı; daha uzun belgeler kesme, parçalama veya hiyerarşik yaklaşımlar gerektirir.
  • Daha hafif modeller olan DistilBERT veya lojistik regresyona kıyasla çıkarım zamanında yüksek hesaplama ve bellek maliyeti.
  • Çok küçük veri kümelerinde (sınıf başına ~100'den az örnek) ince ayar yapmak, felaket unutma veya aşırı uyum riskini taşır.
  • Model içleri büyük ölçüde opak kalır; tahminleri açıklamak dikkat görselleştirme veya SHAP gibi ek araçlar gerektirir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Çift yönlü öz-dikkat, tek yönlü RNN tabanlı modellerin temsil edemediği zengin bağlamsal anlamı yakalar.
  • Büyük derlemler üzerinde ön-eğitim, sınırlı etiketlenmiş veriyle iyi performans sağlar.
  • İnce ayar hızlıdır — genellikle sadece 3-5 dönem — sıfırdan büyük bir model eğitmeye kıyasla.
  • Tek bir mimari, görev özel özellik mühendisliği olmadan birçok NLP sınıflandırma görevini işler.
  • Birçok dil ve alan için yaygın olarak bulunan ön-eğitimli kontrol noktaları (BERT-base, BERT-large) ve türevleri.

Uygulama alanları

  • Yorumların, sosyal medya gönderilerinin ve anket yanıtlarının duygu analizi.
  • Müşteri desteği, sohbet botları ve içerik denetimi için konu ve niyet sınıflandırması.
  • Klinik metin sınıflandırması: teşhis kodlaması, klinik not triyajı ve olumsuz olay algılama.
  • Sistematik incelemelerde bilimsel özet kategorizasyonu ve atıf taraması.
  • Sosyal platformlarda nefret söylemi ve yanlış bilgi algılama.

Nasıl çalışır?

Nasıl çalışır?

1

Girdi metni WordPiece belirteçlerine ayrılır ve özel bir [CLS] belirteci başına eklenir. Bir [SEP] belirteci cümle sınırlarını işaretler. Her belirteç sayısal bir kimliğe eşlenir ve tipik olarak 128 veya 512 belirteç olmak üzere sabit bir maksimum dizi uzunluğuna göre doldurulur veya kesilir.

2

Belirteç dizisi tüm BERT Transformer katmanlarından geçer. Her katman, her belirtecin her iki yönde diğer tüm belirteçlere aynı anda erişebilmesi için çok başlı öz-dikkat uygular, her konumda zengin bağlam-farkındalığı olan temsiller oluşturur.

Formül
h = \text{BERT}([\texttt{[CLS]}, w_1, \ldots, w_n])
3

Son BERT katmanındaki [CLS] belirtecine karşılık gelen gizli durum, tüm girdi dizisini temsil eden sabit uzunluklu bir vektör olarak çıkarılır. Bu havuzlanmış temsil, metnin genel anlamını yakalar.

4

Doğrusal bir sınıflandırma başlığı — bir ağırlık matrisi ve sapma — [CLS] vektörünü her sınıf için bir puana eşler. Bir softmax fonksiyonu bu puanları sınıf olasılıklarına dönüştürür ve en yüksek olasılığa sahip sınıf tahmindir.

Formül
\hat{y} = \text{softmax}(W h_{\texttt{[CLS]}} + b)
5

Tüm model — BERT katmanları ve sınıflandırma başlığı — çapraz entropi kaybı ve küçük bir öğrenme oranı (tipik olarak AdamW ile 2e-5 ila 5e-5) kullanılarak etiketlenmiş eğitim kümesi üzerinde ortaklaşa optimize edilir ve az sayıda dönem (genellikle 3-5) boyunca eğitilir. Öğrenme oranı ısınma programı, ön-eğitimli ağırlıkları bozabilecek büyük erken gradyan güncellemelerini önler.

Sık yapılan hatalar

  • Ön-eğitimli ağırlıkları bozan ve rastgele bir tabana göre iyileşme olmamasıyla sonuçlanan çok yüksek bir öğrenme oranı kullanmak.
  • En ilgili metnin dizinin başına veya sonuna yakın olup olmadığını kontrol etmeden tüm girdileri kesmek.
  • Uygun bir eğitim/doğrulama/test bölümü atlamak ve performansı yalnızca eğitim kümesinde ölçmek.
  • Sınıf dengesizliğini göz ardı etmek — dengesiz bir veri kümesinde yalnızca doğruluğu bildirmek, azınlık sınıfı geri çağırmasını gizler.
  • Dağıtım ortamının GPU kaynaklarına sahip olmadığı durumlarda BERT'i seçmek, üretimde kabul edilemez çıkarım gecikmesine yol açar.

Sık sorulan sorular

BERT'i ince ayar yapmak için ne kadar etiketlenmiş veriye ihtiyacım var?

BERT, ön-eğitim zaten zengin dil ön bilgileri aşıladığı için, sınıf başına yalnızca birkaç yüz etiketlenmiş örnekle bile faydalı performans sağlayabilir. Performans, birkaç bin örneğe kadar önemli ölçüde iyileşir; bunun ötesinde getiriler azalır. Sınıf başına kabaca 100'den az örnekle, aşırı uyum gerçek bir risktir — veri artırma veya daha hafif bir model düşünün.

İnce ayar yaparken hangi öğrenme oranını kullanmalıyım?

AdamW düzenleyicisi ile 2e-5 ile 5e-5 arasındaki bir öğrenme oranı, orijinal makale tarafından önerilen standart aralıktır. Daha yüksek öğrenme oranları ön-eğitimli ağırlıkları bozma eğilimindedir; daha düşük olanlar yakınsamayı çok yavaşlatır. Eğitim adımlarının ilk %10'u boyunca doğrusal bir ısınma kullanın.

Metinlerim 512 belirteçten daha uzun. Ne yapmalıyım?

Yaygın stratejiler arasında ilk veya son 512 belirteci kesmek, belgeyi örtüşen parçalara ayırmak ve [CLS] temsillerini toplamak veya binlerce belirteçlik dizileri işleyebilen Longformer veya BigBird gibi uzun belge modelleri kullanmak yer alır.

BERT-base mı yoksa BERT-large mı kullanmalıyım?

BERT-base (110 M parametre), pratik varsayılan değerdir: daha hızlı eğitilir, daha az GPU belleği kullanır ve doğruluğu çoğu sınıflandırma görevi için yeterlidir. BERT-large (340 M parametre), karmaşık görevlerde birkaç yüzde puan ekleyebilir ancak önemli ölçüde daha fazla hesaplama gerektirir ve daha küçük veri kümelerinde aşırı uyuma eğilimlidir.

Sınıflandırıcıyı adil bir şekilde nasıl değerlendiririm?

Herhangi bir ince ayardan önce veriyi eğitim, doğrulama ve test kümelerine ayırın. Azınlık sınıfı performansının görünür olması için makro F1'i (yalnızca doğruluk değil) bildirin. Hiperparametre arama ve erken durdurma için doğrulama kümesini kullanın ve test kümesi sonucunu yalnızca bir kez, sonunda bildirin.

İlgili yöntemler

Kaynaklar

  1. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.

    DOI kaynağını aç
    Kopyalandı.
  2. Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? In China National Conference on Chinese Computational Linguistics (CCL 2019), Lecture Notes in Computer Science, vol 11856, pp. 194–206. Springer.

    DOI kaynağını aç
    Kopyalandı.