BERT Tabanlı İnce Ayarlı Sınıflandırma
- Ortaya koyan
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI)
- Yıl
- 2019
- Tür
- Pre-trained transformer fine-tuned for classification
- Aile
- Deep learning / NLP / CV
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
BERT Tabanlı İnce Ayarlı Sınıflandırma, önceden eğitilmiş bir BERT dönüştürücüsünü, hafif bir çıktı katmanı ekleyerek ve etiketli örnekler üzerinde gradyan tabanlı eğitime devam ederek belirli bir metin sınıflandırma görevine uyarlar.
Duygu analizi, konu sınıflandırması, niyet algılama ve diğer Doğal Dil İşleme (NLP) sınıflandırma görevlerinde nispeten küçük etiketli veri kümeleriyle tutarlı bir şekilde en yeni duruma yakın doğruluk elde eder.
Yöntemin mantığı
BERT, büyük miktarda etiketsiz metin üzerinde önceden eğitilir ve dilin zengin bağlamsal temsillerini öğrenir. İnce ayar, üzerine basit bir sınıflandırma başlığı ekleyerek ve tüm modeli — veya yalnızca başlığı — etiketli örnekleriniz üzerinde eğiterek bu genel bilgiyi yeniden kullanır. BERT zaten sözdizimini, anlambilimini ve dünya bilgisini anladığı için, modelin sıfırdan bir sinirsel sınıflandırıcı eğitmekten çok daha az etiketli örneğe ihtiyacı vardır ve daha hızlı bir şekilde daha yüksek doğruluğa yakınsar. [CLS] belirteci temsili, sınıflandırıcının okuduğu bir cümle düzeyinde özet damıtılır.
Tarih
BERT (Bidirectional Encoder Representations from Transformers), Google AI tarafından 2019'da Devlin ve arkadaşları tarafından, Vaswani ve arkadaşları'nın (2017) Transformer mimarisi üzerine inşa edilerek tanıtıldı. Maskelenmiş dil modellemesi ve sonraki cümle tahmini ön eğitim görevleri, on bir NLP kıyaslamasında önceki en yeni durumu eş zamanlı olarak aşan derinlemesine bağlamsal temsiller üretti. BERT'i sınıflandırma için ince ayarlamak, uygulamalı NLP araştırmalarında hızla baskın paradigma haline geldi ve RoBERTa, DistilBERT ve ALBERT gibi haleflerini doğurdu.
Ne zaman kullanılır?
Etiketli kategorilere sahip metin verileriniz olduğunda ve duygu analizi, niyet algılama, konu etiketleme veya belge sınıflandırma gibi görevlerde yüksek doğruluk gerektiğinde BERT Tabanlı İnce Ayarlı Sınıflandırmayı kullanın. Ön eğitim zengin ön bilgi sağladığı için, birkaç yüz ila birkaç bin etiketli örnekle bile üstündür. Bağlamsal anlamın önemli olduğu durumlarda, geleneksel kelime torbası sınıflandırıcılarına tercih edin. Hesaplama kaynaklarının ciddi şekilde kısıtlı olduğu durumlarda (CPU üzerinde çıkarım yavaştır), metin alanının standart web metinlerinden radikal olarak farklı olduğu ve alana özgü bir kontrol noktası bulunmadığı veya incelemeciler veya düzenleyiciler tarafından tam özellik ağırlığı yorumlanabilirliğinin gerekli olduğu durumlarda kullanmayın.
Sınırlar ve dikkat edilmesi gerekenler
- Hem ince ayar hem de çıkarım zamanında yüksek bellek ve hesaplama ayak izi; pratik verim için etkili bir şekilde GPU gereklidir.
- Sınırlı bağlam penceresi (temel BERT için 512 belirteç); bundan daha uzun belgeler kesilmeli veya bölünmelidir.
- Model içleri büyük ölçüde opak kalır, bu da yorumlanabilirlik için düzenleyici veya hakemli değerlendirme talepleriyle çelişebilir.
- Öğrenme oranı çok yüksekse veya eğitim çok uzun sürerse felaketle unutma riski.
- Alanla eşleşen bir kontrol noktası kullanılmadıkça, yüksek derecede uzmanlaşmış alanlarda (klinik notlar, yasal sözleşmeler) performans düşer.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Sınırlı etiketli verilerle çoğu metin sınıflandırma kıyaslamasında en yeni duruma yakın doğruluk elde eder.
- Kelime torbası ve TF-IDF modellerinin kaçırdığı uzun menzilli bağlamsal anlamı yakalar.
- Aktarım öğrenmesi, sıfırdan eğitmeye kıyasla gereken etiketli veri ve eğitim süresini önemli ölçüde azaltır.
- HuggingFace aracılığıyla alana özgü önceden eğitilmiş kontrol noktalarının (biyomedikal, yasal, finansal, çok dilli) geniş ekosistemi.
- Görevler arasında tutarlı API — aynı ince ayar tarifi ikili, çok sınıflı ve çok etiketli ayarlar için geçerlidir.
- Dahili alt kelime belirteçleme, morfolojik olarak zengin dilleri, nadir kelimeleri ve yazım hatalarını zarif bir şekilde işler.
Uygulama alanları
- Ürün incelemeleri, sosyal medya gönderileri ve anket yanıtlarının duygu analizi.
- Diyalog sistemleri ve sanal asistanlarda niyet algılama ve yuva doldurma.
- Haber makaleleri, özetler veya destek biletleri için konu ve kategori etiketleme.
- Alana özgü BioBERT kullanarak klinik metin sınıflandırması, örneğin triyaj ciddiyeti veya ICD kodu ataması.
- İçerik moderasyon işlem hatlarında nefret söylemi ve toksisite tespiti.
- Yasal BERT varyantlarını kullanarak yasal belge sınıflandırması ve madde tipi tanımlama.
Nasıl çalışır?
Nasıl çalışır?
Önceden eğitilmiş bir BERT kontrol noktası (örneğin, bert-base-uncased veya alana özgü bir varyant), tüm dönüştürücü katmanları dondurulmuş veya dondurulmamış olarak yüklenir. Belirteçleyici, ham metni WordPiece alt kelime belirteçlerine dönüştürür, dizi temsili olarak kullanılan özel [CLS] belirtecini öne ekler ve [SEP] ayırıcılarını ekler.
Doğrusal bir sınıflandırma başlığı, [CLS] belirtecinin son gizli durumunu hedef sınıf kümesi üzerindeki logit skorlarına eşler. Tahmin edilen dağılım ile gerçek etiketler arasında çapraz entropi kaybı hesaplanır. Bu, yalnızca yeni başlatılan ağırlık bloğudur; diğer her şey ön eğitimden miras alınır.
Formül
p(y|x) = \text{softmax}(W \cdot h_{[CLS]})Tüm model parametreleri — veya en üst N dönüştürücü katmanları gibi seçilmiş bir alt küme — küçük bir öğrenme oranı (tipik olarak 2e-5 ila 5e-5) kullanılarak geri yayılım yoluyla ortaklaşa güncellenir. Eğitim iki ila dört dönem sürer; daha fazla dönem, önceden eğitilmiş temsillerin felaketle unutulma riskini taşır.
Sınıflandırma başlığından önce uygulanan Dropout (genellikle 0.1), erken durdurma veya azalan doğrusal bir öğrenme oranı ısınmasıyla birleştiğinde, aşırı uydurmaya karşı koruma sağlar. Sınıf dengesizliği olan veri kümeleri, ağırlıklı kayıp veya ince ayardan önce azınlık sınıfının aşırı örneklenmesinden yararlanır.
Çıkarım sırasında, belirteçlenmiş girdi ince ayarlı modelden geçirilir ve softmax çıktısının argmax'ı tahmin edilen sınıfı seçer. Aşağı akış kararları olasılık eşiklerine bağlıysa, güven skorlarının kalibrasyonu önerilir.
Formül
\hat{y} = \arg\max_k\, p(y=k|x)Sık yapılan hatalar
- Önceden eğitilmiş ağırlıkları istikrarsızlaştıran ve performansı çökerten çok yüksek bir öğrenme oranı (5e-5'in üzerinde) kullanmak.
- Erken durdurma olmadan çok uzun süre ince ayar yapmak, önceden eğitilmiş dil bilgisinin felaketle unutulmasına yol açar.
- İnce ayar kaybında sınıf dengesizliğini göz ardı etmek, modelin neredeyse yalnızca çoğunluk sınıfını tahmin etmesine neden olur.
- Metnin hangi kısmının en ilgili bilgiyi taşıdığı dikkate alınmadan uzun belgeleri 512 belirteçle kesmek.
- Yalnızca eğitim dağılımında değerlendirme yapmak ve tutulmuş veya alan dışı bir küme üzerinde genellemeyi test etmemek.
Sık sorulan sorular
BERT'i etkili bir şekilde ince ayarlamak için ne kadar etiketli örneğe ihtiyacım var?
BERT ince ayarı, basit ikili görevler için sınıf başına birkaç yüz örnek kadar azıyla iyi çalışabilir ve tipik olarak 1.000–10.000 etiketli örnekle güçlü performans gösterir. Çok düşük kaynaklı ortamlar için, az örnekli veya istem tabanlı yaklaşımlar standart ince ayardan daha iyi performans gösterebilir.
Tüm katmanları mı yoksa yalnızca sınıflandırma başlığını mı ince ayar yapmalıyım?
Tüm katmanları ortaklaşa ince ayarlamak, küçük bir öğrenme oranı (2e-5 ila 5e-5) kullandığınız sürece genellikle en iyi doğruluğu sağlar. Çoğu katmanı dondurup yalnızca başlığı eğitmek, etiketli veriler çok kıt olduğunda daha hızlı ve daha güvenlidir, ancak genellikle birkaç doğruluk puanından ödün verir.
512 belirteçten daha uzun belgelerle nasıl başa çıkarım?
Yaygın stratejiler arasında ilk 512 belirtece kadar kesme (sınıflandırma ipuçları için genellikle yeterlidir), örtüşen parçalar üzerinde kayan pencere havuzlama veya parça düzeyinde temsilleri birleştiren hiyerarşik kodlayıcılar bulunur. En iyi seçim, sınıf ayırt edici içeriğin belgelerinizde nerede göründüğüne bağlıdır.
Hangi BERT varyantını seçmeliyim?
İngilizce genel alan metni için bert-base-uncased ile başlayın. Metniniz Wikipedia ve BookCorpus'tan önemli ölçüde farklı olduğunda alana özgü bir kontrol noktası (örneğin, biyomedikal için BioBERT, yasal için LegalBERT) kullanın. RoBERTa-base genellikle sınıflandırma kıyaslamalarında BERT'ten daha iyi performans gösterir ve güçlü bir alternatiftir.
Bir yayın için sonuçları nasıl rapor etmeliyim?
Özellikle dengesiz veri kümeleri için doğrulukla birlikte kesinlik, geri çağırma ve makro-F1'i bildirin. Sonuç kararlılığını göstermek için birden çok rastgele tohumla (en az üç) ince ayar yapın ve ortalama ve standart sapmayı bildirin. Hiperparametre seçimi için hiç kullanılmamış tutulmuş bir test kümesi değerlendirmesi ekleyin.
İlgili yöntemler
Kaynaklar
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
DOI kaynağını açKopyalandı.Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? Proceedings of CCL 2019, LNCS 11856, 194–206.
DOI kaynağını açKopyalandı.