İçeriğe atla
Arama sonuçlarına dön

BERT İnce Ayarı

Ortaya koyan
Devlin, J. et al.
Yıl
2019
Tür
Transfer learning (fine-tuning a pre-trained transformer)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Devlin ve arkadaşlarının 2019'da tanıttığı BERT modelini temel alan BERT ince ayarı, sınıflandırma, adlandırılmış varlık tanıma veya soru yanıtlama gibi hedef bir görev için önceden eğitilmiş bir BERT modelini küçük etiketli bir veri kümesi üzerinde yeniden eğitir.

Aktarım öğrenimi (transfer learning) sayesinde, nispeten az görev odaklı veriyle bile yüksek performans elde eder.

Yöntemin mantığı

Sıfırdan bir dil modeli eğitmek, muazzam miktarda metin ve hesaplama gücü gerektirir. BERT, ön eğitim sırasında dilin zengin, genel temsillerini zaten öğrenmiştir, bu nedenle baştan başlamak yerine bu modeli alıp görevinize nazikçe ayarlarsınız. Yalnızca küçük etiketli bir veri kümesiyle model, mevcut bilgisini probleminize uyarlar; bu nedenle ince ayar, bir modeli sıfırdan eğitmenin başarısız olacağı durumlarda işe yarar.

Tarih

BERT, Devlin ve arkadaşları tarafından 2019'da tanıtıldı ve büyük külliyatlar üzerinde önceden eğitilmiş derin çift yönlü dönüştürücülerin (transformer) birçok dil anlama görevinde en son teknoloji sonuçlara ulaşmak için ince ayar yapılabileceğini gösterdi. Sun ve arkadaşlarının 2019'daki metin sınıflandırması için BERT'e nasıl ince ayar yapılacağına dair pratik rehberliği gibi çalışmalar, ince ayarı büyük önceden eğitilmiş dil modellerini belirli görevlere uyarlamak için standart bir yöntem olarak yerleştirmeye yardımcı oldu.

Ne zaman kullanılır?

Metin değişkenleri üzerinde — sınıflandırma, tahmin veya NER ve soru yanıtlama gibi ilişki çıkarma gibi metin görevleri için — en az yaklaşık 50 etiketli örnekle ve ideal olarak birkaç yüz veya daha fazla örnekle BERT ince ayarını kullanın. Önceden eğitilmiş bir BERT modelinin mevcut olduğunu ve etiketli görev verilerinizin olduğunu varsayar; bir GPU önerilir. Yaklaşık 500 etiketli örneğin altında model aşırı uyum (overfit) eğilimi gösterir ve yaklaşık 50'nin altında ince ayar uygulanabilir değildir — bu durumda klasik TF-IDF tabanlı makine öğrenimi daha güvenli bir seçimdir.

Sınırlar ve dikkat edilmesi gerekenler

  • Küçük etiketli veri kümelerinde (yaklaşık 500 örneğin altında) ince ayar aşırı uyum gösterir ve çıktılar güvenilmez hale gelir.
  • Çok az etiketli veriyle (yaklaşık 50'nin altında) ince ayar hiç mümkün değildir.
  • Bir GPU önerilir, bu nedenle hesaplama gereksinimleri klasik metin modellerine göre daha yüksektir.
  • Dil ve alan için uygun önceden eğitilmiş bir BERT modelinin mevcut olmasına bağlıdır.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Aktarım öğrenimi, nispeten az etiketli veriyle bile yüksek performans sağlar.
  • Çift yönlü bağlamı yakalar, çevreleyen metne bağlı kelime anlamını ele alır.
  • Tek bir önceden eğitilmiş omurga, sınıflandırma, NER, soru yanıtlama gibi birçok göreve hizmet eder.
  • Bir dil modelini sıfırdan eğitmenin muazzam veri ve hesaplama maliyetinden kaçınır.

Uygulama alanları

  • Duygu analizi ve konu etiketleme gibi metin sınıflandırması.
  • Metin üzerinde adlandırılmış varlık tanıma (NER).
  • Soru yanıtlama ve aralık çıkarma.
  • Genel önceden eğitilmiş bir dil modelini sınırlı etiketli veriyle belirli bir alana uyarlamak.

Nasıl çalışır?

Nasıl çalışır?

1

Büyük metin külliyatlarından dilin çift yönlü temsillerini zaten öğrenmiş olan önceden eğitilmiş bir BERT modelinden başlarsınız. Bu önceden eğitilmiş model, hedef görevinize aktarılan genel dilbilimsel bilgiyi taşır, böylece dil yapısını sıfırdan öğrenmezsiniz.

2

Hedef göreviniz için BERT'in üzerine göreve özgü bir çıktı katmanı eklenir — örneğin duygu etiketleme için bir sınıflandırma başlığı, adlandırılmış varlık tanıma için belirteç düzeyinde bir başlık veya soru yanıtlama için bir aralık başlığı. Bu başlık, BERT'in bağlamsal temsillerini göreviniz için tahminlere dönüştürür.

3

Birleşik model, küçük etiketli görev veri kümeniz üzerinde yeniden eğitilir ve ağırlıklar göreve özgü hale gelecek şekilde güncellenir. Tipik olarak model birkaç dönem (epoch) boyunca eğitilir; temel ağ büyük olduğu için bir GPU önerilir. Sonuç, metin girdilerini görev tahminlerine eşleyen bir modeldir.

Formül
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)

Sık yapılan hatalar

  • Çok az etiketli örnek üzerinde ince ayar yapmak ve ortaya çıkan metriklere güvenmek.
  • Ayrı bir değerlendirme kümesini atlamak, böylece küçük bir veri kümesindeki aşırı uyumun fark edilmemesi.
  • Çok küçük verilerde TF-IDF tabanlı klasik bir modelin daha güvenilir olacağı durumlarda BERT'e yönelmek.
  • Küçük bir veri kümesi üzerinde çok fazla dönem boyunca eğitim yapmak, bu da aşırı uyumu artırır.

Sık sorulan sorular

Ne kadar etiketli veriye ihtiyacım var?

İnce ayar yaklaşık 50 etiketli örnekten itibaren uygulanabilir, ancak performans birkaç yüz veya daha fazla örnekle daha güvenilirdir. Yaklaşık 500 örneğin altında model aşırı uyum eğilimi gösterir ve yaklaşık 50'nin altında ince ayar mümkün değildir — bu durumda TF-IDF tabanlı klasik bir model daha güvenlidir.

GPU'ya ihtiyacım var mı?

BERT ağı büyük olduğu ve CPU üzerinde eğitim yavaş olduğu için bir GPU önerilir. İnce ayar tipik olarak sadece birkaç dönem sürer, bu da hesaplama yükünü bir GPU üzerinde yönetilebilir kılar.

Sıfırdan eğitmek yerine neden ince ayar yapmalıyım?

BERT, ön eğitim sırasında genel çift yönlü dil temsillerini zaten öğrenmiştir. İnce ayar, bu bilgiyi aktarım öğrenimi yoluyla yeniden kullanır, böylece sıfırdan bir model eğitmekten çok daha az etiketli veri ve hesaplama gücüyle yüksek performans elde edersiniz.

BERT ince ayarı hangi görevleri halledebilir?

Göreve özgü bir çıktı başlığı ekleyerek, aynı önceden eğitilmiş omurgayı sınıflandırma, adlandırılmış varlık tanıma ve soru yanıtlama gibi diğer metin görevleri için kullanabilirsiniz.

İlgili yöntemler

Kaynaklar

  1. Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.

    DOI kaynağını aç
    Kopyalandı.
  2. Sun, C., Qiu, X., Xu, Y. & Huang, X. (2019). How to Fine-Tune BERT for Text Classification. CCL.

    DOI kaynağını aç
    Kopyalandı.