İçeriğe atla
Arama sonuçlarına dön

Longformer / BigBird

Ortaya koyan
Beltagy, Peters & Cohan (Longformer); Zaheer et al. (BigBird)
Yıl
2020
Tür
Sparse-attention Transformer for long sequences

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Longformer (Beltagy, Peters & Cohan, 2020) ve BigBird (Zaheer et al., 2020) gibi uzun dizilim Transformer'ları, standart Transformer'ın O(n²) dikkat mekanizmasını, dizilim uzunluğuna göre doğrusal olarak O(n) ölçeklenen seyrek dikkat (sparse attention) örüntüleriyle değiştirir.

Bu, tek bir modelin, geleneksel bir Transformer'a sığmayacak binlerce belirteci (tam belgeler, yasal metinler veya genomik dizilimler) dikkate almasını sağlar.

Yöntemin mantığı

Standart bir Transformer, her belirteci diğer her belirteçle karşılaştırır, bu nedenle metni ikiye katlamak çalışmayı kabaca dört katına çıkarır; bu yüzden çoğu model 512 belirteç civarında sınırlanır. Uzun dizilim Transformer'ları, çoğu faydalı ilişkinin yerel olduğunu fark eder, bu nedenle her belirteç esas olarak kayan bir pencere (sliding window) aracılığıyla komşularına bakar, ancak az sayıda belirlenmiş belirtecin her şeye bakmasına izin verilir. Bu, maliyetin metin uzunluğuyla orantılı olarak artmasını sağlar, patlamasını önler, böylece çok uzun belgeler işlenebilir hale gelir.

Tarih

Her iki yöntem de 2020'de Transformer'ları kısa girdilerle sınırlayan karesel dikkat darboğazına yanıt olarak ortaya çıktı. Longformer (Beltagy, Peters & Cohan) uzun belgeler için kayan pencere artı küresel dikkat tanıtırken, BigBird (Zaheer et al., NeurIPS) seyrek örüntüsüne rastgele dikkat ekledi ve ifade gücü üzerine teorik sonuçlar sağladı. Birlikte, seyrek dikkati uzun dizilimleri işlemek için standart yol olarak belirlediler.

Ne zaman kullanılır?

Metniniz tipik olarak 512 belirtecin üzerinde uzun belgeler (tam raporlar, yasal metinler veya genomik dizilimler) olduğunda ve belge üzerinde sınıflandırma veya açıklama gerektiğinde uzun dizilim Transformer'larını kullanın. Gerçekten uzun girdilerin mevcut olduğunu varsayarlar, bir GPU şiddetle tavsiye edilir ve küresel belirteç konumları mantıklı bir şekilde seçilmelidir. Makul miktarda veriye ihtiyaç duyarlar: yaklaşık 500 belgenin altında model aşırı uyum eğilimindedir ve yaklaşık 100 belgenin altında eğitim anlamlı değildir ve Random Forest veya XGBoost gibi klasik ML tercih edilir.

Sınırlar ve dikkat edilmesi gerekenler

  • Bir GPU etkin olarak gereklidir; eğitim ve çıkarım hesaplama açısından yoğundur.
  • Küçük belge kümelerinde aşırı uyum gösterir — yaklaşık 500 belgenin altında sonuçlar güvenilmezdir.
  • Yaklaşık 100 belgenin altında eğitim anlamsızdır ve bunun yerine klasik ML kullanılmalıdır.
  • Küresel belirteç konumları doğru seçilmelidir, aksi takdirde uzun menzilli bilgi akışı bozulur.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Standart bir Transformer'ın penceresini aşan binlerce belirteci (tam belgeler) işler.
  • Yoğun dikkat mekanizmasının karesel O(n²) ölçeklenmesi yerine doğrusal O(n) dikkat ölçeklenmesi.
  • Uzun menzilli bilgi akışı için yerel kayan pencere bağlamını küresel belirteçlerle birleştirir.
  • Hukuk, genomik ve uzun biçimli metinlerde uzun belge sınıflandırması için uygundur.

Uygulama alanları

  • Raporlar ve makaleler gibi uzun belgelerin sınıflandırılması.
  • Standart Transformer pencerelerini aşan yasal metinlerin analizi.
  • Uzun genomik dizilimlerin modellenmesi.
  • Kesilmiş alıntılar yerine tam uzunlukta metinler üzerinde açıklama ve sınıflandırma görevleri.

Nasıl çalışır?

Nasıl çalışır?

1

Temel hamle, standart Transformer'ın yoğun, tüm-çiftler dikkatini (dizilim uzunluğu n'de O(n²) maliyetli) bırakıp, yalnızca O(n) maliyetli seyrek bir örüntüyle yaklaştırmaktır. Dikkat mekanizması darboğaz olduğu için, bu tek değişiklik binlerce belirteçlik girdilerin kilidini açan şeydir.

Formül
O(n^2) \;\rightarrow\; O(n)
2

Dikkat mekanizmasının çoğu, her belirtecin etrafındaki kayan bir pencere ile sınırlıdır, bu nedenle bir belirteç tüm dizilim yerine yakındaki sabit sayıda belirteci dikkate alır. Yerel bağlam (kelimelerin her iki tarafındaki kelimeler) sinyalin çoğunu taşır ve yalnızca bu bandın hesaplanması, maliyetin uzunlukla doğrusal olarak büyümesini sağlar.

3

Belirlenmiş az sayıda küresel belirteç (global tokens), tüm dizilimi dikkate almaya ve tüm dizilim tarafından dikkate alınmaya izin verilir, bu da modele belge boyunca uzun menzilli bilginin akması için bir yol sağlar. Bu küresel belirteç konumlarını doğru seçmek (örneğin bir sınıflandırma belirteci veya sorgu belirteçleri) önemlidir, çünkü bunlar metnin uzak kısımları arasındaki köprüdür.

4

Seyrek dikkat kodlayıcısının (sparse-attention encoder) üzerine, bir görev başlığı (task head) nihai sonucu üretir — örneğin belge düzeyinde bir sınıflandırma veya uzun girdi üzerinde açıklayıcı bir tahmin. Sonuç, 512 belirteçlik bir Transformer'ın kesmesi gerekecek tam uzunlukta belgeleri işleyebilen bir modeldir.

Sık yapılan hatalar

  • Bunu, fayda sağlamadan karmaşıklık ödeyerek standart bir 512 belirteçlik Transformer'a uyan kısa metinlere uygulamak.
  • Küresel belirteç konumlarını dikkatsizce seçmek, modelin uzun menzilli yollarını bozmak.
  • Küçük bir belge kümesi üzerinde eğitim yapmak (n birkaç yüzün altında) ve aşırı uyum sonucuna güvenmek.
  • Bir GPU olmadan eğitmeye çalışmak ve çalışabilir bir modelden vazgeçmek.

Sık sorulan sorular

Bu, BERT gibi standart bir Transformer'dan nasıl farklıdır?

Standart bir Transformer, her belirteci diğer her belirteçle O(n²) maliyetle karşılaştıran yoğun dikkat kullanır, bu da pratikte girdileri yaklaşık 512 belirteçle sınırlar. Longformer ve BigBird, seyrek dikkat kullanır — çoğunlukla yerel kayan pencereler artı birkaç küresel belirteç — bu nedenle maliyet doğrusal olarak artar ve birkaç bin belirteçlik girdiler mümkün hale gelir.

Klasik ML yerine Longformer veya BigBird'i ne zaman tercih etmeliyim?

Metniniz gerçekten uzunsa (512 belirtecin üzerinde) ve yeterli belgeniz varsa kullanın. Yaklaşık 500 belgeden az olduğunda model aşırı uyum eğilimindedir ve kabaca 100 belgeden az olduğunda eğitim anlamlı değildir — bu durumda Random Forest veya XGBoost gibi klasik yöntemler daha güvenli bir seçimdir.

Küresel belirteçler nelerdir ve neden önemlidirler?

Küresel belirteçler, tüm dizilimi dikkate almaya ve tüm dizilim tarafından dikkate alınmaya izin verilen az sayıda konumdur. Bunlar, uzun menzilli bilginin belge boyunca hareket ettiği kanaldır, bu nedenle konumlarını doğru seçmek performans için önemlidir.

Özel donanıma ihtiyacım var mı?

Bir GPU şiddetle tavsiye edilir. Bu modeller hala büyük ağlarla uzun dizilimleri işler, bu nedenle eğitim ve çıkarım, doğrusal ölçeklenen dikkatle bile hesaplama açısından yoğundur.

İlgili yöntemler

Kaynaklar

  1. Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv.

    Yayın kaynağını aç
    Kopyalandı.
  2. Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS.

    Yayın kaynağını aç
    Kopyalandı.