İçeriğe atla
Arama sonuçlarına dön

Transformer (Doğal Dil İşleme)

Ortaya koyan
Vaswani, A. et al.
Yıl
2017
Tür
Attention-based deep neural network

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Transformer, 2017 yılında Vaswani ve arkadaşları tarafından tanıtılan, dikkat mekanizmasına dayalı bir derin öğrenme modelidir.

Bu model, bir dizideki her bir belirtecin (token) diğer tüm belirteçlere doğrudan dikkat etmesine izin vererek metin sınıflandırma, adlandırılmış varlık tanıma ve dil modelleme gibi görevleri yerine getirir. Önceki tekrarlayan tasarımların yerini, tüm dizileri paralel olarak işleyen bir öz-dikkat mekanizması almıştır.

Yöntemin mantığı

Önceki dizi modelleri metni kelime kelime okur, bir cümledeki uzak kelimeleri birbirine bağlamakta zorlanırdı. Transformer ise her kelimenin diğer tüm kelimelere aynı anda bakmasına ve kendi anlamı için hangilerinin önemli olduğuna karar vermesine olanak tanır. Bu dikkat mekanizması, modelin dildeki uzun menzilli bağlamı yakalamasını ve metnin zengin, yeniden kullanılabilir temsillerini öğrenmesini sağlar.

Tarih

Transformer, 2017 tarihli Attention Is All You Need makalesinde Vaswani ve arkadaşları tarafından tanıtıldı. Bu makale, tekrarlama olmadan tamamen dikkate dayalı bir mimarinin önceki dizi modellerini eşleştirebileceğini veya geçebileceğini gösterdi. BERT ve GPT gibi önceden eğitilmiş dil modelleri için temel oluşturdu ve bu modeller artık çoğu doğal dil işleme görevi için standart başlangıç noktasıdır.

Ne zaman kullanılır?

Derin bağlamsal dil anlayışının önemli olduğu büyük metin veri kümelerinde (en az yaklaşık 500 belge) metin sınıflandırma, adlandırılmış varlık tanıma ve dil modelleme için uygundur. Normal dağılımlı verileri gerektirmez, ancak büyük bir metin veri kümesi varsayar ve önceden eğitilmiş bir modelin (BERT veya GPT gibi) kullanılması önerilir. Yaklaşık 500 örneğin altında dikkat mekanizması güvenilir örüntüler öğrenemez ve yaklaşık 100 örneğin altında derin bir model anlamsızdır; Rastgele Orman veya XGBoost gibi klasik makine öğrenmesi daha güvenli bir seçenektir.

Sınırlar ve dikkat edilmesi gerekenler

  • Güvenilir örüntüler öğrenmek için büyük metin veri kümeleri (yaklaşık 500 örnek veya daha fazla) gerektirir.
  • Yaklaşık 100 örneğin altında, derin model eğitimi anlamsızdır ve klasik ML yeterlidir.
  • Eğitim hesaplama açısından pahalıdır ve tipik olarak önceden eğitilmiş modellere dayanır.
  • Dahili temsilleri, açık katsayılı modellerle karşılaştırıldığında yorumlanması zordur.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Öz-dikkat, kelime kelime tekrarlayan modellerin aksine, tüm dizi boyunca uzun menzilli bağımlılıkları yakalar.
  • Dizileri paralel olarak işler, bu da büyük metin veri kümeleri üzerinde eğitimi çok daha ölçeklenebilir hale getirir.
  • Önceden eğitilmiş modeller (BERT, GPT), sınırlı etiketli verilere sahip görevlere bilgi aktararak ince ayarlanabilir.
  • Tek bir mimari içinde çeşitli dil görevlerini (sınıflandırma, NER ve dil modelleme) ele alır.
  • Dağılımsal varsayım yok: normal dağılımlı verileri gerektirmez.

Uygulama alanları

  • Metin sınıflandırma, örneğin duygu veya konu etiketlemesi.
  • Belgeler üzerinde adlandırılmış varlık tanıma (NER).
  • Dil modelleme ve sonraki belirteç tahmini.
  • Alan özel metin görevleri için önceden eğitilmiş dil modellerini ince ayarlama.

Nasıl çalışır?

Nasıl çalışır?

1

Ham metin belirteçlere ayrılır ve her belirteç sayısal bir vektöre (gömme - embedding) dönüştürülür. Dikkat mekanizmasının yerleşik bir sıra kavramı olmadığından, modelin her belirtecin dizideki yerini bilmesi için bu vektörlere konum bilgisi eklenir.

2

Öz-dikkat mekanizması her belirteci diğer tüm belirteçlerle karşılaştırır: sorgular, anahtarlarla eşleştirilerek dikkat ağırlıkları üretilir ve bu ağırlıklar değer vektörlerini birleştirmek için kullanılır. Bu tür birçok dikkat katmanının üst üste yığılması, modelin her belirtecin tüm diziden bilgi aldığı bağlamsal bir temsil oluşturmasını sağlar.

Formül
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
3

Bağlamsal temsiller, göreve özgü bir başlığa (metin sınıflandırması için bir etiket, adlandırılmış varlık tanıma için belirteç başına etiketler veya dil modellemesi için sonraki belirteç olasılıkları) beslenir. Uygulamada, büyük metin veri kümeleri üzerinde önceden eğitilmiş bir model (BERT veya GPT gibi) ilgili görev üzerinde ince ayarlanır.

Sık yapılan hatalar

  • Dikkatin kararlı örüntüler öğrenemediği küçük bir metin veri kümesine bir Transformer uygulamak.
  • BERT veya GPT gibi önceden eğitilmiş bir modeli ince ayarlamak yerine sıfırdan eğitim yapmak.
  • Örneklem büyüklüğü alt sınırını göz ardı ederek, klasik ML'nin daha iyi yapacağı yerde derin bir modele güvenmek.
  • Dikkat ağırlıklarını modelin akıl yürütmesinin kesin bir açıklaması olarak ele almak.

Sık sorulan sorular

Ne kadar metin verisine ihtiyacım var?

Dikkat mekanizmasının güvenilir örüntüler öğrenebilmesi için en az yaklaşık 500 örnek. Yaklaşık 100 örneğin altında, derin bir modelin eğitimi değmez ve Rastgele Orman veya XGBoost gibi klasik makine öğrenmesi daha iyi bir seçenektir.

Bir Transformer'ı sıfırdan eğitmeli miyim?

Genellikle hayır. BERT veya GPT gibi önceden eğitilmiş bir modeli kullanmak ve göreviniz üzerinde ince ayarlamak önerilir, çünkü bu, büyük veri kümelerinden öğrenilen bilgiyi aktarır ve çok daha az etiketli veri gerektirir.

Hangi görevleri ele alıyor?

Metin sınıflandırma, adlandırılmış varlık tanıma ve dil modelleme, hepsi aynı öz-dikkat mimarisi üzerine kuruludur.

Dikkat mekanizması neden önemlidir?

Bir dizideki her belirtecin diğer tüm belirteçlere doğrudan dikkat etmesini sağlar, bu da önceki kelime kelime tekrarlayan modellerin kötü idare ettiği uzun menzilli bağlamı yakalar.

İlgili yöntemler

Kaynaklar

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

    Yayın kaynağını aç
    Kopyalandı.