BERT Gömme Vektörleri — Bağlamsal Metin Temsilleri
- Ortaya koyan
- Devlin, Chang, Lee & Toutanova (Google AI)
- Yıl
- 2019
- Tür
- Contextual transformer text-representation method
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Google AI'dan Devlin ve meslektaşları tarafından 2019'da tanıtılan BERT tabanlı metin gömme vektörleri, metni iki yönlü bir Transformer kodlayıcısı kullanarak bağlama duyarlı yoğun vektörlere dönüştürür.
Bir kelimenin anlamı bağlamına göre değiştiği için, BERT, Word2Vec gibi statik yöntemlerden veya LDA gibi konu modellerinden daha zengin temsiller üretir.
Yöntemin mantığı
Bir "banka" kelimesi, bir nehir kenarında olduğundan farklı bir anlam taşır, ancak eski gömme vektör yöntemleri, nerede görünürse görünsün ona tek bir sabit vektör atar. BERT, her kelimeyi etrafındaki kelimelerle birlikte okur, böylece aynı kelime, cümlesine bağlı olarak farklı bir vektör alır. Bu bağlamsal okuma, gömme vektörlerinin statik kelime vektörlerinin kaçırdığı anlamı yakalamasını sağlar.
Tarih
BERT, büyük metin veri kümeleri üzerinde derin bir iki yönlü Transformer'ı önceden eğiten ve birçok dil anlama görevinde güçlü sonuçlar gösteren Devlin, Chang, Lee ve Toutanova (2019) tarafından tanıtıldı. Daha sonra Tenney ve meslektaşları (2019) tarafından yapılan incelemeler, BERT'in klasik Doğal Dil İşleme (NLP) işlem hattının adımlarını dahili olarak yeniden keşfettiğini gösterdi ve bu da bağlamsal gömme vektörlerinin neden bu kadar zengin dilbilimsel bilgi taşıdığını açıklamaya yardımcı oldu.
Ne zaman kullanılır?
BERT gömme vektörleri, metin verileriniz olduğunda ve bağlamı dikkate alan temsiller gerektiğinde ve önceden eğitilmiş bir modelin kapsamın dil ve alanıyla eşleştiği durumlarda uygundur. Açıklayıcı, sınıflandırma ve ilişki amaçlarına hizmet ederler. Yaklaşık 100 belgeden az olduğunda, ince ayar yapmak mümkün değildir — statik önceden eğitilmiş gömme vektörlerini (örneğin, GloVe) tercih edin — ve hiç metin verisi yoksa, BERT gömme vektörleri üretilemez.
Sınırlar ve dikkat edilmesi gerekenler
- Kapsamla eşleşmesi için uygun bir model seçilmelidir — çok dilli veya alana özgü.
- Kodlama hesaplama açısından pahalı olduğu için büyük veri kümeleri için bir GPU önerilir.
- İnce ayar, çok küçük veri kümelerinde (yaklaşık 100 belgenin altında) mümkün değildir.
- Gömme vektörleri yüksek boyutludur ve frekans veya sözlük tabanlı özelliklerden daha az doğrudan yorumlanabilir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Bağlama duyarlı: aynı kelime, çevreleyen metne bağlı olarak farklı vektörler alır.
- Word2Vec veya LDA gibi konu modelleri gibi statik yöntemlerden daha zengin temsiller.
- İki yönlü kodlama, her jetonu her iki taraftaki tam bağlam ışığında okur.
- Önceden eğitilmiş modeller birçok dili ve özel alanı kapsar, bu nedenle analiz sıfırdan eğitime gerek kalmadan başlayabilir.
Uygulama alanları
- Bağlam farkındalığı olan belge temsillerini kullanarak metin sınıflandırması.
- Belgeler veya pasajlar arasındaki anlamsal benzerliği ölçme.
- Kelime anlamının bağlama bağlı olduğu metinler üzerinde ilişki ve açıklayıcı analiz.
- Sağlık, sosyal bilimler, ekonomi ve işletme araştırmalarındaki sonraki NLP modelleri için özellik üretme.
Nasıl çalışır?
Nasıl çalışır?
Korpusa uygun önceden eğitilmiş bir BERT modeli seçilir — İngilizce olmayan veya karma dil metinleri için çok dilli bir model veya metin özel bir alandan geliyorsa alana özgü bir model. Kapsamın dil ve alanıyla eşleşen bir model seçmek, gömme vektör kalitesini en çok şekillendiren karardır.
Her belge, seçilen modelin beklediği alt kelime jetonlarına ayrılır. Jetonlama, kelimeleri modelin önceden eğitildiği birimlere ayırır, böylece bilinmeyen veya bileşik kelimeler bile temsil edilebilir.
İki yönlü Transformer kodlayıcısı, jetonlar üzerinden geçer ve her biri için bağlama duyarlı bir vektör üretir, her jetonu çevreleyen metin ışığında okur. Aynı kelime, farklı bağlamlarda farklı vektörler verir; bu da temsiline zenginliğini veren şeydir.
Ortaya çıkan gömme vektörleri, sınıflandırma, benzerlik veya ilişki analizi gibi sonraki görevlere beslenir ve daha büyük veri kümelerinde model göreve ince ayar yapılabilir. Birçok belgeyi kodlamak hesaplama açısından ağır olduğundan, büyük veri kümeleri için bir GPU önerilir.
Sık yapılan hatalar
- İngilizce bir modeli başka bir dildeki metne uygulamak kaliteyi düşürür; çok dilli veya eşleşen bir model seçin.
- BERT'i küçük bir veri kümesinde (yaklaşık 100 belgenin altında) ince ayarlamak işe yaramaz — statik önceden eğitilmiş gömme vektörlerine (örneğin, GloVe) geri dönün.
- Hiç metin verisi yoksa, BERT gömme vektörleri oluşturulamaz — bunun yerine yapılandırılmış veriler üzerinde kümelemeyi düşünün.
- Büyük veri kümelerini GPU olmadan kodlamak aşırı derecede yavaş olabilir.
Sık sorulan sorular
BERT, Word2Vec veya GloVe'dan nasıl farklıdır?
Word2Vec ve GloVe, her kelimeye bağlamdan bağımsız olarak tek bir statik vektör atar. BERT bağlamsaldır: her kelimeyi çevreleyen metinle birlikte okur ve farklı cümlelerde aynı kelime için farklı bir vektör üretir, bu da statik gömme vektörlerinin kaçırdığı anlamı yakalar.
Ne kadar metne ihtiyacım var?
Önceden eğitilmiş bir modelden gömme vektörleri oluşturmak, küçük veri kümelerinde bile (yaklaşık on belgeden itibaren) çalışır. Ancak, modeli görevinize ince ayarlamak daha büyük bir set gerektirir — yaklaşık 100 belgeden az olduğunda, bunun yerine statik önceden eğitilmiş gömme vektörlerini (örneğin, GloVe) tercih edin.
GPU'ya ihtiyacım var mı?
Küçük veri kümeleri için değil, ancak büyük olanlar için bir GPU önerilir çünkü birçok belgeyi bir Transformer aracılığıyla kodlamak hesaplama açısından ağırdır ve bir CPU'da çok yavaş olabilir.
BERT, İngilizce dışındaki dilleri işleyebilir mi?
Evet, eşleşen bir model seçtiğiniz sürece — çok dilli bir model veya veri kümenizin belirli dil veya alanı için eğitilmiş bir model. Yalnızca İngilizce bir modeli başka dildeki metinlere uygulamak, kötü sonuçların yaygın bir nedenidir.
İlgili yöntemler
Kaynaklar
Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT, 4171-4186.
DOI kaynağını açKopyalandı.Tenney, I., Das, D. & Pavlick, E. (2019). BERT Rediscovers the Classical NLP Pipeline. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), 4593-4601.
DOI kaynağını açKopyalandı.