Word2Vec — Kelime Gömülüleri
- Ortaya koyan
- Tomas Mikolov et al.
- Yıl
- 2013
- Tür
- Neural word-embedding model
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Word2Vec, Mikolov ve meslektaşları tarafından 2013 yılında tanıtılan, bir metin kümesindeki her kelimeyi yoğun bir sayısal vektöre eşleyen bir sinirsel kelime gömme tekniğidir.
Benzer bağlamlarda görünen kelimeler vektör uzayında birbirine yakın konumlanır, böylece gömülüler aritmetik olarak ölçülebilen anlamsal benzerliği yakalar.
Yöntemin mantığı
Bir bilgisayar kelimelerin anlamını doğrudan karşılaştıramaz, ancak kelimelerin birlikte kullanıldığı bağlamlardan öğrenebilir. Word2Vec büyük bir metin kümesini okur ve hangi kelimelerin diğer kelimelerin etrafında bulunma eğiliminde olduğunu fark eder. Benzer bağlamlarda kullanılan kelimeler benzer vektörler alır, bu nedenle 'kral' 'kraliçe'ye yakın, 'muz'dan ise uzakta konumlanır. Anlam, uzaydaki konum olarak kodlanır ve benzerlik, hesaplayabileceğiniz bir mesafeye dönüşür.
Tarih
Word2Vec, Mikolov ve meslektaşları tarafından 2013 yılında vektör uzayında kelime temsillerini tahmin etmek için verimli bir yol olarak tanıtıldı ve skip-gram ile sürekli kelime torbası mimarilerini sundu. Yoğun dağıtılmış kelime gömülülerini popülerleştirdi ve bunu GloVe gibi ilgili yaklaşımlar ve daha sonra bağlamsal gömülüler izledi.
Ne zaman kullanılır?
Büyük, etiketlenmemiş bir metin kümeniz olduğunda ve kelimeler arasındaki anlamsal benzerliği yakalayan yoğun vektör temsilleri istediğinizde Word2Vec kullanın. Metnin keşifsel ve ilişkisel analizi için uygundur. Makul büyüklükte bir metin kümesi (kabaca yüz belge veya daha fazla, ideal olarak çok daha büyük) gereklidir; küçük metin kümelerinde model anlamlı gömülüler öğrenemez ve GloVe gibi önceden eğitilmiş vektörler daha iyi bir seçimdir. Hiç metin verisi yoksa, kelime gömülüleri oluşturulamaz.
Sınırlar ve dikkat edilmesi gerekenler
- Büyük bir metin kümesi gerektirir; küçük metin kümeleri kararsız, anlamsız gömülüler üretir.
- Eğitimden önce dikkatli metin ön işleme gerektirir.
- Kelime başına bir vektör atar, bu nedenle aynı kelimenin farklı anlamlarını bağlamdan ayırt edemez.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Anlamsal benzerliği yakalar, böylece ilgili kelimeler vektör uzayında birbirine yakın konumlanır.
- Sonraki metin görevleri için sayısal özellikler olarak hizmet eden kompakt yoğun vektörler üretir.
- Yalnızca etiketlenmemiş metinden öğrenir — manuel etiketlemeye gerek yoktur.
Uygulama alanları
- Arama ve öneri için kelimeler arasındaki anlamsal benzerliği ölçmek.
- Metin kümeleme ve sınıflandırmayı besleyen sayısal kelime özellikleri oluşturmak.
- Büyük bir metin kümesi içinde ilişkileri ve analojileri keşfetmek.
- Araştırma ve endüstride alana özgü metin kümelerinden sözlüksel kaynaklar oluşturmak.
Nasıl çalışır?
Nasıl çalışır?
Büyük bir metin kümesi temizlenir ve kelime dizisine dönüştürülerek belirteçlere ayrılır. Word2Vec, anlamlı gömülüler elde etmek için yeterince büyük bir metin kümesine — en az birkaç bin cümleye — ihtiyaç duyar, çünkü gömülüler tamamen birlikte geçme (co-occurrence) kalıplarından öğrenilir ve çok az metin kararsız, anlamsız vektörler üretir.
Her kelime, kayan bir bağlam penceresi içinde onu çevreleyen kelimelerle eşleştirilir. Bu (hedef kelime, bağlam kelimesi) çiftleri eğitim sinyalidir: hangi kelimelerin birlikte göründüğünü kodlarlar ve bağlamsal olarak benzer kelimelerin benzer vektörlere sahip olması gerektiği öğreniminin temelini oluştururlar.
Sığ bir sinir ağı, bağlam çiftleri üzerinde, ya skip-gram mimarisi (hedef kelimeden çevreleyen kelimeleri tahmin etme) ya da sürekli kelime torbası (continuous bag-of-words) (çevreleyen kelimelerden hedef kelimeyi tahmin etme) kullanılarak eğitilir. Ağın ağırlıkları, benzer bağlamlardaki kelimeler benzer vektörler alana kadar ayarlanır.
Eğitimden sonra, her kelime öğrenilmiş yoğun vektörüyle temsil edilir — genellikle 100 ila 300 boyutlu. Bu gömülüler daha sonra ilgili kelimeleri bulmak için kosinüs benzerliği ile karşılaştırılabilir veya kümeleme veya sınıflandırma gibi sonraki görevleri besleyen sayısal özellikler olarak kullanılabilir.
Sık yapılan hatalar
- Çok küçük bir metin kümesi üzerinde eğitim (yaklaşık 100 belgenin altında) anlam yerine gürültü üretir — bunun yerine önceden eğitilmiş GloVe vektörlerini tercih edin.
- Ön işlemeyi atlamak, öğrenilen vektörleri kirleten gürültülü belirteçler bırakır.
- Hiç metin verisi olmadan gömülüleri oluşturmaya çalışmak — Word2Vec'in öğrenecek hiçbir şeyi yoktur; bunun yerine yapılandırılmış verileri kümeleyin.
- Kelimenin her anlamını yakalıyormuş gibi, kelime başına tek bir statik vektörü ele almak.
Sık sorulan sorular
Skip-gram ve CBOW arasındaki fark nedir?
Her ikisi de gömülüleri öğrenmek için sığ sinir mimarileridir. Skip-gram, belirli bir hedef kelimeden çevreleyen bağlam kelimelerini tahmin ederken, sürekli kelime torbası (CBOW) hedef kelimeyi çevreleyen bağlamından tahmin eder. Karşılaştırılabilir gömülüler üretirler, skip-gram genellikle daha küçük metin kümelerinde ve nadir kelimelerde daha iyi performans gösterir.
Metin kümem ne kadar büyük olmalı?
Word2Vec tamamen birlikte geçme (co-occurrence) yoluyla öğrenir, bu nedenle yeterince büyük bir metin kümesine ihtiyaç duyar. Çok küçük metinlerde (yaklaşık yüz belgenin altında) anlamlı vektörler öğrenemez; bu durumda GloVe gibi önceden eğitilmiş gömülüler daha güvenli bir seçimdir.
İki kelime arasındaki benzerliği nasıl ölçerim?
Öğrenilmiş vektörlerini kosinüs benzerliği ile karşılaştırın. Benzer bağlamlarda kullanılan kelimeler benzer vektörler alır, bu nedenle yüksek bir kosinüs benzerliği anlamsal olarak ilişkili kelimeleri gösterir.
Word2Vec, aynı kelimenin farklı anlamlarını ayırt edebilir mi?
Hayır. Kelime başına tek bir statik vektör atar ve tüm anlamları bir araya getirir. Kelime anlamlarını bağlamdan ayırt etmek, Word2Vec yerine bağlamsal gömme modelleri gerektirir.
İlgili yöntemler
Kaynaklar
Mikolov, T., Chen, K., Corrado, G. & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space.
Yayın kaynağını açKopyalandı.