İçeriğe atla
Arama sonuçlarına dön

GloVe Gömme Vektörleri — Kelime Temsili İçin Küresel Vektörler

Ortaya koyan
Pennington, Socher & Manning
Yıl
2014
Tür
Static word-embedding model

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

GloVe (Kelime Temsili İçin Küresel Vektörler), Pennington, Socher ve Manning (2014) tarafından tanıtılan ve tüm bir derlem boyunca toplanan küresel kelime-kelime eş-görülme istatistiklerinden doğrudan kelime vektörleri öğrenen statik bir kelime-gömme modelidir.

Elde edilen vektörler anlamsal olarak ilişkili kelimeleri birbirine yakın yerleştirir ve anlamsal analoji görevlerinde güçlü performans gösterir.

Yöntemin mantığı

Benzer bağlamlarda görünen kelimeler benzer anlamlara gelme eğilimindedir. Metni tek seferde küçük bir pencere taramak yerine, GloVe önce her kelime çiftinin tüm derlem boyunca ne sıklıkla birlikte göründüğünü sayar, ardından bu sayılar arasındaki ilişkilerin kelime vektörleri arasındaki geometrik ilişkiler olarak yakalanmasını sağlayacak şekilde vektörler uydurur. Bunun karşılığı, basit vektör aritmetiğinin anlamı yansıtmasıdır — 'kralın kadına oranı, erkeğin kadına oranı gibidir' gibi analojilerin geometriden ortaya çıkmasını sağlayan yapıdır.

Tarih

GloVe, Pennington, Socher ve Manning tarafından EMNLP 2014'te tanıtıldı. Küresel matris-çözümleme yöntemlerinin ve yerel bağlam-pencere yöntemlerinin güçlü yönlerini, küresel kelime-kelime eş-görülme matrisi üzerinde doğrudan eğitim alarak birleştiren bir model olarak konumlandırıldı ve önceden eğitilmiş statik kelime vektörlerinin yaygın olarak kullanılan bir kaynağı haline geldi.

Ne zaman kullanılır?

GloVe, her kelime için sabit, yeniden kullanılabilir bir vektör istediğinizde ve üzerinde eğitmek için büyük bir metin derleminiz olduğunda veya önceden eğitilmiş GloVe vektörlerine güvenebildiğinizde metin verilerine uyar. Makul miktarda metin gerektirir — kabaca yüz veya daha fazla belge — ve önce metin ön işleme yapılmalıdır. Anlamsal ilişkiler ve kelime benzerliği üzerine keşif çalışmaları için uygundur; metin verisi yoksa GloVe çalışamaz.

Sınırlar ve dikkat edilmesi gerekenler

  • Vektörler statiktir: her kelime bağlamdan bağımsız olarak tek bir vektör alır, bu nedenle kelime anlamları belirsizleştirilmez.
  • Sıfırdan eğitim, güvenilir vektörler üretmek için büyük bir metin derlemi gerektirir.
  • Eş-görülme istatistikleri derleme bağlıdır, bu nedenle bir alanda eğitilmiş bir model başka bir alana kötü aktarım yapabilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Yalnızca yerel bağlam pencerelerinden ziyade küresel derlem çapındaki eş-görülme istatistiklerinden öğrenir.
  • Anlamsal analoji ve kelime-benzerliği görevlerinde güçlü performans gösterir.
  • Önceden eğitilmiş GloVe vektörleri, büyük bir derlem üzerinde eğitme ihtiyacını ortadan kaldırarak doğrudan yüklenebilir.

Uygulama alanları

  • Bir kelime haznesi içindeki kelime benzerliğini ve en yakın komşuları hesaplama.
  • Vektör aritmetiği yoluyla anlamsal analoji görevlerini çözme.
  • Aşağı akış metin sınıflandırma veya kümeleme modellerine girdi olarak önceden eğitilmiş kelime özellikleri sağlama.
  • Büyük bir metin derlemindeki anlamsal yapıyı ve ilişkileri keşfetme.

Nasıl çalışır?

Nasıl çalışır?

1

Derlem, kelime haznesi tutarlı olacak şekilde kelimelere ayrılır ve temizlenir. Sayım başlamadan önce metin ön işleme gereklidir, çünkü eş-görülme istatistiklerinin kalitesi temiz, iyi tanımlanmış bir kelime haznesine bağlıdır.

2

Tüm derlem boyunca bir bağlam penceresi içinde her kelime çiftinin ne sıklıkla birlikte göründüğünü sayarak küresel bir kelime-kelime eş-görülme matrisi oluşturulur. Bu matris, GloVe'ye adını veren ve onu tamamen yerel, pencere-pencere yaklaşımlarından ayıran küresel istatistiktir.

3

GloVe, iki kelime vektörünün nokta çarpımının eş-görülme sayısının logaritmasını yaklaştıracak şekilde kelime vektörlerini eş-görülme matrisine uydurur. Çok yaygın çiftlerin baskın olmaması için sık eş-görülmeler ağırlıklandırılmaz, bu da seçilen boyutta yoğun statik vektörler üretir.

4

Eğitilmiş (veya önceden eğitilmiş) vektörler daha sonra aşağı akışta kullanılır: kelime benzerliğini ölçme, analojileri çözme veya diğer modeller için girdi özellikleri olarak hizmet etme. Büyük bir derlem sıfırdan eğitilebilir veya hazır önceden eğitilmiş GloVe vektörleri doğrudan yüklenebilir.

Sık yapılan hatalar

  • Metin ön işlemenin atlanması, gürültülü bir kelime haznesi bırakır ve modelin güvendiği eş-görülme sayılarını bozar.
  • Çok az metin üzerinde eğitim (yaklaşık 100 belgenin oldukça altında) kararsız vektörler verir — derlem küçük olduğunda önceden eğitilmiş vektörleri tercih edin.
  • GloVe'yi bağlam-farkındalığı olan bir model olarak ele alma: kelime başına sabit bir vektör atar, bu nedenle aynı kelimenin farklı anlamlarını bağlamsal modellerin yaptığı gibi ayıramaz.
  • Bir alanda veya dilde eğitilmiş vektörleri, kelime haznesinin eşleştiğini kontrol etmeden başka bir alana veya dile uygulama.

Sık sorulan sorular

GloVe, word2vec'ten nasıl farklıdır?

Her ikisi de statik kelime vektörleri üretir, ancak GloVe tüm derlemden oluşturulan küresel bir kelime-kelime eş-görülme matrisi üzerinde eğitilirken, word2vec metin boyunca taranan yerel bağlam pencerelerinden öğrenir. GloVe, matris çözümlemesinin küresel istatistik görünümünü bağlam-pencere görünümüyle birleştirmek için tasarlanmıştır.

GloVe'yi kendim eğitmem gerekir mi?

Zorunlu değil. Büyük bir derlem üzerinde sıfırdan eğitebilir veya hazır önceden eğitilmiş GloVe vektörlerini doğrudan yükleyebilirsiniz. Derleminiz küçük olduğunda, önceden eğitilmiş vektörler daha güvenli bir seçimdir.

Vektörlere neden 'statik' denir?

Her kelime, içinde göründüğü cümleden bağımsız olarak tek bir sabit vektör alır. Bu, GloVe'nin bağlamsal gömme modellerinin aksine, aynı kelimenin farklı anlamlarını bağlamdan ayıramayacağı anlamına gelir.

Ne kadar metne ihtiyacım var?

Sıfırdan eğitim, güvenilir eş-görülme istatistikleri sağlamak için büyük bir derlem gerektirir; kabaca yüz veya daha fazla belge pratik bir tabandır ve önce ön işleme yapılmalıdır. Bunun altında, önceden eğitilmiş vektörlere güvenin.

İlgili yöntemler

Kaynaklar

  1. Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. EMNLP.

    DOI kaynağını aç
    Kopyalandı.