Bilgi Grafiği Gömme (Knowledge Graph Embeddings - KGE)
- Ortaya koyan
- Bordes, Usunier, García-Durán, Weston & Yakhnenko
- Yıl
- 2013
- Tür
- Graph representation learning via low-dimensional vector embeddings
- Aile
- Graph representation
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Bilgi Grafiği Gömme (KGE) yöntemleri, bir bilgi grafiğindeki varlıkları ve ilişkileri sürekli bir uzayda yoğun, düşük boyutlu vektörler olarak temsil eden bir yöntem ailesidir.
Temel model olan TransE, Bordes, Usunier, García-Durán, Weston ve Yakhnenko tarafından 2013 yılında tanıtılmıştır. TransE, her ilişkiyi gömme uzayında bir öteleme olarak ele alır — herhangi bir doğru üçlü (h, r, t) için baş varlık vektörüne ilişki vektörünün eklenmesi, kuyruk varlık vektörünü yaklaşık olarak vermelidir. Bu basit geometrik prensip, büyük ölçekte etkili bağlantı tahmini ve bilgi tabanı tamamlama olanağı sağlamıştır.
Yöntemin mantığı
Ülkeleri, başkentleri ve 'başkentidir' ilişkisini bir harita üzerine yerleştirdiğimizi hayal edin. TransE şunu söyler: Fransa vektörü ile başlayıp 'başkent' etiketli yönde yürürseniz, Paris civarına inmelisiniz. Varlıklar noktalardır; ilişkiler onları birbirine bağlayan oklardır. Model, bilinen okların doğru yönlendirilmesini sağlayacak şekilde bu konumları öğrenir, bu da aynı okları takip ederek haritalanmamış bir başkent bulmak gibi bilinmeyen gerçekleri tahmin etmeyi kolaylaştırır.
Tarih
TransE, 2013 NeurIPS'de Bordes ve arkadaşları tarafından RESCAL gibi önceki tensör ayrıştırma yöntemlerine ölçeklenebilir bir alternatif olarak sunuldu. Zarif öteleme metaforu, bir dizi ardılını teşvik etti: TransH ve TransR (2014) ilişkiye özgü hiperdüzlemlere izin verdi; DistMult ve ComplEx (2015–2016) iki doğrusal puanlamayı araştırdı; RotatE (2019) ilişkileri karmaşık uzayda döndürmeler olarak modelledi. Bugün KGE, bilgi grafiği tamamlama literatüründe temel bir kıyaslama olmaya devam etmektedir.
Ne zaman kullanılır?
Özellikle (özne, yüklem, nesne) üçlülerinden oluşan büyük bir koleksiyonunuz olduğunda ve eksik bağlantıları çıkarmak, aday gerçekleri sıralamak veya varlık sınıflandırma veya soru yanıtlama gibi sonraki görevler için düşük boyutlu özellikler üretmek istediğinizde Bilgi Grafiği Gömme yöntemlerini kullanın. KGE yöntemleri, eksik gerçekler için açık dünya varsayımını kabul eder. İlişki örüntülerinin oldukça geçişken olmadığı veya grafiğin son derece seyrek olduğu ve varlık başına çok az üçlü içerdiği durumlarda daha az uygundurlar. Alternatifler arasında daha zengin komşuluk toplama için Grafik Sinir Ağları veya açık mantıksal akıl yürütmenin gerektiği durumlarda kural tabanlı sistemler bulunur.
Sınırlar ve dikkat edilmesi gerekenler
- TransE, simetrik veya 1-e-çok ilişkileri iyi modelleyemez çünkü öteleme kısıtlaması, simetrik yüklemler için başı ve kuyruğu aynı noktaya zorlar.
- Gömme kalitesi, gerçek dünyadaki bilgi tabanlarında yaygın olan uzun kuyruk problemi olan çok az üçlüde görünen düşük frekanslı varlıklar için bozulur.
- Statik gömmeler, önemli mimari uzantılar olmadan ilişkilerdeki zamansal veya bağlamsal değişimi yakalayamaz.
- Eğitim, dikkatlice oluşturulmuş negatif örnekler gerektirir; naif rastgele bozulma, çok az gradyan sinyali sağlayan kolay negatifler üretir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Gömme boyutunda doğrusal alan ve zaman karmaşıklığı ile milyonlarca varlık ve ilişkiye ölçeklenir.
- Sınıflandırıcılar, öneri sistemleri veya diğer sonraki modelleri besleyebilecek yeniden kullanılabilir yoğun temsiller üretir.
- TransE puanlama fonksiyonu, çıkarım zamanında hesaplama açısından ucuzdur, bu da çok büyük grafikler üzerinde hızlı bağlantı tahmini sağlar.
- Kapsamlı model kütüphanesi (TransR, RotatE, DistMult, ComplEx), uygulayıcıların verilerindeki ilişki örüntülerine en uygun varyantı seçmelerine olanak tanır.
Uygulama alanları
- Bağlantı tahmini ve bilgi tabanı tamamlama — Freebase, Wikidata veya alana özgü ontolojilerde eksik (h, r, t) üçlülerini çıkarma.
- Biyomedikal bilgi grafikleri — ilaç-hedef etkileşimlerini, gen-hastalık ilişkilerini ve protein-protein ilişkilerini tahmin etme.
- Öneri sistemleri — ürün veya kullanıcı bilgi grafiklerinden elde edilen anlamsal varlık gömmeleriyle işbirlikçi filtrelemeyi zenginleştirme.
- Bilgi grafikleri üzerinde soru yanıtlama — çok adımlı akıl yürütmeyi ve varlık belirsizliğini desteklemek için grafik yapısını kodlama.
- Çok dilli bilgi grafikleri arasında varlık hizalama — DBpedia, Wikidata ve dile özgü ansiklopedilerdeki eşdeğer varlıkları eşleştirme.
Nasıl çalışır?
Nasıl çalışır?
Tüm varlık ve ilişki gömmeleri, d-boyutlu bir reel uzayda rastgele vektörler olarak başlatılır. Modelin vektör büyüklüklerini büyüterek kaybı önemsiz bir şekilde en aza indirmesini önlemek için varlık gömmeleri birim küre üzerinde (L2 normu 1'e eşit) kalacak şekilde kısıtlanır. İlişki vektörleri normalleştirilmez, bu da onların ilişki türüne göre değişen yönlü öteleme büyüklüklerini kodlamalarına izin verir.
Formül
\mathbf{e}, \mathbf{r} \in \mathbb{R}^d, \quad \|\mathbf{e}\|_2 = 1Her aday üçlü (h, r, t) için TransE, artık vektör h + r − t'nin L1 veya L2 normu olarak bir uyumsuzluk puanı hesaplar. Düşük bir puan, ilişki vektörü r'nin baş gömme h'ye eklenmesinin kuyruk gömme t'yi yakından ürettiğini gösterir, bu da üçlünün makul olduğunu gösterir. Bu öteleme metaforu, TransE ailesinin tanımlayıcı geometrik sezgisidir.
Formül
f_r(h, t) = \|\mathbf{h} + \mathbf{r} - \mathbf{t}\|_{L_1/L_2}Eğitim, marj tabanlı ikili sıralama kaybı kullanır. Gözlemlenen her pozitif üçlü (h, r, t) için, baş veya kuyruk rastgele başka bir varlıkla değiştirilerek bozulmuş bir negatif üçlü (h', r, t') oluşturulur. Pozitif üçlünün puanı, negatif üçlünün puanını marj γ'dan daha az bir miktarda aştığı her durumda modele ceza verilir, doğru üçlüleri düşük puanlara ve bozulmuş üçlüleri yüksek puanlara iter.
Formül
\mathcal{L} = \sum_{(h,r,t) \in S} \sum_{(h',r,t') \in S'} \left[\gamma + f_r(h,t) - f_r(h',t')\right]_+Model parametreleri, mini gruplar üzerinde stokastik gradyan inişi yoluyla güncellenir. Her gradyan adımından sonra, varlık gömmeleri L2 normalizasyonu yoluyla birim küreye geri yansıtılır, bu da hiçbir varlığın yalnızca büyüklükle baskın olamayacağı kısıtlamasını zorlar. Öğrenme oranı η ve marj γ, yakınsama ve ayrım kalitesini kontrol eden anahtar hiperparametrelerdir.
Formül
\theta \leftarrow \theta - \eta \nabla_{\theta} \mathcal{L}, \quad \mathbf{e} \leftarrow \frac{\mathbf{e}}{\|\mathbf{e}\|_2}Sık yapılan hatalar
- Gömme boyutunu çok küçük seçmek anlamsal olarak farklı varlıkları çökertir; çok büyük seçmek seyrek varlıklar üzerindeki aşırı uyum riskini artırır.
- Negatif örnekleme sırasında yalnızca baş veya yalnızca kuyruk bozulmasını kullanmak sistematik yanlılıklara neden olabilir — parti başına bu stratejileri değiştirin veya her ikisini de kullanın.
- İlişki vektörlerini varlık vektörleri gibi normalleştirmek, TransE formülasyonuyla çelişir ve genellikle performansı düşürür.
- Yalnızca MRR veya Hits@k üzerinde değerlendirme yapmak, karşılıklı sıralama dağılımlarındaki hataları maskeleyebilir.
Sık sorulan sorular
TransE, daha yeni RotatE veya ComplEx gibi modellerden nasıl farklıdır?
TransE, ilişkileri reel değerli uzayda toplamsal ötelemeler olarak modeller, bu da simetrik ve 1-e-çok ilişkilerle mücadele eder. RotatE, ilişkileri karmaşık uzayda döndürmeler olarak temsil eder, simetri, antisimetri ve ters çevirme örüntülerini doğal olarak ele alır. ComplEx, karmaşık değerli gömmeler ve bir Hermitian iç çarpım kullanır, TransE'nin yapamadığı asimetrik ilişkileri yakalar. Bu ilerlemelere rağmen, TransE basitliği ve hızı nedeniyle güçlü bir temel oluşturmaya devam etmektedir.
Eğitimdeki marj hiperparametresi γ'nın rolü nedir?
Marj γ, pozitif ve negatif üçlüler arasındaki minimum gerekli puan farkını belirler. Daha büyük bir γ, daha geniş bir ayrım gerektirir, bu da ayrımcılığı iyileştirebilir ancak eğitimin başlarında zor negatifleri aşırı cezalandırma riskini taşır. Daha küçük bir γ yetersiz uyuma neden olabilir. Tipik değerler 0.5 ile 10 arasında değişir ve γ genellikle Hits@10 veya MRR üzerindeki doğrulama seti performansı aracılığıyla ayarlanır.
Bilgi grafiği gömmeleri çok adımlı akıl yürütmeyi işleyebilir mi?
TransE gibi tek katmanlı KGE modelleri tek adımlı puanlamayı yakalar ancak açık çok adımlı zincirlerle mücadele eder. Yol tabanlı modeller (PTransE) veya sinir-sembolik hibritler gibi uzantılar, iki ve üç adımlı akıl yürütmeyi işlemek için ilişki gömmelerini yollar boyunca birleştirir. Birden çok katman üzerinde komşuluk bilgilerini yayan Grafik Sinir Ağı varyantları, derin çok adımlı çıkarım görevleri için sıklıkla tercih edilir.
İlgili yöntemler
Kaynaklar
Bordes, A., Usunier, N., García-Durán, A., Weston, J., & Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data. Advances in Neural Information Processing Systems, 26.
Yayın kaynağını açKopyalandı.