Embedding Graf Pengetahuan
- Diperkenalkan oleh
- Bordes, Usunier, García-Durán, Weston & Yakhnenko
- Tahun
- 2013
- Jenis
- Graph representation learning via low-dimensional vector embeddings
- Keluarga
- Graph representation
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Embedding Graf Pengetahuan (KGE) adalah keluarga metode yang merepresentasikan entitas dan relasi dalam graf pengetahuan sebagai vektor padat berdimensi rendah dalam ruang kontinu.
Model dasarnya, TransE, diperkenalkan oleh Bordes, Usunier, García-Durán, Weston, dan Yakhnenko pada tahun 2013. TransE memperlakukan setiap relasi sebagai translasi dalam ruang embedding — vektor entitas kepala ditambah vektor relasi harus mendekati vektor entitas ekor untuk setiap tripel benar (h, r, t). Prinsip geometris sederhana ini memungkinkan prediksi tautan yang efektif dan penyelesaian basis pengetahuan dalam skala besar.
Intuisi di balik metode
Bayangkan menempatkan negara, ibu kota, dan relasi 'adalah-ibu-kota-dari' pada sebuah peta. TransE mengatakan: jika Anda mulai dari vektor Prancis dan berjalan ke arah yang berlabel 'ibu kota', Anda seharusnya mendarat di dekat Paris. Entitas adalah titik; relasi adalah panah yang menghubungkan mereka. Model mempelajari posisi ini sehingga panah yang diketahui menunjuk dengan benar, sehingga mudah untuk menebak fakta yang tidak diketahui — seperti menemukan ibu kota yang belum dipetakan — dengan mengikuti panah yang sama.
Sejarah
TransE disajikan pada NeurIPS 2013 oleh Bordes dan rekan-rekannya sebagai alternatif yang dapat diskalakan untuk metode faktorisasi tensor sebelumnya seperti RESCAL. Metafora translasi yang elegan menginspirasi gelombang penerus: TransH dan TransR (2014) memungkinkan bidang datar spesifik relasi; DistMult dan ComplEx (2015–2016) mengeksplorasi skor bilinear; RotatE (2019) memodelkan relasi sebagai rotasi dalam ruang kompleks. Saat ini KGE tetap menjadi tolok ukur fundamental dalam literatur penyelesaian graf pengetahuan.
Kapan digunakan
Gunakan Embedding Graf Pengetahuan ketika Anda memiliki koleksi besar tripel (subjek, predikat, objek) dan perlu menyimpulkan tautan yang hilang, memberi peringkat fakta kandidat, atau menghasilkan fitur berdimensi rendah untuk tugas hilir seperti klasifikasi entitas atau tanya jawab. Metode KGE mengasumsikan asumsi dunia terbuka untuk fakta yang hilang. Metode ini kurang cocok ketika pola relasi sangat non-transitif atau ketika graf sangat jarang dengan sedikit tripel per entitas. Alternatifnya termasuk Jaringan Saraf Graf untuk agregasi lingkungan yang lebih kaya, atau sistem berbasis aturan ketika penalaran logis eksplisit diperlukan.
Batasan dan pertimbangan
- TransE tidak dapat memodelkan relasi simetris atau 1-ke-N dengan baik karena batasan translasi memaksa kepala dan ekor ke titik yang sama untuk predikat simetris.
- Kualitas embedding menurun untuk entitas berfrekuensi rendah yang muncul dalam sangat sedikit tripel, masalah ekor panjang yang umum dalam basis pengetahuan dunia nyata.
- Embedding statis tidak dapat menangkap variasi temporal atau kontekstual dalam relasi tanpa ekstensi arsitektur yang signifikan.
- Pelatihan memerlukan sampel negatif yang dibuat dengan hati-hati; korupsi acak naif menghasilkan negatif yang mudah yang berkontribusi sedikit sinyal gradien.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Skala hingga jutaan entitas dan relasi dengan kompleksitas ruang dan waktu linier dalam dimensi embedding.
- Menghasilkan representasi padat yang dapat digunakan kembali yang dapat dimasukkan ke dalam pengklasifikasi, sistem rekomendasi, atau model hilir lainnya.
- Fungsi skor TransE secara komputasi murah pada waktu inferensi, memungkinkan prediksi tautan yang cepat pada graf yang sangat besar.
- Model yang luas (TransR, RotatE, DistMult, ComplEx) memungkinkan praktisi untuk memilih varian yang paling sesuai dengan pola relasi dalam data mereka.
Penerapan
- Prediksi tautan dan penyelesaian basis pengetahuan — menyimpulkan tripel (h, r, t) yang hilang dalam Freebase, Wikidata, atau ontologi spesifik domain.
- Graf pengetahuan biomedis — memprediksi interaksi obat-target, asosiasi gen-penyakit, dan relasi protein-protein.
- Sistem rekomendasi — memperkaya penyaringan kolaboratif dengan embedding entitas semantik yang diambil dari graf pengetahuan produk atau pengguna.
- Tanya jawab atas basis pengetahuan — mengkodekan struktur graf untuk mendukung penalaran multi-hop dan disambiguasi entitas.
- Penyelarasan entitas di seluruh graf pengetahuan multibahasa — mencocokkan entitas yang setara dalam DBpedia, Wikidata, dan ensiklopedia spesifik bahasa.
Cara kerjanya
Cara kerjanya
Semua embedding entitas dan relasi diinisialisasi secara acak sebagai vektor dalam ruang riil berdimensi d. Embedding entitas dibatasi untuk berada pada bola satuan (norma L2 sama dengan 1) untuk mencegah model secara trivial meminimalkan kerugian dengan memperbesar magnitudo vektor. Vektor relasi tidak dinormalisasi, memungkinkan mereka untuk mengkodekan magnitudo translasi terarah yang bervariasi berdasarkan tipe relasi.
Rumus
\mathbf{e}, \mathbf{r} \in \mathbb{R}^d, \quad \|\mathbf{e}\|_2 = 1Untuk setiap kandidat tripel (h, r, t), TransE menghitung skor ketidakmiripan sebagai norma L1 atau L2 dari vektor residual h + r − t. Skor rendah menunjukkan bahwa penambahan vektor relasi r ke embedding kepala h secara dekat mereproduksi embedding ekor t, menandakan bahwa tripel tersebut masuk akal. Metafora translasi ini adalah intuisi geometris yang mendefinisikan keluarga TransE.
Rumus
f_r(h, t) = \|\mathbf{h} + \mathbf{r} - \mathbf{t}\|_{L_1/L_2}Pelatihan menggunakan kerugian peringkat berpasangan berbasis margin. Untuk setiap tripel positif yang diamati (h, r, t), tripel negatif yang rusak (h', r, t') dihasilkan dengan secara acak mengganti kepala atau ekor dengan entitas yang berbeda. Model dihukum setiap kali skor tripel positif melebihi skor tripel negatif kurang dari margin γ, mendorong tripel yang benar ke skor rendah dan tripel yang rusak ke skor tinggi.
Rumus
\mathcal{L} = \sum_{(h,r,t) \in S} \sum_{(h',r,t') \in S'} \left[\gamma + f_r(h,t) - f_r(h',t')\right]_+Parameter model diperbarui melalui penurunan gradien stokastik pada mini-batch. Setelah setiap langkah gradien, embedding entitas diproyeksikan kembali ke bola satuan melalui normalisasi L2, menegakkan batasan bahwa tidak ada entitas yang dapat mendominasi hanya melalui magnitudo. Laju pembelajaran η dan margin γ adalah hiperparameter kunci yang mengontrol konvergensi dan kualitas pemisahan.
Rumus
\theta \leftarrow \theta - \eta \nabla_{\theta} \mathcal{L}, \quad \mathbf{e} \leftarrow \frac{\mathbf{e}}{\|\mathbf{e}\|_2}Kesalahan umum
- Memilih dimensi embedding yang terlalu kecil meruntuhkan entitas yang berbeda secara semantik; terlalu besar meningkatkan risiko overfitting pada entitas yang jarang.
- Menggunakan hanya korupsi kepala atau hanya ekor selama pengambilan sampel negatif dapat menimbulkan bias sistematis — bergantian atau gunakan kedua strategi per batch.
- Menormalisasi vektor relasi serta vektor entitas bertentangan dengan formulasi TransE dan biasanya merusak kinerja.
- Evaluasi hanya pada MRR atau Hits@k tanpa memeriksa distribusi peringkat timbal balik dapat menutupi kegagalan pada tipe relasi tertentu.
Pertanyaan yang sering diajukan
Bagaimana TransE berbeda dari model yang lebih baru seperti RotatE atau ComplEx?
TransE memodelkan relasi sebagai translasi aditif dalam ruang bernilai riil, yang kesulitan dengan relasi simetris dan 1-ke-N. RotatE merepresentasikan relasi sebagai rotasi dalam ruang kompleks, secara alami menangani pola simetri, antisimetri, dan inversi. ComplEx menggunakan embedding bernilai kompleks dan produk titik Hermitian, menangkap relasi asimetris yang tidak dapat ditangkap TransE. Meskipun ada kemajuan ini, TransE tetap menjadi baseline yang kuat karena kesederhanaan dan kecepatannya.
Apa peran hiperparameter margin γ dalam pelatihan?
Margin γ menetapkan celah skor minimum yang diperlukan antara tripel positif dan negatif. γ yang lebih besar menuntut pemisahan yang lebih lebar, yang dapat meningkatkan diskriminasi tetapi berisiko menghukum negatif yang sulit secara berlebihan di awal pelatihan. γ yang lebih kecil dapat menyebabkan underfitting. Nilai tipikal berkisar dari 0,5 hingga 10, dan γ biasanya disetel melalui kinerja set validasi pada Hits@10 atau MRR.
Bisakah embedding graf pengetahuan menangani penalaran multi-hop?
Model KGE lapisan tunggal seperti TransE menangkap skor satu-hop tetapi kesulitan dengan rantai multi-hop eksplisit. Ekstensi seperti model berbasis jalur (PTransE) atau hibrida neural-simbolik menyusun embedding relasi di sepanjang jalur untuk menangani penalaran dua dan tiga-hop. Varian Jaringan Saraf Graf yang menyebarkan informasi lingkungan melalui beberapa lapisan seringkali lebih disukai untuk tugas inferensi multi-hop yang dalam.
Metode terkait
Sumber
Bordes, A., Usunier, N., García-Durán, A., Weston, J., & Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data. Advances in Neural Information Processing Systems, 26.
Buka referensi publikasiDisalin.