Skip to content
กลับไปยังผลการค้นหา

การฝังตัวของกราฟความรู้ (Knowledge Graph Embeddings)

ผู้เสนอ
Bordes, Usunier, García-Durán, Weston & Yakhnenko
ปี
2013
ประเภท
Graph representation learning via low-dimensional vector embeddings
กลุ่มวิธี
Graph representation

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Knowledge Graph Embeddings (KGE) คือกลุ่มของวิธีการที่แสดงเอนทิตีและความสัมพันธ์ในกราฟความรู้ให้อยู่ในรูปของเวกเตอร์ที่มีมิติต่ำและหนาแน่นในปริภูมิต่อเนื่อง โมเดลพื้นฐาน TransE ถูกนำเสนอโดย Bordes, Usunier, García-Durán, Weston และ Yakhnenko ในปี 2013 TransE ถือว่าความสัมพันธ์แต่ละอย่างเป็นการเลื่อนตำแหน่งในปริภูมิของการฝังเวกเตอร์ — เวกเตอร์ของเอนทิตีต้นทางบวกกับเวกเตอร์ของความสัมพันธ์ควรจะประมาณค่าเวกเตอร์ของเอนทิตีปลายทางสำหรับทริปเปิลที่ถูกต้อง (h, r, t) หลักการทางเรขาคณิตที่เรียบง่ายนี้ช่วยให้สามารถทำนายลิงก์และเติมเต็มฐานความรู้ได้อย่างมีประสิทธิภาพในระดับใหญ่

แนวคิดเบื้องหลังวิธีการ

ลองนึกภาพการวางประเทศ เมืองหลวง และความสัมพันธ์ 'เป็นเมืองหลวงของ' ลงบนแผนที่ TransE กล่าวว่า: หากคุณเริ่มต้นที่เวกเตอร์ของฝรั่งเศสและเดินไปในทิศทางที่ติดป้ายว่า 'เมืองหลวง' คุณควรจะไปถึงใกล้ปารีส เอนทิตีคือจุดต่างๆ ความสัมพันธ์คือลูกศรที่เชื่อมโยงพวกมัน โมเดลเรียนรู้ตำแหน่งเหล่านี้เพื่อให้ลูกศรที่รู้จักชี้ไปในทิศทางที่ถูกต้อง ทำให้ง่ายต่อการคาดเดาข้อเท็จจริงที่ไม่รู้จัก — เช่น การค้นหาเมืองหลวงที่ยังไม่ได้ทำแผนที่ — โดยการตามลูกศรเดียวกัน

ประวัติศาสตร์

TransE ถูกนำเสนอในงาน NeurIPS 2013 โดย Bordes และคณะ เป็นทางเลือกที่ปรับขนาดได้แทนวิธีการแยกตัวประกอบเทนเซอร์ (tensor-factorization) ก่อนหน้านี้ เช่น RESCAL อุปมาอุปไมยการเลื่อนตำแหน่งที่ชาญฉลาดของมันได้เป็นแรงบันดาลใจให้เกิดคลื่นของรุ่นต่อๆ มา: TransH และ TransR (2014) อนุญาตให้ใช้ระนาบเฉพาะสำหรับความสัมพันธ์; DistMult และ ComplEx (2015–2016) สำรวจการให้คะแนนแบบทวิภาค (bilinear scoring); RotatE (2019) จำลองความสัมพันธ์เป็นการหมุนในปริภูมิเชิงซ้อน ปัจจุบัน KGE ยังคงเป็นเกณฑ์มาตรฐานพื้นฐานในวรรณกรรมเกี่ยวกับการทำให้กราฟความรู้สมบูรณ์

ควรใช้เมื่อใด

ใช้ Knowledge Graph Embeddings เมื่อคุณมีชุดข้อมูล (ประธาน, ภาคแสดง, กรรม) ทริปเปิลจำนวนมาก และต้องการอนุมานลิงก์ที่ขาดหายไป, จัดอันดับข้อเท็จจริงที่คาดคะเน, หรือสร้างคุณลักษณะมิติที่ต่ำสำหรับงานต่อเนื่อง เช่น การจำแนกเอนทิตี หรือการตอบคำถาม วิธีการ KGE สันนิษฐานว่ามีการสันนิษฐานแบบโลกเปิด (open-world assumption) สำหรับข้อเท็จจริงที่ขาดหายไป วิธีการเหล่านี้ไม่เหมาะเมื่อรูปแบบความสัมพันธ์ไม่เป็นสัจนิยม (non-transitive) อย่างมาก หรือเมื่อกราฟมีความเบาบางอย่างยิ่งโดยมีทริปเปิลน้อยต่อเอนทิตี ทางเลือกอื่น ได้แก่ Graph Neural Networks สำหรับการรวมข้อมูลเพื่อนบ้านที่สมบูรณ์ยิ่งขึ้น หรือระบบที่ใช้กฎเมื่อต้องการการให้เหตุผลเชิงตรรกะที่ชัดเจน

ข้อจำกัดและข้อควรพิจารณา

  • TransE ไม่สามารถจำลองความสัมพันธ์แบบสมมาตร (symmetric) หรือแบบ 1-ต่อ-N ได้ดี เนื่องจากข้อจำกัดการเลื่อนตำแหน่งบังคับให้เอนทิตีต้นทางและปลายทางไปที่จุดเดียวกันสำหรับภาคแสดงแบบสมมาตร
  • คุณภาพของการฝังเวกเตอร์จะลดลงสำหรับเอนทิตีที่มีความถี่ต่ำซึ่งปรากฏในทริปเปิลน้อยมาก ปัญหารูปแบบหางยาว (long-tail problem) ที่พบบ่อยในฐานความรู้จริง
  • การฝังเวกเตอร์แบบคงที่ (static embeddings) ไม่สามารถจับการเปลี่ยนแปลงตามเวลาหรือบริบทในความสัมพันธ์ได้หากไม่มีการขยายสถาปัตยกรรมอย่างมีนัยสำคัญ
  • การฝึกอบรมต้องการตัวอย่างเชิงลบที่สร้างขึ้นอย่างระมัดระวัง การสุ่มสร้างตัวอย่างเชิงลบแบบง่ายๆ จะให้ตัวอย่างเชิงลบที่ง่ายซึ่งให้สัญญาณการไล่ระดับความชันน้อย

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ปรับขนาดได้ถึงเอนทิตีและความสัมพันธ์หลายล้านรายการ โดยมีความซับซ้อนเชิงพื้นที่และเวลาเป็นเชิงเส้นตามมิติของการฝังเวกเตอร์
  • สร้างการแทนค่าเวกเตอร์หนาแน่นที่นำกลับมาใช้ใหม่ได้ ซึ่งสามารถป้อนเข้าสู่ตัวจำแนก, ระบบแนะนำ, หรือโมเดลต่อเนื่องอื่นๆ
  • ฟังก์ชันการให้คะแนนของ TransE มีต้นทุนการคำนวณต่ำในเวลาอนุมาน ทำให้สามารถทำนายลิงก์ได้อย่างรวดเร็วบนกราฟขนาดใหญ่มาก
  • มีโมเดลให้เลือกมากมาย (TransR, RotatE, DistMult, ComplEx) ช่วยให้นักปฏิบัติสามารถเลือกรูปแบบที่เหมาะสมที่สุดกับรูปแบบความสัมพันธ์ในข้อมูลของตน

การประยุกต์ใช้

  • การทำนายลิงก์และการทำให้ฐานความรู้สมบูรณ์ — การอนุมานทริปเปิล (h, r, t) ที่ขาดหายไปใน Freebase, Wikidata หรือออนโทโลยีเฉพาะทาง
  • กราฟความรู้ชีวการแพทย์ — การทำนายอันตรกิริยาระหว่างยาและเป้าหมาย, ความสัมพันธ์ระหว่างยีนและโรค, และความสัมพันธ์ระหว่างโปรตีนกับโปรตีน
  • ระบบแนะนำ — การเพิ่มประสิทธิภาพการกรองแบบร่วมมือ (collaborative filtering) ด้วยการฝังเวกเตอร์เอนทิตีเชิงความหมายที่ดึงมาจากกราฟความรู้ผลิตภัณฑ์หรือผู้ใช้
  • การตอบคำถามผ่านฐานความรู้ — การเข้ารหัสโครงสร้างกราฟเพื่อรองรับการให้เหตุผลแบบหลายขั้นตอน (multi-hop reasoning) และการแยกแยะเอนทิตี
  • การจัดตำแหน่งเอนทิตีข้ามกราฟความรู้หลายภาษา — การจับคู่เอนทิตีที่เทียบเท่ากันใน DBpedia, Wikidata และสารานุกรมเฉพาะภาษา

วิธีการทำงาน

วิธีการทำงาน

1

การฝังเวกเตอร์ของเอนทิตีและความสัมพันธ์ทั้งหมดจะถูกกำหนดค่าแบบสุ่มเป็นเวกเตอร์ในปริภูมิจริง d มิติ การฝังเวกเตอร์ของเอนทิตีจะถูกจำกัดให้อยู่บนทรงกลมหนึ่งหน่วย (นอร์ม L2 เท่ากับ 1) เพื่อป้องกันไม่ให้โมเดลลดค่าฟังก์ชันต้นทุนได้อย่างง่ายดายโดยการเพิ่มขนาดของเวกเตอร์ เวกเตอร์ความสัมพันธ์จะไม่ถูกทำให้เป็นมาตรฐาน ซึ่งช่วยให้สามารถเข้ารหัสขนาดการเลื่อนตำแหน่งตามทิศทางที่แตกต่างกันไปตามประเภทของความสัมพันธ์

สูตร
\mathbf{e}, \mathbf{r} \in \mathbb{R}^d, \quad \|\mathbf{e}\|_2 = 1
2

สำหรับแต่ละทริปเปิลที่พิจารณา (h, r, t), TransE จะคำนวณคะแนนความไม่เหมือนกัน (dissimilarity score) เป็นนอร์ม L1 หรือ L2 ของเวกเตอร์ส่วนที่เหลือ h + r − t คะแนนที่ต่ำบ่งชี้ว่าการบวกเวกเตอร์ความสัมพันธ์ r เข้ากับเวกเตอร์เอนทิตีต้นทาง h สามารถสร้างเวกเตอร์เอนทิตีปลายทาง t ได้อย่างใกล้เคียง ซึ่งแสดงว่าทริปเปิลนั้นมีความเป็นไปได้ อุปมาอุปไมยการเลื่อนตำแหน่งนี้เป็นแนวคิดทางเรขาคณิตที่กำหนดลักษณะของตระกูล TransE

สูตร
f_r(h, t) = \|\mathbf{h} + \mathbf{r} - \mathbf{t}\|_{L_1/L_2}
3

การฝึกอบรมใช้ฟังก์ชันต้นทุนการจัดอันดับแบบคู่โดยมีระยะห่าง (margin-based pairwise ranking loss) สำหรับแต่ละทริปเปิลบวกที่สังเกตได้ (h, r, t), จะมีการสร้างทริปเปิลลบที่ถูกทำให้เสียหาย (h', r, t') โดยการสุ่มแทนที่เอนทิตีต้นทางหรือปลายทางด้วยเอนทิตีอื่น โมเดลจะถูกลงโทษเมื่อใดก็ตามที่คะแนนของทริปเปิลบวกเกินกว่าคะแนนของทริปเปิลลบอยู่ไม่ถึงระยะห่าง γ, ซึ่งจะผลักดันให้ทริปเปิลที่ถูกต้องมีคะแนนต่ำและทริปเปิลที่เสียหายมีคะแนนสูง

สูตร
\mathcal{L} = \sum_{(h,r,t) \in S} \sum_{(h',r,t') \in S'} \left[\gamma + f_r(h,t) - f_r(h',t')\right]_+
4

พารามิเตอร์ของโมเดลจะถูกอัปเดตผ่านการไล่ระดับความชันแบบสุ่มบนมินิแบตช์ หลังจากการไล่ระดับความชันแต่ละครั้ง การฝังเวกเตอร์ของเอนทิตีจะถูกฉายกลับไปยังทรงกลมหนึ่งหน่วยผ่านการทำให้เป็นมาตรฐาน L2, ซึ่งบังคับให้ไม่มีเอนทิตีใดสามารถมีอิทธิพลได้เพียงเพราะขนาดเท่านั้น อัตราการเรียนรู้ η และระยะห่าง γ เป็นไฮเปอร์พารามิเตอร์หลักที่ควบคุมการลู่เข้าและคุณภาพของการแยก

สูตร
\theta \leftarrow \theta - \eta \nabla_{\theta} \mathcal{L}, \quad \mathbf{e} \leftarrow \frac{\mathbf{e}}{\|\mathbf{e}\|_2}

ข้อผิดพลาดที่พบบ่อย

  • การเลือกมิติของการฝังเวกเตอร์ที่เล็กเกินไปจะทำให้เอนทิตีที่แตกต่างกันทางความหมายมารวมกัน การเลือกที่ใหญ่เกินไปจะเพิ่มความเสี่ยงของการเกิดโอเวอร์ฟิต (overfitting) บนเอนทิตีที่เบาบาง
  • การใช้เฉพาะการสุ่มตัวอย่างเชิงลบที่ต้นทางหรือปลายทางเท่านั้นสามารถนำไปสู่ความเอนเอียงที่เป็นระบบ — สลับกันหรือใช้ทั้งสองกลยุทธ์ต่อแบตช์
  • การทำให้เวกเตอร์ความสัมพันธ์เป็นมาตรฐานเช่นเดียวกับเวกเตอร์เอนทิตีขัดแย้งกับรูปแบบของ TransE และมักจะทำให้ประสิทธิภาพลดลง
  • การประเมินผลโดยใช้เฉพาะ MRR หรือ Hits@k โดยไม่ตรวจสอบการกระจายของอันดับผกผัน (reciprocal rank distributions) อาจบดบังความล้มเหลวในประเภทความสัมพันธ์เฉพาะ

คำถามที่พบบ่อย

TransE แตกต่างจากโมเดลที่ใหม่กว่า เช่น RotatE หรือ ComplEx อย่างไร

TransE จำลองความสัมพันธ์เป็นการเลื่อนตำแหน่งแบบบวกในปริภูมิค่าจริง ซึ่งมีปัญหาเกี่ยวกับความสัมพันธ์แบบสมมาตรและแบบ 1-ต่อ-N RotatE แสดงความสัมพันธ์เป็นการหมุนในปริภูมิเชิงซ้อน ซึ่งจัดการรูปแบบสมมาตร, สมมาตรผกผัน (antisymmetry), และการผกผัน (inversion) ได้อย่างเป็นธรรมชาติ ComplEx ใช้การฝังเวกเตอร์ค่าเชิงซ้อนและการคูณจุดแบบเฮอร์มิเชียน (Hermitian dot product) ซึ่งจับความสัมพันธ์แบบไม่สมมาตรที่ TransE ไม่สามารถทำได้ แม้จะมีความก้าวหน้าเหล่านี้ TransE ยังคงเป็นเกณฑ์มาตรฐานที่แข็งแกร่งเนื่องจากความเรียบง่ายและความเร็ว

บทบาทของไฮเปอร์พารามิเตอร์ระยะห่าง γ ในการฝึกอบรมคืออะไร

ระยะห่าง γ กำหนดช่องว่างคะแนนขั้นต่ำที่จำเป็นระหว่างทริปเปิลบวกและลบ ค่า γ ที่ใหญ่ขึ้นต้องการการแยกที่กว้างขึ้น ซึ่งสามารถปรับปรุงการจำแนกได้ แต่อาจมีความเสี่ยงที่จะลงโทษตัวอย่างเชิงลบที่ยากเกินไปในช่วงต้นของการฝึกอบรม ค่า γ ที่เล็กกว่าอาจทำให้เกิดการเรียนรู้ไม่เพียงพอ (underfit) ค่าทั่วไปอยู่ในช่วง 0.5 ถึง 10 และ γ มักจะถูกปรับโดยใช้ประสิทธิภาพบนชุดข้อมูลตรวจสอบสำหรับ Hits@10 หรือ MRR

การฝังเวกเตอร์กราฟความรู้สามารถจัดการกับการให้เหตุผลแบบหลายขั้นตอนได้หรือไม่

โมเดล KGE แบบชั้นเดียว เช่น TransE สามารถจับคะแนนแบบขั้นตอนเดียวได้ แต่มีปัญหาเกี่ยวกับสายโซ่แบบหลายขั้นตอนที่ชัดเจน ส่วนขยาย เช่น โมเดลที่ใช้เส้นทาง (path-based models) (PTransE) หรือโมเดลผสมผสานระหว่างโครงข่ายประสาทเทียมและสัญลักษณ์ (neural-symbolic hybrids) จะรวมการฝังเวกเตอร์ความสัมพันธ์ตามเส้นทางเพื่อจัดการกับการให้เหตุผลแบบสองและสามขั้นตอน บ่อยครั้งที่รูปแบบ Graph Neural Network ที่เผยแพร่ข้อมูลเพื่อนบ้านผ่านหลายชั้นจะถูกเลือกสำหรับงานอนุมานแบบหลายขั้นตอนที่ซับซ้อน

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Bordes, A., Usunier, N., García-Durán, A., Weston, J., & Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data. Advances in Neural Information Processing Systems, 26.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว