การฝังตัวของกราฟความรู้ (Knowledge Graph Embeddings)
- ผู้เสนอ
- Bordes, Usunier, García-Durán, Weston & Yakhnenko
- ปี
- 2013
- ประเภท
- Graph representation learning via low-dimensional vector embeddings
- กลุ่มวิธี
- Graph representation
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Knowledge Graph Embeddings (KGE) คือกลุ่มของวิธีการที่แสดงเอนทิตีและความสัมพันธ์ในกราฟความรู้ให้อยู่ในรูปของเวกเตอร์ที่มีมิติต่ำและหนาแน่นในปริภูมิต่อเนื่อง โมเดลพื้นฐาน TransE ถูกนำเสนอโดย Bordes, Usunier, García-Durán, Weston และ Yakhnenko ในปี 2013 TransE ถือว่าความสัมพันธ์แต่ละอย่างเป็นการเลื่อนตำแหน่งในปริภูมิของการฝังเวกเตอร์ — เวกเตอร์ของเอนทิตีต้นทางบวกกับเวกเตอร์ของความสัมพันธ์ควรจะประมาณค่าเวกเตอร์ของเอนทิตีปลายทางสำหรับทริปเปิลที่ถูกต้อง (h, r, t) หลักการทางเรขาคณิตที่เรียบง่ายนี้ช่วยให้สามารถทำนายลิงก์และเติมเต็มฐานความรู้ได้อย่างมีประสิทธิภาพในระดับใหญ่
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพการวางประเทศ เมืองหลวง และความสัมพันธ์ 'เป็นเมืองหลวงของ' ลงบนแผนที่ TransE กล่าวว่า: หากคุณเริ่มต้นที่เวกเตอร์ของฝรั่งเศสและเดินไปในทิศทางที่ติดป้ายว่า 'เมืองหลวง' คุณควรจะไปถึงใกล้ปารีส เอนทิตีคือจุดต่างๆ ความสัมพันธ์คือลูกศรที่เชื่อมโยงพวกมัน โมเดลเรียนรู้ตำแหน่งเหล่านี้เพื่อให้ลูกศรที่รู้จักชี้ไปในทิศทางที่ถูกต้อง ทำให้ง่ายต่อการคาดเดาข้อเท็จจริงที่ไม่รู้จัก — เช่น การค้นหาเมืองหลวงที่ยังไม่ได้ทำแผนที่ — โดยการตามลูกศรเดียวกัน
ประวัติศาสตร์
TransE ถูกนำเสนอในงาน NeurIPS 2013 โดย Bordes และคณะ เป็นทางเลือกที่ปรับขนาดได้แทนวิธีการแยกตัวประกอบเทนเซอร์ (tensor-factorization) ก่อนหน้านี้ เช่น RESCAL อุปมาอุปไมยการเลื่อนตำแหน่งที่ชาญฉลาดของมันได้เป็นแรงบันดาลใจให้เกิดคลื่นของรุ่นต่อๆ มา: TransH และ TransR (2014) อนุญาตให้ใช้ระนาบเฉพาะสำหรับความสัมพันธ์; DistMult และ ComplEx (2015–2016) สำรวจการให้คะแนนแบบทวิภาค (bilinear scoring); RotatE (2019) จำลองความสัมพันธ์เป็นการหมุนในปริภูมิเชิงซ้อน ปัจจุบัน KGE ยังคงเป็นเกณฑ์มาตรฐานพื้นฐานในวรรณกรรมเกี่ยวกับการทำให้กราฟความรู้สมบูรณ์
ควรใช้เมื่อใด
ใช้ Knowledge Graph Embeddings เมื่อคุณมีชุดข้อมูล (ประธาน, ภาคแสดง, กรรม) ทริปเปิลจำนวนมาก และต้องการอนุมานลิงก์ที่ขาดหายไป, จัดอันดับข้อเท็จจริงที่คาดคะเน, หรือสร้างคุณลักษณะมิติที่ต่ำสำหรับงานต่อเนื่อง เช่น การจำแนกเอนทิตี หรือการตอบคำถาม วิธีการ KGE สันนิษฐานว่ามีการสันนิษฐานแบบโลกเปิด (open-world assumption) สำหรับข้อเท็จจริงที่ขาดหายไป วิธีการเหล่านี้ไม่เหมาะเมื่อรูปแบบความสัมพันธ์ไม่เป็นสัจนิยม (non-transitive) อย่างมาก หรือเมื่อกราฟมีความเบาบางอย่างยิ่งโดยมีทริปเปิลน้อยต่อเอนทิตี ทางเลือกอื่น ได้แก่ Graph Neural Networks สำหรับการรวมข้อมูลเพื่อนบ้านที่สมบูรณ์ยิ่งขึ้น หรือระบบที่ใช้กฎเมื่อต้องการการให้เหตุผลเชิงตรรกะที่ชัดเจน
ข้อจำกัดและข้อควรพิจารณา
- TransE ไม่สามารถจำลองความสัมพันธ์แบบสมมาตร (symmetric) หรือแบบ 1-ต่อ-N ได้ดี เนื่องจากข้อจำกัดการเลื่อนตำแหน่งบังคับให้เอนทิตีต้นทางและปลายทางไปที่จุดเดียวกันสำหรับภาคแสดงแบบสมมาตร
- คุณภาพของการฝังเวกเตอร์จะลดลงสำหรับเอนทิตีที่มีความถี่ต่ำซึ่งปรากฏในทริปเปิลน้อยมาก ปัญหารูปแบบหางยาว (long-tail problem) ที่พบบ่อยในฐานความรู้จริง
- การฝังเวกเตอร์แบบคงที่ (static embeddings) ไม่สามารถจับการเปลี่ยนแปลงตามเวลาหรือบริบทในความสัมพันธ์ได้หากไม่มีการขยายสถาปัตยกรรมอย่างมีนัยสำคัญ
- การฝึกอบรมต้องการตัวอย่างเชิงลบที่สร้างขึ้นอย่างระมัดระวัง การสุ่มสร้างตัวอย่างเชิงลบแบบง่ายๆ จะให้ตัวอย่างเชิงลบที่ง่ายซึ่งให้สัญญาณการไล่ระดับความชันน้อย
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ปรับขนาดได้ถึงเอนทิตีและความสัมพันธ์หลายล้านรายการ โดยมีความซับซ้อนเชิงพื้นที่และเวลาเป็นเชิงเส้นตามมิติของการฝังเวกเตอร์
- สร้างการแทนค่าเวกเตอร์หนาแน่นที่นำกลับมาใช้ใหม่ได้ ซึ่งสามารถป้อนเข้าสู่ตัวจำแนก, ระบบแนะนำ, หรือโมเดลต่อเนื่องอื่นๆ
- ฟังก์ชันการให้คะแนนของ TransE มีต้นทุนการคำนวณต่ำในเวลาอนุมาน ทำให้สามารถทำนายลิงก์ได้อย่างรวดเร็วบนกราฟขนาดใหญ่มาก
- มีโมเดลให้เลือกมากมาย (TransR, RotatE, DistMult, ComplEx) ช่วยให้นักปฏิบัติสามารถเลือกรูปแบบที่เหมาะสมที่สุดกับรูปแบบความสัมพันธ์ในข้อมูลของตน
การประยุกต์ใช้
- การทำนายลิงก์และการทำให้ฐานความรู้สมบูรณ์ — การอนุมานทริปเปิล (h, r, t) ที่ขาดหายไปใน Freebase, Wikidata หรือออนโทโลยีเฉพาะทาง
- กราฟความรู้ชีวการแพทย์ — การทำนายอันตรกิริยาระหว่างยาและเป้าหมาย, ความสัมพันธ์ระหว่างยีนและโรค, และความสัมพันธ์ระหว่างโปรตีนกับโปรตีน
- ระบบแนะนำ — การเพิ่มประสิทธิภาพการกรองแบบร่วมมือ (collaborative filtering) ด้วยการฝังเวกเตอร์เอนทิตีเชิงความหมายที่ดึงมาจากกราฟความรู้ผลิตภัณฑ์หรือผู้ใช้
- การตอบคำถามผ่านฐานความรู้ — การเข้ารหัสโครงสร้างกราฟเพื่อรองรับการให้เหตุผลแบบหลายขั้นตอน (multi-hop reasoning) และการแยกแยะเอนทิตี
- การจัดตำแหน่งเอนทิตีข้ามกราฟความรู้หลายภาษา — การจับคู่เอนทิตีที่เทียบเท่ากันใน DBpedia, Wikidata และสารานุกรมเฉพาะภาษา
วิธีการทำงาน
วิธีการทำงาน
การฝังเวกเตอร์ของเอนทิตีและความสัมพันธ์ทั้งหมดจะถูกกำหนดค่าแบบสุ่มเป็นเวกเตอร์ในปริภูมิจริง d มิติ การฝังเวกเตอร์ของเอนทิตีจะถูกจำกัดให้อยู่บนทรงกลมหนึ่งหน่วย (นอร์ม L2 เท่ากับ 1) เพื่อป้องกันไม่ให้โมเดลลดค่าฟังก์ชันต้นทุนได้อย่างง่ายดายโดยการเพิ่มขนาดของเวกเตอร์ เวกเตอร์ความสัมพันธ์จะไม่ถูกทำให้เป็นมาตรฐาน ซึ่งช่วยให้สามารถเข้ารหัสขนาดการเลื่อนตำแหน่งตามทิศทางที่แตกต่างกันไปตามประเภทของความสัมพันธ์
สูตร
\mathbf{e}, \mathbf{r} \in \mathbb{R}^d, \quad \|\mathbf{e}\|_2 = 1สำหรับแต่ละทริปเปิลที่พิจารณา (h, r, t), TransE จะคำนวณคะแนนความไม่เหมือนกัน (dissimilarity score) เป็นนอร์ม L1 หรือ L2 ของเวกเตอร์ส่วนที่เหลือ h + r − t คะแนนที่ต่ำบ่งชี้ว่าการบวกเวกเตอร์ความสัมพันธ์ r เข้ากับเวกเตอร์เอนทิตีต้นทาง h สามารถสร้างเวกเตอร์เอนทิตีปลายทาง t ได้อย่างใกล้เคียง ซึ่งแสดงว่าทริปเปิลนั้นมีความเป็นไปได้ อุปมาอุปไมยการเลื่อนตำแหน่งนี้เป็นแนวคิดทางเรขาคณิตที่กำหนดลักษณะของตระกูล TransE
สูตร
f_r(h, t) = \|\mathbf{h} + \mathbf{r} - \mathbf{t}\|_{L_1/L_2}การฝึกอบรมใช้ฟังก์ชันต้นทุนการจัดอันดับแบบคู่โดยมีระยะห่าง (margin-based pairwise ranking loss) สำหรับแต่ละทริปเปิลบวกที่สังเกตได้ (h, r, t), จะมีการสร้างทริปเปิลลบที่ถูกทำให้เสียหาย (h', r, t') โดยการสุ่มแทนที่เอนทิตีต้นทางหรือปลายทางด้วยเอนทิตีอื่น โมเดลจะถูกลงโทษเมื่อใดก็ตามที่คะแนนของทริปเปิลบวกเกินกว่าคะแนนของทริปเปิลลบอยู่ไม่ถึงระยะห่าง γ, ซึ่งจะผลักดันให้ทริปเปิลที่ถูกต้องมีคะแนนต่ำและทริปเปิลที่เสียหายมีคะแนนสูง
สูตร
\mathcal{L} = \sum_{(h,r,t) \in S} \sum_{(h',r,t') \in S'} \left[\gamma + f_r(h,t) - f_r(h',t')\right]_+พารามิเตอร์ของโมเดลจะถูกอัปเดตผ่านการไล่ระดับความชันแบบสุ่มบนมินิแบตช์ หลังจากการไล่ระดับความชันแต่ละครั้ง การฝังเวกเตอร์ของเอนทิตีจะถูกฉายกลับไปยังทรงกลมหนึ่งหน่วยผ่านการทำให้เป็นมาตรฐาน L2, ซึ่งบังคับให้ไม่มีเอนทิตีใดสามารถมีอิทธิพลได้เพียงเพราะขนาดเท่านั้น อัตราการเรียนรู้ η และระยะห่าง γ เป็นไฮเปอร์พารามิเตอร์หลักที่ควบคุมการลู่เข้าและคุณภาพของการแยก
สูตร
\theta \leftarrow \theta - \eta \nabla_{\theta} \mathcal{L}, \quad \mathbf{e} \leftarrow \frac{\mathbf{e}}{\|\mathbf{e}\|_2}ข้อผิดพลาดที่พบบ่อย
- การเลือกมิติของการฝังเวกเตอร์ที่เล็กเกินไปจะทำให้เอนทิตีที่แตกต่างกันทางความหมายมารวมกัน การเลือกที่ใหญ่เกินไปจะเพิ่มความเสี่ยงของการเกิดโอเวอร์ฟิต (overfitting) บนเอนทิตีที่เบาบาง
- การใช้เฉพาะการสุ่มตัวอย่างเชิงลบที่ต้นทางหรือปลายทางเท่านั้นสามารถนำไปสู่ความเอนเอียงที่เป็นระบบ — สลับกันหรือใช้ทั้งสองกลยุทธ์ต่อแบตช์
- การทำให้เวกเตอร์ความสัมพันธ์เป็นมาตรฐานเช่นเดียวกับเวกเตอร์เอนทิตีขัดแย้งกับรูปแบบของ TransE และมักจะทำให้ประสิทธิภาพลดลง
- การประเมินผลโดยใช้เฉพาะ MRR หรือ Hits@k โดยไม่ตรวจสอบการกระจายของอันดับผกผัน (reciprocal rank distributions) อาจบดบังความล้มเหลวในประเภทความสัมพันธ์เฉพาะ
คำถามที่พบบ่อย
TransE แตกต่างจากโมเดลที่ใหม่กว่า เช่น RotatE หรือ ComplEx อย่างไร
TransE จำลองความสัมพันธ์เป็นการเลื่อนตำแหน่งแบบบวกในปริภูมิค่าจริง ซึ่งมีปัญหาเกี่ยวกับความสัมพันธ์แบบสมมาตรและแบบ 1-ต่อ-N RotatE แสดงความสัมพันธ์เป็นการหมุนในปริภูมิเชิงซ้อน ซึ่งจัดการรูปแบบสมมาตร, สมมาตรผกผัน (antisymmetry), และการผกผัน (inversion) ได้อย่างเป็นธรรมชาติ ComplEx ใช้การฝังเวกเตอร์ค่าเชิงซ้อนและการคูณจุดแบบเฮอร์มิเชียน (Hermitian dot product) ซึ่งจับความสัมพันธ์แบบไม่สมมาตรที่ TransE ไม่สามารถทำได้ แม้จะมีความก้าวหน้าเหล่านี้ TransE ยังคงเป็นเกณฑ์มาตรฐานที่แข็งแกร่งเนื่องจากความเรียบง่ายและความเร็ว
บทบาทของไฮเปอร์พารามิเตอร์ระยะห่าง γ ในการฝึกอบรมคืออะไร
ระยะห่าง γ กำหนดช่องว่างคะแนนขั้นต่ำที่จำเป็นระหว่างทริปเปิลบวกและลบ ค่า γ ที่ใหญ่ขึ้นต้องการการแยกที่กว้างขึ้น ซึ่งสามารถปรับปรุงการจำแนกได้ แต่อาจมีความเสี่ยงที่จะลงโทษตัวอย่างเชิงลบที่ยากเกินไปในช่วงต้นของการฝึกอบรม ค่า γ ที่เล็กกว่าอาจทำให้เกิดการเรียนรู้ไม่เพียงพอ (underfit) ค่าทั่วไปอยู่ในช่วง 0.5 ถึง 10 และ γ มักจะถูกปรับโดยใช้ประสิทธิภาพบนชุดข้อมูลตรวจสอบสำหรับ Hits@10 หรือ MRR
การฝังเวกเตอร์กราฟความรู้สามารถจัดการกับการให้เหตุผลแบบหลายขั้นตอนได้หรือไม่
โมเดล KGE แบบชั้นเดียว เช่น TransE สามารถจับคะแนนแบบขั้นตอนเดียวได้ แต่มีปัญหาเกี่ยวกับสายโซ่แบบหลายขั้นตอนที่ชัดเจน ส่วนขยาย เช่น โมเดลที่ใช้เส้นทาง (path-based models) (PTransE) หรือโมเดลผสมผสานระหว่างโครงข่ายประสาทเทียมและสัญลักษณ์ (neural-symbolic hybrids) จะรวมการฝังเวกเตอร์ความสัมพันธ์ตามเส้นทางเพื่อจัดการกับการให้เหตุผลแบบสองและสามขั้นตอน บ่อยครั้งที่รูปแบบ Graph Neural Network ที่เผยแพร่ข้อมูลเพื่อนบ้านผ่านหลายชั้นจะถูกเลือกสำหรับงานอนุมานแบบหลายขั้นตอนที่ซับซ้อน
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Bordes, A., Usunier, N., García-Durán, A., Weston, J., & Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data. Advances in Neural Information Processing Systems, 26.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว