Graph Attention Network
- ผู้เสนอ
- Veličković, P. et al.
- ปี
- 2018
- ประเภท
- Graph neural network (attention-based)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Graph Attention Network (GAT) ซึ่งเปิดตัวโดย Veličković และคณะในปี 2018 เป็นเครือข่ายประสาทเทียมแบบกราฟ (graph neural network) รูปแบบหนึ่งที่เรียนรู้ว่าจะให้ความสำคัญกับโหนดเพื่อนบ้านแต่ละโหนดมากน้อยเพียงใดผ่านกลไกการใส่ใจตนเอง (self-attention mechanism) GAT ให้ผลลัพธ์ที่เหนือกว่าเครือข่ายประสาทเทียมแบบกราฟเชิงสังวัตนาการ (graph convolutional networks - GCN) ในการจำแนกประเภทแบบสัมพันธ์ (relational classification) และในสภาพแวดล้อมแบบไม่เป็นเนื้อเดียวกัน (heterogeneous neighbourhoods)
แนวคิดเบื้องหลังวิธีการ
เมื่อข้อมูลมีโครงสร้างเป็นกราฟ โหนดแต่ละโหนดจะถูกอธิบายไม่เพียงแต่ด้วยคุณลักษณะของตัวมันเองเท่านั้น แต่ยังรวมถึงโหนดเพื่อนบ้านของมันด้วย เครือข่ายกราฟรุ่นก่อนๆ ปฏิบัติกับเพื่อนบ้านทุกโหนดอย่างเท่าเทียมกันเมื่อรวมข้อมูลเข้าด้วยกัน แต่ GAT ช่วยให้แต่ละโหนดสามารถเรียนรู้ได้ว่าเพื่อนบ้านใดมีความสำคัญที่สุดสำหรับงานที่ทำอยู่ และให้น้ำหนักการมีส่วนร่วมตามลำดับ ดังนั้น โหนดจึงได้รับประโยชน์จากการเชื่อมต่อที่มีข้อมูลมากที่สุด และได้รับประโยชน์น้อยลงจากการเชื่อมต่อที่ไม่มีข้อมูล
ประวัติศาสตร์
Graph Attention Networks ถูกนำเสนอโดย Veličković และคณะที่ ICLR 2018 โดยนำกลไกการใส่ใจตนเองมาใช้กับเครือข่ายประสาทเทียมแบบกราฟ เพื่อให้น้ำหนักความสำคัญของเพื่อนบ้านแต่ละรายถูกเรียนรู้ แทนที่จะถูกกำหนดไว้ตายตัว การศึกษาติดตามผลในปี 2022 โดย Brody และคณะ ในหัวข้อ How Attentive are Graph Attention Networks? ได้ตรวจสอบความสามารถในการแสดงออก (expressiveness) ของสูตรความใส่ใจดั้งเดิม และเสนอการปรับปรุง ซึ่งช่วยเพิ่มความเข้าใจเกี่ยวกับวิธีการที่ GAT ให้ความใส่ใจกับเพื่อนบ้าน
ควรใช้เมื่อใด
ควรใช้ GAT เมื่อข้อมูลของคุณมีโครงสร้างกราฟอยู่แล้วพร้อมคุณลักษณะโหนดที่คำนวณไว้ และคุณต้องการการจำแนกประเภทโหนด (node classification) หรือการเรียนรู้แบบสัมพันธ์ (relational learning) โดยทั่วไปต้องมีโหนดอย่างน้อยประมาณ 200 โหนด และควรมีหลายร้อยโหนดหรือมากกว่านั้น GAT ไม่ได้สมมติว่าข้อมูลมีการแจกแจงแบบปกติ (normally distributed) และสามารถทำงานกับคุณลักษณะโหนดทั้งแบบต่อเนื่อง (continuous) และแบบจำแนกประเภท (categorical) ได้ แนะนำให้ใช้ GPU สำหรับกราฟที่มีโหนดน้อยกว่าประมาณ 500 โหนด น้ำหนักความใส่ใจจะไม่สามารถเรียนรู้ได้อย่างน่าเชื่อถือและมีความเสี่ยงที่จะเกิดการเรียนรู้เกิน (overfitting) สำหรับกราฟขนาดเล็กมาก (น้อยกว่าประมาณ 100 โหนด) วิธีการเรียนรู้ของเครื่องแบบดั้งเดิม (classical machine-learning methods) จะเป็นทางเลือกที่ปลอดภัยกว่า
ข้อจำกัดและข้อควรพิจารณา
- ต้องการโครงสร้างกราฟที่มีอยู่และคุณลักษณะโหนดที่คำนวณไว้ล่วงหน้า
- แนะนำให้ใช้ GPU การฝึกโมเดลมีความต้องการทรัพยากรในการคำนวณสูง
- บนกราฟขนาดเล็ก (น้อยกว่าประมาณ 500 โหนด) น้ำหนักความใส่ใจจะไม่สามารถเรียนรู้ได้อย่างน่าเชื่อถือและโมเดลจะเกิดการเรียนรู้เกิน
- สำหรับเครือข่ายขนาดเล็กมาก (น้อยกว่าประมาณ 100 โหนด) โมเดลจะไม่มีความหมายและวิธีการเรียนรู้ของเครื่องแบบดั้งเดิมจะเหมาะสมกว่า
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- เรียนรู้ความสำคัญของเพื่อนบ้านผ่านกลไกการใส่ใจตนเอง แทนที่จะปฏิบัติต่อเพื่อนบ้านทุกโหนดอย่างเท่าเทียมกัน
- ให้ผลลัพธ์ที่เหนือกว่าเครือข่ายประสาทเทียมแบบกราฟเชิงสังวัตนาการ (GCN) ในสภาพแวดล้อมแบบไม่เป็นเนื้อเดียวกันและการจำแนกประเภทแบบสัมพันธ์
- ข้อสมมติฐานน้อย: ไม่จำเป็นต้องมีการแจกแจงแบบปกติ และสามารถจัดการกับคุณลักษณะโหนดทั้งแบบต่อเนื่องและแบบจำแนกประเภทได้
- หัวความใส่ใจหลายหัวช่วยให้การเรียนรู้บนข้อมูลที่มีโครงสร้างกราฟมีความเสถียร
การประยุกต์ใช้
- การจำแนกประเภทโหนดบนข้อมูลที่มีโครงสร้างกราฟ
- การเรียนรู้แบบสัมพันธ์ระหว่างเอนทิตีที่เชื่อมต่อกัน
- การสร้างแบบจำลองสภาพแวดล้อมแบบไม่เป็นเนื้อเดียวกันที่ GCN ทำงานได้ไม่ดีนัก
- งานที่ต้องเรียนรู้น้ำหนักความสำคัญสัมพัทธ์ของการเชื่อมต่อ
วิธีการทำงาน
วิธีการทำงาน
โหนดแต่ละโหนดและคุณลักษณะของมันจะถูกแปลงโดยเมทริกซ์น้ำหนักที่ใช้ร่วมกัน (shared weight matrix) จากนั้น สำหรับคู่โหนดที่เชื่อมต่อกันแต่ละคู่ โมเดลจะคำนวณคะแนนความใส่ใจ (attention score) ที่วัดว่าเพื่อนบ้านหนึ่งมีความเกี่ยวข้องกับอีกโหนดหนึ่งมากน้อยเพียงใด ซึ่งจับแนวคิดที่ว่าไม่ใช่ทุกการเชื่อมต่อจะมีน้ำหนักเท่ากัน
สูตร
e_{ij} = a(W h_i, W h_j)คะแนนความใส่ใจดิบ (raw attention scores) สำหรับเพื่อนบ้านทั้งหมดของโหนดจะถูกส่งผ่านฟังก์ชัน softmax เพื่อให้ผลรวมเท่ากับหนึ่ง สิ่งนี้จะเปลี่ยนคะแนนให้เป็นน้ำหนักความสำคัญที่เปรียบเทียบกันได้ ซึ่งบอกโหนดว่าควรได้รับส่วนแบ่งการแสดงผลที่อัปเดต (updated representation) จากเพื่อนบ้านแต่ละรายเป็นสัดส่วนเท่าใด
สูตร
\alpha_{ij} = \operatorname{softmax}_j(e_{ij})โหนดแต่ละโหนดจะสร้างการแสดงผลใหม่เป็นการรวมกันของผลคูณระหว่างคุณลักษณะที่แปลงแล้วของเพื่อนบ้านกับน้ำหนักความใส่ใจ (attention-weighted sum) ซึ่งส่งผ่านฟังก์ชันไม่เชิงเส้น (nonlinearity) การใช้หัวความใส่ใจหลายหัว (multiple attention heads) แบบขนานช่วยให้กระบวนการนี้มีเสถียรภาพ และการซ้อนชั้น (stacking layers) ช่วยให้ข้อมูลไหลข้ามไปยังละแวกใกล้เคียงที่ใหญ่ขึ้นได้ ซึ่งเป็นสิ่งที่ทำให้ GAT มีความได้เปรียบในกราฟแบบไม่เป็นเนื้อเดียวกันและแบบสัมพันธ์
สูตร
h_i' = \sigma\!\left(\sum_{j \in \mathcal{N}_i} \alpha_{ij} W h_j\right)ข้อผิดพลาดที่พบบ่อย
- การใช้ GAT กับกราฟขนาดเล็กซึ่งไม่สามารถเรียนรู้น้ำหนักความใส่ใจได้อย่างน่าเชื่อถือ ซึ่งนำไปสู่การเรียนรู้เกิน
- การลืมว่าต้องมีโครงสร้างกราฟที่ใช้งานได้อยู่ก่อนที่โมเดลจะสามารถนำไปใช้ได้
- การคำนวณหรือการจัดเตรียมคุณลักษณะโหนดที่ไม่สอดคล้องกัน ซึ่งกลไกความใส่ใจขึ้นอยู่กับสิ่งนี้
- การฝึกโมเดลโดยไม่มี GPU และการประเมินต้นทุนการคำนวณต่ำเกินไป
คำถามที่พบบ่อย
GAT แตกต่างจากเครือข่ายประสาทเทียมแบบกราฟเชิงสังวัตนาการ (GCN) อย่างไร?
GCN รวมเพื่อนบ้านของโหนดเข้าด้วยกันด้วยน้ำหนักที่ขึ้นอยู่กับโครงสร้างกราฟเท่านั้น โดยปฏิบัติต่อการเชื่อมต่อในลักษณะที่คงที่ แต่ GAT เรียนรู้น้ำหนักความใส่ใจเพื่อให้แต่ละโหนดตัดสินใจว่าเพื่อนบ้านใดมีความสำคัญที่สุด ซึ่งเป็นเหตุผลว่าทำไมจึงมักทำงานได้ดีกว่าในสภาพแวดล้อมแบบไม่เป็นเนื้อเดียวกันและการจำแนกประเภทแบบสัมพันธ์
GAT ต้องการข้อมูลจำนวนเท่าใด?
GAT ถูกออกแบบมาสำหรับกราฟที่มีโหนดอย่างน้อยประมาณ 200 โหนด สำหรับกราฟที่มีโหนดน้อยกว่าประมาณ 500 โหนด น้ำหนักความใส่ใจจะไม่สามารถเรียนรู้ได้อย่างน่าเชื่อถือและมีความเสี่ยงที่จะเกิดการเรียนรู้เกิน และสำหรับเครือข่ายขนาดเล็กมาก (น้อยกว่าประมาณ 100 โหนด) วิธีการเรียนรู้ของเครื่องแบบดั้งเดิมจะเป็นทางเลือกที่ดีกว่า
ฉันต้องใช้ GPU เพื่อใช้ GAT หรือไม่?
แนะนำให้ใช้ GPU เนื่องจาก GAT เป็นโมเดลการเรียนรู้เชิงลึก (deep learning model) ที่ฝึกบนละแวกใกล้เคียงของกราฟด้วยหัวความใส่ใจหลายหัว จึงต้องการทรัพยากรในการคำนวณสูง และ GPU ทำให้การฝึกโมเดลเป็นไปได้ในทางปฏิบัติ
ฉันต้องเตรียมอะไรบ้างก่อนที่จะใช้ GAT?
คุณต้องมีโครงสร้างกราฟที่มีอยู่และคุณลักษณะโหนดที่คำนวณไว้แล้ว เนื่องจากกลไกความใส่ใจทำงานบนคุณลักษณะของโหนดที่เชื่อมต่อกัน
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Veličković, P. et al. (2018). Graph Attention Networks. ICLR.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วBrody, S. et al. (2022). How Attentive are Graph Attention Networks? ICLR.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว