โครงข่ายปฏิปักษ์เชิงกำเนิด
- ผู้เสนอ
- Goodfellow, I. et al.
- ปี
- 2014
- ประเภท
- Generative deep learning (adversarial two-network game)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
โครงข่ายปฏิปักษ์เชิงกำเนิด (Generative Adversarial Network - GAN) ซึ่งถูกนำเสนอโดย เอียน กู๊ดเฟลโลว์ และคณะในปี 2014 สร้างข้อมูลสังเคราะห์ที่สมจริงผ่านการแข่งขันระหว่างโครงข่ายประสาทเทียมสองโครงข่าย ได้แก่ โครงข่ายสร้างข้อมูล (generator) และโครงข่ายจำแนกข้อมูล (discriminator) เป็นที่นิยมใช้อย่างแพร่หลายในการสังเคราะห์ภาพ การเพิ่มข้อมูล และการประมาณการแจกแจง
แนวคิดเบื้องหลังวิธีการ
ลองนึกถึงนักปลอมแปลงและนักสืบที่ต้องแข่งขันกัน โครงข่ายสร้างข้อมูล (นักปลอมแปลง) พยายามสร้างตัวอย่างปลอมที่น่าเชื่อถือพอที่จะผ่านตาว่าเป็นของจริง ในขณะที่โครงข่ายจำแนกข้อมูล (นักสืบ) พยายามแยกแยะข้อมูลจริงออกจากของปลอม เมื่อแต่ละฝ่ายเก่งขึ้นเรื่อยๆ โครงข่ายสร้างข้อมูลจะถูกบังคับให้สร้างผลลัพธ์ที่สมจริงมากขึ้นเรื่อยๆ จนกระทั่งของปลอมนั้นแยกแยะได้ยากจากข้อมูลของแท้
ประวัติศาสตร์
โครงข่ายปฏิปักษ์เชิงกำเนิด (Generative Adversarial Network) ถูกนำเสนอโดย เอียน กู๊ดเฟลโลว์ และคณะในปี 2014 โดยวางกรอบการสร้างข้อมูลให้เป็นการเล่นแบบสองผู้เล่นระหว่างโครงข่ายสร้างข้อมูลและโครงข่ายจำแนกข้อมูล แนวคิดนี้ได้ก่อให้เกิดตระกูลของรูปแบบต่างๆ มากมายสำหรับการสังเคราะห์และแปลงภาพ คาร์ราส และคณะ (2020) ได้พัฒนาคุณภาพของภาพอย่างมากด้วย StyleGAN โดยวิเคราะห์และปรับปรุงความเที่ยงตรงในการสร้างข้อมูลของโมเดล เมื่อเร็วๆ นี้ โมเดลการแพร่กระจาย (diffusion models) ได้กลายเป็นทางเลือกชั้นนำสำหรับการสร้างข้อมูลคุณภาพสูง
ควรใช้เมื่อใด
ใช้ GAN เมื่อคุณต้องการสร้างตัวอย่างสังเคราะห์ที่สมจริง เช่น การสังเคราะห์ภาพ การเพิ่มข้อมูล หรือการประมาณการแจกแจง จากข้อมูลต่อเนื่องมิติสูง เช่น ภาพหรือเสียง และคุณมีชุดข้อมูลขนาดใหญ่เพียงพอ (อย่างน้อยประมาณ 500 ตัวอย่าง โดยแนะนำ 1,000 ตัวอย่างขึ้นไป) โมเดลนี้ไม่จำเป็นต้องมีข้อมูลที่แจกแจงแบบปกติ แต่ต้องการทรัพยากร GPU และต้องเฝ้าระวังความสมดุลระหว่างโครงข่ายสร้างข้อมูลและโครงข่ายจำแนกข้อมูลเพื่อป้องกันภาวะข้อมูลยุบ สำหรับชุดข้อมูลขนาดเล็ก ไม่สามารถสร้างความสมดุลระหว่างโครงข่ายปฏิปักษ์ได้ การใช้ออโตเอ็นโค้ดเดอร์แบบแปรผัน (variational autoencoder) หรือวิธีการเพิ่มข้อมูลที่ง่ายกว่าจะปลอดภัยกว่า
ข้อจำกัดและข้อควรพิจารณา
- การฝึกฝนไม่เสถียรและมีแนวโน้มที่จะเกิดภาวะข้อมูลยุบ ซึ่งโครงข่ายสร้างข้อมูลครอบคลุมเพียงบางส่วนของการแจกแจงข้อมูล
- ต้องการ GPU และข้อมูลฝึกฝนจำนวนมาก โดยทั่วไปอย่างน้อย 500 ตัวอย่าง และในทางปฏิบัติ 1,000 ตัวอย่างขึ้นไป
- ต่ำกว่าประมาณ 1,000 ตัวอย่าง ความสมดุลระหว่างโครงข่ายสร้างข้อมูลและโครงข่ายจำแนกข้อมูลไม่สามารถสร้างขึ้นได้ และความเสี่ยงของภาวะข้อมูลยุบจะสูงมาก
- ต่ำกว่าประมาณ 500 ตัวอย่าง โมเดลไม่สามารถสร้างข้อมูลที่สมจริงได้เลย และวิธีการเพิ่มข้อมูลทางเลือกจะเหมาะสมกว่า
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- สร้างข้อมูลสังเคราะห์ที่สมจริงสูง รวมถึงภาพและเสียง
- ไม่ต้องการข้อมูลที่แจกแจงแบบปกติ และจัดการกับข้อมูลนำเข้าต่อเนื่องมิติสูงได้
- มีประโยชน์สำหรับการเพิ่มข้อมูลเมื่อตัวอย่างจริงที่มีป้ายกำกับมีจำนวนจำกัด
- เหมาะสมสำหรับทั้งการทำนายและวัตถุประสงค์การประมาณการแจกแจงเชิงสำรวจ
การประยุกต์ใช้
- การสังเคราะห์ภาพและการสร้างเนื้อหาภาพที่สมจริง
- การเพิ่มข้อมูลเพื่อขยายชุดข้อมูลฝึกฝนที่มีจำนวนจำกัด
- การประมาณการแจกแจงสำหรับข้อมูลต่อเนื่องมิติสูง
- การสังเคราะห์เสียงและสัญญาณ
วิธีการทำงาน
วิธีการทำงาน
โครงข่ายสองโครงข่ายถูกตั้งค่าให้มีเป้าหมายตรงกันข้าม โครงข่ายสร้างข้อมูลแปลงสัญญาณรบกวนแบบสุ่มให้เป็นตัวอย่างสังเคราะห์ โดยมีเป้าหมายเพื่อเลียนแบบการแจกแจงข้อมูลจริง โครงข่ายจำแนกข้อมูลรับทั้งตัวอย่างจริงและตัวอย่างที่สร้างขึ้น และเรียนรู้ที่จะจำแนกความแตกต่าง เนื่องจากข้อมูลมักมีมิติสูง (ภาพ เสียง) การฝึกฝนจึงมักต้องใช้หน่วยประมวลผลกราฟิก (GPU)
โครงข่ายทั้งสองถูกฝึกฝนร่วมกันในลักษณะเกมแบบมินิแม็กซ์ (minimax game): โครงข่ายจำแนกข้อมูลจะถูกปรับปรุงเพื่อเพิ่มความสามารถในการแยกแยะข้อมูลจริงออกจากข้อมูลปลอม ในขณะที่โครงข่ายสร้างข้อมูลจะถูกปรับปรุงเพื่อลดความสำเร็จของโครงข่ายจำแนกข้อมูล หรือกล่าวคือ เพื่อหลอกลวงมัน การทำงานร่วมกันของทั้งสองโครงข่ายทำให้การปรับปรุงโครงข่ายหนึ่งส่งผลกดดันต่ออีกโครงข่ายหนึ่ง
สูตร
\min_G \max_D \; \mathbb{E}_{x}[\log D(x)] + \mathbb{E}_{z}[\log(1 - D(G(z)))]การฝึกฝนดำเนินต่อไปจนกว่าจะเข้าใกล้จุดสมดุล ซึ่งตัวอย่างจากโครงข่ายสร้างข้อมูลมีความคล้ายคลึงกับการแจกแจงข้อมูลจริงมากพอจนโครงข่ายจำแนกข้อมูลไม่สามารถแยกแยะได้อย่างน่าเชื่อถืออีกต่อไป ความสมดุลระหว่างโครงข่ายทั้งสองต้องได้รับการตรวจสอบอย่างใกล้ชิด เนื่องจากความไม่เสถียรอาจนำไปสู่ภาวะข้อมูลยุบ (mode collapse) ซึ่งโครงข่ายสร้างข้อมูลผลิตผลลัพธ์เพียงส่วนน้อยจากชุดผลลัพธ์ที่เป็นไปได้ทั้งหมด
ข้อผิดพลาดที่พบบ่อย
- การฝึกฝนด้วยข้อมูลน้อยเกินไป ทำให้ความสมดุลของโครงข่ายปฏิปักษ์ล้มเหลวและเกิดภาวะข้อมูลยุบตามมา
- การไม่เฝ้าระวังภาวะข้อมูลยุบ และสันนิษฐานว่าผลลัพธ์มีความหลากหลายโดยไม่ได้ตรวจสอบความหลากหลายของตัวอย่าง
- การพยายามฝึกฝนโดยไม่มีทรัพยากร GPU สำหรับข้อมูลภาพหรือเสียงมิติสูง
- การเลือกใช้ GAN กับชุดข้อมูลขนาดเล็ก ซึ่งออโตเอ็นโค้ดเดอร์แบบแปรผันหรือการเพิ่มข้อมูลแบบง่ายจะน่าเชื่อถือกว่า
คำถามที่พบบ่อย
ภาวะข้อมูลยุบคืออะไร?
ภาวะข้อมูลยุบเกิดขึ้นเมื่อโครงข่ายสร้างข้อมูลเรียนรู้ที่จะสร้างผลลัพธ์เพียงชุดเล็กๆ ที่สามารถหลอกลวงโครงข่ายจำแนกข้อมูลได้อย่างสม่ำเสมอ แทนที่จะครอบคลุมความหลากหลายทั้งหมดของข้อมูลจริง นี่เป็นโหมดความล้มเหลวหลักของการฝึกฝน GAN โดยเฉพาะอย่างยิ่งกับชุดข้อมูลขนาดเล็ก และควรมีการตรวจสอบความหลากหลายของตัวอย่างตลอดการฝึกฝน
ต้องใช้ข้อมูลเท่าใด?
GAN ต้องการชุดข้อมูลจำนวนมาก โดยประมาณ 500 ตัวอย่างถือเป็นขั้นต่ำที่ใช้งานได้จริง แต่ต่ำกว่าประมาณ 1,000 ตัวอย่าง ความสมดุลระหว่างโครงข่ายสร้างข้อมูลและโครงข่ายจำแนกข้อมูลจะสร้างได้ยากและมีความเสี่ยงต่อภาวะข้อมูลยุบสูง ด้วยข้อมูลที่น้อยมาก การใช้ออโตเอ็นโค้ดเดอร์แบบแปรผันหรือวิธีการเพิ่มข้อมูลที่ง่ายกว่าจะปลอดภัยกว่า
จำเป็นต้องใช้ GPU หรือไม่?
ในทางปฏิบัติ ใช่ GAN ทำงานกับข้อมูลมิติสูง เช่น ภาพและเสียง และการฝึกฝนโครงข่ายที่แข่งขันกันสองโครงข่ายนั้นต้องใช้การคำนวณอย่างเข้มข้น ดังนั้น GPU จึงจำเป็นอย่างยิ่ง
GAN แตกต่างจากโมเดลการแพร่กระจายอย่างไร?
GAN สร้างข้อมูลผ่านการแข่งขันแบบปฏิปักษ์ของโครงข่ายสองโครงข่าย ซึ่งทำให้การฝึกฝนรวดเร็วแต่ไม่เสถียร ในทางกลับกัน โมเดลการแพร่กระจายเรียนรู้ที่จะย้อนกลับกระบวนการเพิ่มสัญญาณรบกวนทีละขั้นตอน และได้กลายเป็นทางเลือกที่แข็งแกร่งสำหรับการสร้างข้อมูลคุณภาพสูง
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Goodfellow, I. et al. (2014). Generative Adversarial Nets. NeurIPS.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วKarras, T. et al. (2020). Analyzing and Improving the Image Quality of StyleGAN. CVPR.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว