แบบจำลองเชิงกำเนิดที่ใช้คะแนน
- ผู้เสนอ
- Song, Y. & Ermon, S.
- ปี
- 2019
- ประเภท
- Score-based generative model (SDE framework)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
แบบจำลองเชิงกำเนิดที่ใช้คะแนน (Score-Based Generative Model) ซึ่งนำเสนอโดย Yang Song และ Stefano Ermon ในปี 2019 และได้รับการขยายผลสู่กรอบการทำงานของสมการเชิงอนุพันธ์สุ่ม (Stochastic Differential Equation - SDE) ในปี 2021 เรียนรู้ค่าความชัน (gradient) ของความหนาแน่นข้อมูล หรือที่เรียกว่า 'คะแนน' (score) แทนที่จะทำนายสัญญาณรบกวนโดยตรง และใช้คะแนนนั้นในการสร้างตัวอย่างใหม่ เป็นการขยายผลทางคณิตศาสตร์ที่รวมแบบจำลองการแพร่ (diffusion models) เข้าไว้ภายใต้การกำหนดเวลาแบบต่อเนื่อง
แนวคิดเบื้องหลังวิธีการ
แทนที่จะจดจำลักษณะของข้อมูล แบบจำลองจะเรียนรู้ทิศทางที่จะผลักดันจุดใดๆ เพื่อให้เคลื่อนที่ไปยังบริเวณที่มีข้อมูลจริงหนาแน่น ทิศทางนั้นคือคะแนน ซึ่งก็คือค่าความชันของลอการิทึมความหนาแน่น เมื่อคุณสามารถชี้ไปยังความหนาแน่นที่สูงขึ้นได้จากทุกที่ คุณก็สามารถเริ่มต้นจากสัญญาณรบกวนบริสุทธิ์และทำตามทิศทางเหล่านี้ทีละขั้นตอนจนกว่าจะได้ตัวอย่างที่สมจริง
ประวัติศาสตร์
การสร้างแบบจำลองเชิงกำเนิดที่ใช้คะแนน (Score-based generative modeling) ถูกนำเสนอโดย Song และ Ermon ในปี 2019 ในฐานะแบบจำลองเชิงกำเนิดโดยการประมาณค่าความชันของการแจกแจงข้อมูล ในปี 2021 Song และคณะได้ปรับแนวคิดนี้ให้อยู่ในกรอบการทำงานของสมการเชิงอนุพันธ์สุ่ม (SDE) โดยแสดงให้เห็นว่าการจับคู่คะแนน (score matching) ในระดับสัญญาณรบกวนแบบต่อเนื่องเป็นการขยายผลแบบจำลองการแพร่ (diffusion models) และรวมสูตรเชิงกำเนิดก่อนหน้านี้หลายแบบเข้าไว้ภายใต้มุมมองเวลาต่อเนื่องเดียว
ควรใช้เมื่อใด
เหมาะสมสำหรับการสร้างภาพที่มีความเที่ยงตรงสูง (high-fidelity generation) และการประมาณค่าความหนาแน่น (density estimation) ของข้อมูลต่อเนื่อง เมื่อมีชุดข้อมูลฝึกฝนขนาดใหญ่ (ประมาณ 1,000 ตัวอย่างขึ้นไป) หรือแบบจำลองที่ฝึกฝนไว้ล่วงหน้า (pretrained model) และสามารถใช้ทรัพยากร GPU/TPU ได้ แบบจำลองนี้ไม่ได้ตั้งสมมติฐานเกี่ยวกับความเป็นปกติ (normality assumption) แต่ตัวอย่าง (sampler) ต้องตรงกับ SDE ที่เลือก สำหรับข้อมูลน้อยกว่าประมาณ 1,000 ตัวอย่าง แบบจำลอง Autoencoder แปรผัน (variational autoencoder) จะเป็นทางเลือกที่ปลอดภัยกว่า และสำหรับข้อมูลน้อยกว่า 500 ตัวอย่าง วิธีการที่ง่ายกว่า เช่น PCA จะเป็นที่นิยมมากกว่า
ข้อจำกัดและข้อควรพิจารณา
- ต้องการชุดข้อมูลขนาดใหญ่ (ประมาณ 1,000 ตัวอย่างขึ้นไป) หรือแบบจำลองที่ฝึกฝนไว้ล่วงหน้าเพื่อประมาณค่าความชันของความหนาแน่นได้อย่างน่าเชื่อถือ
- ต้องการฮาร์ดแวร์ GPU/TPU สำหรับการฝึกฝนและการสร้างตัวอย่าง
- ต้องเลือกตัวอย่าง (sampler) ให้ตรงกับประเภท SDE ที่เลือก ซึ่งเพิ่มภาระในการกำหนดค่า
- เมื่อมีตัวอย่างข้อมูลน้อย ค่าประมาณคะแนนจะแย่และการสร้างแบบจำลองจะไม่มีความหมาย
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- เรียนรู้ค่าความชันของความหนาแน่นข้อมูลโดยตรง ทำให้เกิดการขยายผลทางคณิตศาสตร์ที่มีหลักการของแบบจำลองการแพร่
- กรอบการทำงาน SDE แบบเวลาต่อเนื่องรวมสูตรการแพร่หลายแบบเข้าไว้ภายใต้เป้าหมายเดียว
- ไม่มีสมมติฐานความเป็นปกติของข้อมูล
- สร้างตัวอย่างข้อมูลต่อเนื่องที่มีความเที่ยงตรงสูงและรองรับการประมาณค่าความหนาแน่น
การประยุกต์ใช้
- การสร้างข้อมูลต่อเนื่องที่มีความเที่ยงตรงสูง เช่น รูปภาพ
- การประมาณค่าความหนาแน่นและการสร้างแบบจำลองการแจกแจงข้อมูลที่ซับซ้อน
- การสร้างแบบจำลองเชิงกำเนิดแบบเวลาต่อเนื่องที่ครอบคลุมสูตรการแพร่แบบไม่ต่อเนื่อง
- งานทำนายและงานเชิงอธิบายเชิงกำเนิดที่สามารถใช้ข้อมูลขนาดใหญ่หรือแบบจำลองที่ฝึกฝนไว้ล่วงหน้าได้
วิธีการทำงาน
วิธีการทำงาน
โครงข่ายประสาทเทียม (neural network) ถูกฝึกฝนเพื่อประมาณค่าคะแนนของการแจกแจงข้อมูล ซึ่งก็คือค่าความชันของลอการิทึมความหนาแน่นเทียบกับอินพุต แทนที่จะทำนายสัญญาณรบกวนที่เพิ่มเข้ามา แบบจำลองจะเรียนรู้สนามของทิศทางที่ชี้ไปยังบริเวณที่ข้อมูลมีความเข้มข้น ซึ่งเป็นสิ่งที่ทำให้แนวทางนี้เป็นการขยายผลทางคณิตศาสตร์ของแบบจำลองการแพร่
สูตร
s_\theta(x) \approx \nabla_x \log p(x)
สมการเชิงอนุพันธ์สุ่มแบบไปข้างหน้า (forward stochastic differential equation) จะค่อยๆ ทำให้ข้อมูลเสียหายกลายเป็นสัญญาณรบกวนเมื่อเวลาผ่านไปอย่างต่อเนื่อง โดยมีเทอมดริฟต์ (drift term) และเทอมการแพร่ (diffusion term) ที่ฉีดสัญญาณรบกวนแบบเกาส์เซียน (Gaussian noise) เข้าไป สิ่งนี้กำหนดชุดการแจกแจงที่ราบรื่นซึ่งมีความซับซ้อนเพิ่มขึ้นเรื่อยๆ และโครงข่ายประสาทเทียมจะเรียนรู้คะแนนของชุดการแจกแจงเหล่านี้ในทุกระดับของสัญญาณรบกวน
สูตร
dx = f(x,t)\,dt + g(t)\,dw
การสร้างแบบจำลองจะย้อนกลับกระบวนการโดยการแก้สมการเชิงอนุพันธ์สุ่มย้อนกลับ (reverse-time SDE) ที่สอดคล้องกัน ซึ่งใช้คะแนนที่เรียนรู้มาเพื่อนำทางตัวอย่างจากสัญญาณรบกวนกลับไปยังการแจกแจงข้อมูล การเลือกประเภทของ SDE จะกำหนดว่าตัวอย่าง (sampler) ใดเหมาะสม และการคำนวณจะดำเนินการบนฮาร์ดแวร์ GPU หรือ TPU
สูตร
dx = [f(x,t) - g(t)^2 \nabla_x \log p_t(x)]\,dt + g(t)\,d\bar{w}ข้อผิดพลาดที่พบบ่อย
- การนำไปใช้กับข้อมูลที่น้อยกว่าเกณฑ์ประมาณ 1,000 ตัวอย่าง ซึ่งไม่สามารถประมาณค่าคะแนนได้อย่างแม่นยำ
- การใช้ตัวอย่าง (sampler) ที่ไม่ตรงกับสูตร SDE ที่เลือก
- ความพยายามในการฝึกฝนโดยไม่มีทรัพยากร GPU/TPU
- การใช้ข้อมูลน้อยกว่าประมาณ 500 ตัวอย่าง ซึ่งการสร้างแบบจำลองด้วย SDE จะไม่มีความหมายและควรใช้วิธีการที่ง่ายกว่า
คำถามที่พบบ่อย
คะแนนที่แบบจำลองเรียนรู้คืออะไร?
คะแนนคือค่าความชันของความหนาแน่นความน่าจะเป็นแบบลอการิทึม (log probability density) เทียบกับอินพุต การทราบค่านี้ ณ ทุกจุดและทุกระดับสัญญาณรบกวนช่วยให้แบบจำลองสามารถผลักดันตัวอย่างไปยังบริเวณที่ข้อมูลจริงมีความหนาแน่นสูง
สิ่งนี้เกี่ยวข้องกับแบบจำลองการแพร่อย่างไร?
มันคือการขยายผลทางคณิตศาสตร์ของแบบจำลองการแพร่ โดยการกำหนดกระบวนการทำให้ข้อมูลเสียหายไปข้างหน้าและการสร้างแบบจำลองย้อนกลับเป็นสมการเชิงอนุพันธ์สุ่มแบบเวลาต่อเนื่อง การสร้างแบบจำลองที่ใช้คะแนนจะรวมแนวทางแบบการแพร่เข้าไว้ภายใต้กรอบการทำงานเดียว
ต้องใช้ข้อมูลเท่าใด?
ประมาณ 1,000 ตัวอย่างขึ้นไป หรือแบบจำลองที่ฝึกฝนไว้ล่วงหน้า หากมีข้อมูลน้อยกว่า 1,000 ตัวอย่าง แบบจำลอง Autoencoder แปรผัน (variational autoencoder) จะปลอดภัยกว่า และหากมีข้อมูลน้อยกว่า 500 ตัวอย่าง การสร้างแบบจำลองด้วย SDE จะไม่มีความหมาย และควรใช้วิธีการที่ง่ายกว่า เช่น PCA
ต้องใช้ฮาร์ดแวร์อะไรบ้าง?
จำเป็นต้องใช้ทรัพยากร GPU หรือ TPU ทั้งสำหรับการฝึกฝนและการสร้างตัวอย่าง และต้องเลือกตัวอย่าง (sampler) ให้ตรงกับประเภทของ SDE ที่ใช้
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Song, Y. & Ermon, S. (2019). Generative Modeling by Estimating Gradients of the Data Distribution. NeurIPS 32, 11895–11907.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วSong, Y. et al. (2021). Score-Based Generative Modeling through Stochastic Differential Equations. ICLR.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว