Skip to content
กลับไปยังผลการค้นหา

แบบจำลองการแพร่ (Diffusion Model)

ผู้เสนอ
Ho, J., Jain, A. & Abbeel, P.
ปี
2020
ประเภท
Generative deep learning (denoising diffusion)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

แบบจำลองการแพร่เป็นวิธีการเรียนรู้เชิงลึกแบบก่อกำเนิด (generative deep-learning method) ที่ Ho, Jain และ Abbeel นำเสนอในปี 2020 (DDPM) ซึ่งเรียนรู้การสร้างภาพ เสียง และโครงสร้างโมเลกุลคุณภาพสูง โดยการย้อนกลับกระบวนการเพิ่มสัญญาณรบกวนทีละขั้นตอน แบบจำลองนี้ได้เข้ามาแทนที่ GANs ในฐานะที่เป็นเทคนิคที่ทันสมัยที่สุดในการสร้างแบบจำลองเชิงกำเนิด

แนวคิดเบื้องหลังวิธีการ

ลองจินตนาการถึงการค่อยๆ ทำให้ภาพเบลอจนกลายเป็นสัญญาณรบกวนบริสุทธิ์ โดยการเพิ่มสัญญาณรบกวนแบบสุ่มทีละน้อย แบบจำลองการแพร่จะเรียนรู้การเดินทางที่ตรงกันข้าม: เริ่มต้นจากสัญญาณรบกวนแบบสุ่ม มันจะค่อยๆ ลดสัญญาณรบกวนทีละขั้นตอนจนกระทั่งได้ตัวอย่างที่สะอาดและสมจริง เนื่องจากแบบจำลองนี้ต้องย้อนกลับเพียงขั้นตอนการเพิ่มสัญญาณรบกวนเล็กๆ ทีละครั้ง งานนี้จึงมีความเสถียรในการเรียนรู้มากกว่าการสร้างภาพทั้งหมดในครั้งเดียว

ประวัติศาสตร์

Denoising Diffusion Probabilistic Models ได้รับการแนะนำโดย Ho, Jain และ Abbeel ในปี 2020 โดยต่อยอดจากแนวคิดการแพร่ก่อนหน้านี้ และแสดงให้เห็นถึงคุณภาพของภาพที่เทียบเท่ากับ GANs ในปี 2022 Rombach และคณะได้แนะนำ Latent Diffusion Models ซึ่งทำงานกระบวนการแพร่ในปริภูมิแฝงที่ถูกบีบอัด สิ่งนี้ทำให้การสังเคราะห์ภาพความละเอียดสูงเป็นไปได้ในทางปฏิบัติและเป็นพื้นฐานของระบบต่างๆ เช่น Stable Diffusion ตั้งแต่นั้นมา แบบจำลองการแพร่ก็ได้กลายเป็นแนวทางเชิงกำเนิดที่โดดเด่น โดยส่วนใหญ่เข้ามาแทนที่ GANs

ควรใช้เมื่อใด

ใช้แบบจำลองการแพร่เมื่อคุณต้องการสร้างภาพ เสียง หรือโครงสร้างโมเลกุลที่มีความเที่ยงตรงสูง และมีชุดข้อมูลขนาดใหญ่ (ประมาณ 1000 ตัวอย่างขึ้นไป) หรือสามารถเข้าถึงแบบจำลองที่ได้รับการฝึกมาแล้ว (pretrained model) แบบจำลองนี้ต้องการข้อมูลจำนวนมากหรือการฝึกเบื้องต้น และต้องใช้ฮาร์ดแวร์ GPU/TPU การอนุมานอาจช้าเนื่องจากการสุ่มตัวอย่างต้องทำซ้ำหลายขั้นตอนการลดสัญญาณรบกวน หากมีตัวอย่างน้อยกว่าประมาณ 1000 ตัวอย่าง แบบจำลองจะไม่สามารถเรียนรู้กระบวนการลดสัญญาณรบกวนได้ดี และเครื่องกำเนิดที่เรียบง่ายกว่า เช่น variational autoencoder จะปลอดภัยกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ต้องใช้ชุดข้อมูลขนาดใหญ่หรือแบบจำลองที่ได้รับการฝึกมาแล้ว — ข้อมูลน้อยจะนำไปสู่คุณภาพการสร้างที่ไม่ดี
  • ต้องใช้ฮาร์ดแวร์ GPU/TPU สำหรับการฝึกและการใช้งานจริง
  • การอนุมานช้าเนื่องจากการสุ่มตัวอย่างต้องทำซ้ำหลายขั้นตอนการลดสัญญาณรบกวน
  • หากมีตัวอย่างน้อยกว่าประมาณ 1000 ตัวอย่าง กระบวนการลดสัญญาณรบกวนจะไม่สามารถเรียนรู้ได้อย่างน่าเชื่อถือ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • สร้างตัวอย่างที่มีคุณภาพสูงกว่าและหลากหลายกว่า GANs ทั้งในด้านภาพ เสียง และโมเลกุล
  • การฝึกมีความเสถียร หลีกเลี่ยงปัญหา mode collapse และความไม่เสถียรแบบ adversarial ที่มักเกิดขึ้นกับ GANs
  • ตัวแปร Latent-diffusion ทำให้การสร้างภาพความละเอียดสูงสามารถคำนวณได้จริง
  • รองรับการสร้างแบบมีเงื่อนไข (conditional generation) โดยธรรมชาติ เช่น การสร้างภาพจากข้อความ (text-to-image prompting)

การประยุกต์ใช้

  • การสังเคราะห์ภาพความละเอียดสูงและการสร้างภาพจากข้อความ
  • การสร้างเสียงและคำพูด
  • การสร้างโครงสร้างโมเลกุลและวัสดุในวิชาเคมีและวิทยาศาสตร์ธรรมชาติ
  • การเพิ่มข้อมูล (data augmentation) และการสร้างแบบมีเงื่อนไขจากโครงสร้างพื้นฐานที่ได้รับการฝึกมาแล้ว (pretrained backbones)

วิธีการทำงาน

วิธีการทำงาน

1

กระบวนการส่งต่อแบบคงที่ (fixed forward process) จะทำให้ตัวอย่างการฝึกแต่ละตัวอย่างเสียหาย โดยการเพิ่มสัญญาณรบกวนแบบเกาส์เซียน (Gaussian noise) จำนวนเล็กน้อยในหลายขั้นตอน จนกระทั่งข้อมูลกลายเป็นสัญญาณรบกวนบริสุทธิ์ กระบวนการนี้ไม่จำเป็นต้องมีการเรียนรู้ใดๆ — มันเพียงแค่กำหนดเส้นทางจากข้อมูลที่สะอาดไปสู่สัญญาณรบกวน ซึ่งแบบจำลองจะย้อนกลับในภายหลัง

สูตร
q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}\,x_{t-1}, \beta_t I)
2

โครงข่ายประสาทเทียม (โดยทั่วไปคือ U-Net) ได้รับการฝึกให้ทำนายสัญญาณรบกวนที่ถูกเพิ่มเข้ามาในขั้นตอนที่กำหนด โดยการลดความผิดพลาดกำลังสอง (squared error) ระหว่างสัญญาณรบกวนจริงและสัญญาณรบกวนที่ทำนายไว้ในหลายช่วงเวลาและตัวอย่าง โครงข่ายจะเรียนรู้วิธีการนำข้อมูลที่มีสัญญาณรบกวนเข้าใกล้ข้อมูลที่สะอาดขึ้นหนึ่งขั้นตอน

สูตร
\mathcal{L} = \mathbb{E}_{t, x_0, \epsilon}\big[\,\lVert \epsilon - \epsilon_\theta(x_t, t) \rVert^2\,\big]
3

ในการสร้างตัวอย่างใหม่ แบบจำลองจะเริ่มต้นจากสัญญาณรบกวนแบบสุ่มและใช้ขั้นตอนการลดสัญญาณรบกวนที่เรียนรู้ซ้ำๆ โดยการลบสัญญาณรบกวนที่ทำนายไว้และเพิ่มพจน์สุ่มเล็กน้อยจนกระทั่งได้ผลลัพธ์ที่สะอาด ตัวแปร Latent-diffusion (Stable Diffusion) จะทำงานวนซ้ำนี้ในปริภูมิแฝง (latent space) ที่ถูกบีบอัด เพื่อให้การสร้างภาพความละเอียดสูงสามารถทำได้จริง

สูตร
x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\Big(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,\epsilon_\theta(x_t, t)\Big) + \sigma_t z

ข้อผิดพลาดที่พบบ่อย

  • พยายามฝึกจากศูนย์ด้วยชุดข้อมูลขนาดเล็ก แทนที่จะปรับแต่งแบบจำลองที่ได้รับการฝึกมาแล้ว
  • ประเมินการคำนวณต่ำไป: การฝึกและการอนุมานต้องการทรัพยากร GPU/TPU
  • คาดหวังผลลัพธ์แบบเรียลไทม์ ในขณะที่การสุ่มตัวอย่างหลายขั้นตอนทำให้การอนุมานช้าโดยธรรมชาติ
  • ใช้แบบจำลองการแพร่ในกรณีที่เครื่องกำเนิดที่เรียบง่ายกว่ามาก (เช่น VAE) ก็เพียงพอสำหรับข้อมูลที่มีอยู่

คำถามที่พบบ่อย

แบบจำลองการแพร่แตกต่างจาก GAN อย่างไร?

ทั้งสองเป็นแบบจำลองเชิงกำเนิด แต่ GAN ฝึกเครื่องกำเนิดกับตัวแยกแยะ ซึ่งอาจไม่เสถียรและมีแนวโน้มที่จะเกิด mode collapse ในทางกลับกัน แบบจำลองการแพร่เรียนรู้ที่จะย้อนกลับกระบวนการเพิ่มสัญญาณรบกวนทีละขั้นตอน ทำให้การฝึกมีความเสถียรมากขึ้น และโดยทั่วไปแล้วจะให้ตัวอย่างที่มีคุณภาพสูงกว่าและหลากหลายกว่า

ฉันต้องการข้อมูลมากแค่ไหน?

การฝึกจากศูนย์โดยทั่วไปต้องการตัวอย่างประมาณ 1000 ตัวอย่างขึ้นไป หากน้อยกว่านั้น กระบวนการลดสัญญาณรบกวนจะไม่สามารถเรียนรู้ได้ดี สำหรับข้อมูลขนาดเล็ก ให้ปรับแต่งแบบจำลองที่ได้รับการฝึกมาแล้ว หรือใช้เครื่องกำเนิดที่เรียบง่ายกว่า เช่น variational autoencoder

ทำไมการสร้างถึงช้า?

การสุ่มตัวอย่างเริ่มต้นจากสัญญาณรบกวนและใช้ขั้นตอนการลดสัญญาณรบกวนที่เรียนรู้ซ้ำๆ หลายครั้ง ดังนั้นการสร้างตัวอย่างหนึ่งตัวอย่างจึงต้องผ่านโครงข่ายหลายครั้ง ตัวแปร Latent-diffusion ช่วยลดต้นทุนโดยการทำงานในปริภูมิแฝงที่ถูกบีบอัด

ฉันต้องการฮาร์ดแวร์พิเศษหรือไม่?

ใช่ แบบจำลองการแพร่ต้องการฮาร์ดแวร์ GPU หรือ TPU สำหรับการฝึกและการอนุมานในทางปฏิบัติ การใช้งานเฉพาะ CPU โดยทั่วไปไม่สามารถทำได้จริง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Ho, J., Jain, A. & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Rombach, R., Blattmann, A., Lorenz, D., Esser, P. & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว