Skip to content
กลับไปยังผลการค้นหา

ตัวเข้ารหัสอัตโนมัติแบบแปรผัน

ผู้เสนอ
Kingma, D. P. & Welling, M.
ปี
2014
ประเภท
Deep generative latent-variable model (encoder–decoder)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

ตัวเข้ารหัสอัตโนมัติแบบแปรผัน (VAE) เป็นแบบจำลองตัวแปรแฝงเชิงกำเนิดเชิงลึก ซึ่งแนะนำโดย Diederik Kingma และ Max Welling ในปี 2014 ซึ่งเข้ารหัสข้อมูลเป็นการแจกแจงความน่าจะเป็นในปริภูมิแฝง และสุ่มจากแบบจำลองนั้นเพื่อสร้างตัวอย่างใหม่ ใช้สำหรับการสร้างข้อมูล การตรวจจับความผิดปกติ และการเรียนรู้คุณลักษณะ

แนวคิดเบื้องหลังวิธีการ

ตัวเข้ารหัสอัตโนมัติธรรมดากลั่นแต่ละอินพุตให้เป็นจุดเดียวในปริภูมิที่บีบอัด ซึ่งดีสำหรับการสร้างใหม่ แต่ไม่มีวิธีที่เป็นหลักการในการสร้างข้อมูลใหม่ VAE แทนที่จะจับคู่แต่ละอินพุตกับกลุ่มความน่าจะเป็นเล็กๆ — ค่าเฉลี่ยและการกระจาย — และบังคับให้กลุ่มเหล่านั้นอยู่ใกล้กับการแจกแจงอ้างอิงอย่างง่าย เนื่องจากปริภูมิแฝงจึงมีความราบรื่นและต่อเนื่อง คุณสามารถดึงจุดใหม่จากมัน และตัวถอดรหัสจะเปลี่ยนให้เป็นตัวอย่างใหม่ที่น่าเชื่อถือ

ประวัติศาสตร์

ตัวเข้ารหัสอัตโนมัติแบบแปรผันถูกนำเสนอโดย Diederik Kingma และ Max Welling ในปี 2014 ใน 'Auto-Encoding Variational Bayes' ซึ่งรวมการอนุมานแบบแปรผันเข้ากับตัวเข้ารหัสและตัวถอดรหัสโครงข่ายประสาท และแนะนำเทคนิคการกำหนดพารามิเตอร์ใหม่ที่ทำให้แบบจำลองสามารถฝึกฝนได้ตั้งแต่ต้นจนจบ ในปี 2017 Higgins และเพื่อนร่วมงานได้เสนอ beta-VAE ซึ่งปรับน้ำหนักเทอม KL ด้วยสัมประสิทธิ์เพื่อส่งเสริมปัจจัยแฝงที่แยกจากกันมากขึ้น VAE กลายเป็นหนึ่งในแบบจำลองเชิงกำเนิดเชิงลึกพื้นฐาน ควบคู่ไปกับ GANs และเมื่อเร็วๆ นี้ แบบจำลองการแพร่

ควรใช้เมื่อใด

เหมาะสมเมื่อคุณมีข้อมูลสังเกตการณ์ค่าต่อเนื่องอย่างน้อยประมาณ 200 รายการ และต้องการเรียนรู้การแสดงปริภูมิแฝงที่ราบรื่นสำหรับการสร้างข้อมูลใหม่ การตรวจจับความผิดปกติ หรือการบีบอัดอินพุตที่มีมิติสูง และมี GPU พร้อมสำหรับการฝึกฝน แบบจำลองสมมติว่าตัวแปรแฝงต่อเนื่องและได้รับการฝึกฝนโดยการปรับปรุงการสูญเสียการสร้างใหม่และการกระจาย KL ร่วมกัน ต่ำกว่าประมาณ 200 ตัวอย่าง การแจกแจงแฝงไม่สามารถเรียนรู้ได้อย่างมีความหมาย และวิธีการที่ง่ายกว่า เช่น PCA จะดีกว่า ต่ำกว่าประมาณ 50 ตัวอย่างจะล้มเหลวโดยสิ้นเชิง

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการตัวอย่างค่อนข้างมาก (ประมาณ 200+) และโดยทั่วไปต้องใช้ GPU เพื่อฝึกฝนอย่างมีประสิทธิภาพ
  • ตัวอย่างอาจดูเบลอเมื่อเทียบกับตัวสร้างแบบปฏิปักษ์หรือแบบแพร่
  • ในชุดข้อมูลขนาดเล็ก การแจกแจงแฝงไม่ได้รับการเรียนรู้อย่างมีความหมาย ดังนั้น PCA จึงเป็นตัวเลือกที่ปลอดภัยกว่า
  • การสร้างสมดุลระหว่างเทอมการสร้างใหม่และ KL นั้นละเอียดอ่อน เทอม KL อาจยุบตัวและถูกละเลย

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เรียนรู้ปริภูมิแฝงที่ราบรื่นและต่อเนื่องที่สามารถสุ่มเพื่อสร้างตัวอย่างใหม่ได้อย่างแท้จริง
  • ให้กรอบงานเชิงความน่าจะเป็นที่เป็นหลักการ โดยปรับปรุงวัตถุประสงค์เดียว (ขอบเขตล่างของหลักฐาน)
  • มีประโยชน์นอกเหนือจากการสร้าง — สำหรับการตรวจจับความผิดปกติ การเรียนรู้คุณลักษณะ และการลดมิติแบบไม่เชิงเส้น
  • ไม่ต้องการอินพุตที่แจกแจงแบบปกติ และทำงานกับข้อมูลต่อเนื่องที่มีมิติสูง
  • เทคนิคการกำหนดพารามิเตอร์ใหม่ทำให้แบบจำลองทั้งหมดสามารถฝึกฝนได้ตั้งแต่ต้นจนจบด้วยการไล่ระดับสี

การประยุกต์ใช้

  • การสร้างตัวอย่างข้อมูลสังเคราะห์ใหม่จากปริภูมิแฝงที่เรียนรู้
  • การตรวจจับความผิดปกติและค่าผิดปกติโดยการตั้งค่าอินพุตที่แบบจำลองสร้างใหม่ได้ไม่ดี
  • การลดมิติแบบไม่เชิงเส้นและการเรียนรู้คุณลักษณะบนข้อมูลที่มีมิติสูง
  • การเรียนรู้การแสดงแทนเป็นขั้นตอนเบื้องต้นสำหรับการทำนายหรือการจัดกลุ่มดาวน์สตรีม

วิธีการทำงาน

วิธีการทำงาน

1

เครือข่ายตัวเข้ารหัสอ่านแต่ละอินพุตและส่งพารามิเตอร์ของการแจกแจงเหนือตัวแปรแฝง — ค่าเฉลี่ยและความแปรปรวน — แทนที่จะเป็นรหัสคงที่เดียว นี่คือขั้นตอนการเข้ารหัสเชิงความน่าจะเป็นที่แสดงแต่ละการสังเกตการณ์เป็นบริเวณของปริภูมิแฝงแทนที่จะเป็นจุดเดียว

สูตร
q_\phi(z \mid x) = \mathcal{N}(z; \mu_\phi(x), \sigma_\phi^2(x))
2

เวกเตอร์แฝงถูกดึงจากการแจกแจงที่เข้ารหัสโดยใช้เทคนิคการกำหนดพารามิเตอร์ใหม่: แทนที่จะสุ่มโดยตรง แบบจำลองจะเขียนตัวอย่างเป็นค่าเฉลี่ย บวกกับค่าเบี่ยงเบนมาตรฐาน คูณด้วยสัญญาณรบกวนแบบเกาส์เซียนมาตรฐาน เนื่องจากความสุ่มถูกผลักเข้าไปในเทอมสัญญาณรบกวนภายนอก เกรเดียนต์ยังคงไหลผ่านเครือข่าย และแบบจำลองสามารถฝึกฝนได้ตั้งแต่ต้นจนจบ

สูตร
z = \mu + \sigma \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)
3

เครือข่ายตัวถอดรหัสจับคู่เวกเตอร์แฝงที่สุ่มกลับไปยังปริภูมิข้อมูล และการฝึกฝนจะปรับปรุงขอบเขตล่างของหลักฐาน: เทอมการสร้างใหม่ที่ให้รางวัลในการสร้างอินพุตใหม่ได้อย่างน่าเชื่อถือ ลบด้วยเทอม Kullback–Leibler ที่ดึงการแจกแจงที่เข้ารหัสแต่ละอันเข้าใกล้การแจกแจงก่อนหน้า การสร้างสมดุลระหว่างสองแรงนี้คือสิ่งที่สร้างปริภูมิแฝงที่สร้างใหม่ได้ดีและรองรับการสร้างตัวอย่างใหม่

สูตร
\mathcal{L} = \mathbb{E}_{q_\phi}[\log p_\theta(x \mid z)] - D_{KL}(q_\phi(z \mid x) \,\|\, p(z))

ข้อผิดพลาดที่พบบ่อย

  • การฝึกฝนกับข้อมูลสังเกตการณ์น้อยเกินไป (ต่ำกว่าประมาณ 200) และคาดหวังแบบจำลองเชิงกำเนิดที่มีความหมาย
  • การละเลยการยุบตัวของ Posterior ซึ่งเทอม KL ทำให้รหัสแฝงไม่ให้ข้อมูล
  • การตัดสินแบบจำลองจากการสร้างภาพที่คมชัดเพียงอย่างเดียว แทนที่จะเป็นคุณภาพของตัวอย่างที่สร้างขึ้น
  • การข้ามเทคนิคการกำหนดพารามิเตอร์ใหม่และการทำลายการไหลของเกรเดียนต์ผ่านขั้นตอนการสุ่ม
  • การเลือกใช้ VAE เมื่อการลดมิติเชิงเส้นอย่างง่าย เช่น PCA ก็เพียงพอแล้ว

คำถามที่พบบ่อย

VAE แตกต่างจาก Autoencoder ธรรมดาอย่างไร

Autoencoder ธรรมดาจับคู่แต่ละอินพุตกับรหัสแฝงเดียวที่ปรับให้เหมาะสมกับการสร้างใหม่เท่านั้น VAE เข้ารหัสแต่ละอินพุตเป็นการแจกแจงความน่าจะเป็นและเพิ่มเทอม KL ที่ทำให้การแจกแจงนั้นใกล้เคียงกับการแจกแจงก่อนหน้า ซึ่งให้ปริภูมิแฝงที่ราบรื่นที่คุณสามารถสุ่มเพื่อสร้างข้อมูลใหม่ได้

เทคนิคการกำหนดพารามิเตอร์ใหม่คืออะไร

มันเขียนตัวอย่างแฝงใหม่เป็นค่าเฉลี่ยที่เข้ารหัส บวกกับค่าเบี่ยงเบนมาตรฐาน คูณด้วยสัญญาณรบกวนแบบเกาส์เซียนมาตรฐาน โดยการย้ายความสุ่มไปยังเทอมสัญญาณรบกวนภายนอก เกรเดียนต์สามารถผ่านขั้นตอนการสุ่มได้ เพื่อให้ตัวเข้ารหัสและตัวถอดรหัสสามารถฝึกฝนร่วมกันได้ด้วยการแพร่กระจายย้อนกลับ

ฉันต้องการข้อมูลและฮาร์ดแวร์เท่าใด

แนะนำให้มีข้อมูลสังเกตการณ์ค่าต่อเนื่องอย่างน้อยประมาณ 200 รายการ และแนะนำให้ใช้ GPU สำหรับการฝึกฝน ต่ำกว่า 200 การแจกแจงแฝงไม่ได้รับการเรียนรู้อย่างมีความหมาย และ PCA จะดีกว่า ต่ำกว่าประมาณ 50 VAE จะล้มเหลวโดยสิ้นเชิง

beta-VAE คืออะไร

beta-VAE ซึ่งเสนอโดย Higgins และเพื่อนร่วมงานในปี 2017 คูณเทอม KL ด้วยสัมประสิทธิ์ (beta) beta ที่สูงขึ้นจะกดดันมิติแฝงให้จับปัจจัยการแปรผันที่แยกจากกันและไม่ขึ้นต่อกันมากขึ้น โดยมีค่าใช้จ่ายบางส่วนในการสร้างความเที่ยงตรง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. International Conference on Learning Representations (ICLR).

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Higgins, I. et al. (2017). beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework. International Conference on Learning Representations (ICLR).

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว