Skip to content
กลับไปยังผลการค้นหา

UMAP

ผู้เสนอ
McInnes, L.; Healy, J.; Melville, J.
ปี
2018
ประเภท
Nonlinear manifold-learning dimension reduction

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

UMAP (Uniform Manifold Approximation และ Projection) เป็นวิธีการลดมิติแบบไม่เชิงเส้นที่รวดเร็วและปรับขนาดได้ ซึ่งมีพื้นฐานมาจากทฤษฎีการเรียนรู้แบบแมนิฟอล์ด (manifold-learning theory) เปิดตัวโดย McInnes, Healy และ Melville ในปี 2018 มันทำการบีบอัดข้อมูลที่มีมิติสูงลงในการฝังตัว (embedding) ที่มีมิติต่ำ เพื่อการแสดงภาพและการวิเคราะห์ขั้นต่อไป

แนวคิดเบื้องหลังวิธีการ

ข้อมูลจริงที่มีคุณลักษณะจำนวนมากมักจะอยู่บนพื้นผิวโค้งที่มีมิติต่ำกว่ามาก หรือแมนิฟอล์ด ซึ่งฝังตัวอยู่ในปริภูมิที่มีมิติสูง UMAP พยายามเรียนรู้รูปร่างของพื้นผิวนั้นจากวิธีการที่จุดต่างๆ เกาะกลุ่มกันใกล้กับเพื่อนบ้านของมัน จากนั้นจึงคลี่ออกเป็นสองหรือสามมิติเพื่อให้โครงสร้างมองเห็นได้ เมื่อเทียบกับ t-SNE แล้ว UMAP มีแนวโน้มที่จะรักษาโครงสร้างโดยรวมไว้ได้มากกว่า ในขณะที่ยังคงทำงานได้เร็วกว่ามากสำหรับชุดข้อมูลขนาดใหญ่

ประวัติศาสตร์

UMAP ถูกนำเสนอในปี 2018 โดย Leland McInnes, John Healy และ James Melville ผู้ซึ่งสร้างมันขึ้นบนทฤษฎีการเรียนรู้แบบแมนิฟอล์ด เพื่อเป็นทางเลือกที่เร็วกว่าและปรับขนาดได้มากกว่า t-SNE มันได้กลายเป็นเครื่องมือมาตรฐานสำหรับการลดมิติและการแสดงภาพอย่างรวดเร็ว โดยเฉพาะอย่างยิ่งในสาขาที่มีข้อมูลมิติสูงมาก เนื่องจากมันรักษาโครงสร้างโดยรวมได้มากขึ้น ในขณะที่ยังคงปรับขนาดให้เข้ากับชุดข้อมูลขนาดใหญ่ได้

ควรใช้เมื่อใด

ใช้ UMAP เพื่อแสดงภาพหรือบีบอัดข้อมูลต่อเนื่องที่มีมิติสูง โดยมีจำนวนการสังเกตอย่างน้อยประมาณ 50 รายการ ไม่ว่าจะเพื่อการสำรวจ หรือเป็นขั้นตอนการประมวลผลล่วงหน้าก่อนการจำแนกประเภท ควรปรับไฮเปอร์พารามิเตอร์ n_neighbors และ min_dist ให้เข้ากับโครงสร้างที่คุณสนใจ และควรตั้งค่า random_state ให้คงที่เพื่อความสามารถในการทำซ้ำ สำหรับจำนวนการสังเกตที่น้อยกว่าประมาณ 50 รายการ แมนิฟอล์ดจะไม่สามารถเรียนรู้ได้อย่างน่าเชื่อถือ และ PCA เชิงเส้น (linear PCA) จะเป็นตัวเลือกที่ปลอดภัยกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ระยะห่างระหว่างกลุ่มในการฝังตัวอาจทำให้เข้าใจผิดได้ และไม่ควรถือเป็นการตีความที่มากเกินไป
  • ผลลัพธ์ขึ้นอยู่กับไฮเปอร์พารามิเตอร์ n_neighbors และ min_dist ซึ่งต้องได้รับการปรับแต่ง
  • ผลลัพธ์ไม่แน่นอน เว้นแต่จะตั้งค่า random_state ให้คงที่
  • สำหรับตัวอย่างขนาดเล็ก (n น้อยกว่าประมาณ 50) แมนิฟอล์ดจะไม่สามารถเรียนรู้ได้อย่างน่าเชื่อถือ และภาพจะทำให้เข้าใจผิดได้ PCA จึงเป็นที่ต้องการมากกว่า

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • รวดเร็วและปรับขนาดได้สำหรับชุดข้อมูลขนาดใหญ่ เร็วกว่า t-SNE มาก
  • รักษาโครงสร้างโดยรวมได้ดีกว่า t-SNE ในขณะที่ยังคงจับกลุ่มเฉพาะที่ได้
  • จับโครงสร้างที่ไม่เชิงเส้นที่วิธีการเชิงเส้น เช่น PCA ไม่สามารถทำได้
  • สร้างการฝังตัวแบบ 2 หรือ 3 มิติที่เหมาะสำหรับการแสดงภาพ

การประยุกต์ใช้

  • การแสดงภาพข้อมูลต่อเนื่องมิติสูงในสองหรือสามมิติ
  • การวิเคราะห์เชิงสำรวจเพื่อเปิดเผยกลุ่มและโครงสร้างก่อนการสร้างแบบจำลองอย่างเป็นทางการ
  • การลดมิติเป็นขั้นตอนการประมวลผลล่วงหน้าก่อนการจำแนกประเภท
  • การบีบอัดชุดข้อมูลขนาดใหญ่ที่มีคุณลักษณะจำนวนมาก ซึ่งความเร็วมีความสำคัญ

วิธีการทำงาน

วิธีการทำงาน

1

UMAP สร้างกราฟเพื่อนบ้านที่มีน้ำหนัก (weighted neighbourhood graph) ของข้อมูลมิติสูงก่อน: แต่ละจุดจะเชื่อมต่อกับเพื่อนบ้านที่ใกล้ที่สุด โดยควบคุมโดยไฮเปอร์พารามิเตอร์ n_neighbors ซึ่งกำหนดว่าโครงสร้างเฉพาะที่ (local) เทียบกับโครงสร้างโดยรวม (global) จะถูกจับได้อย่างไร กราฟนี้คือการประมาณแมนิฟอล์ดพื้นฐานของ UMAP

2

จากนั้นจึงปรับรูปแบบการจัดวางในมิติต่ำให้เหมาะสม เพื่อให้กราฟเพื่อนบ้านของมันตรงกับกราฟมิติสูงให้ใกล้เคียงที่สุด โดยการลดค่าครอสเอนโทรปี (cross-entropy) ระหว่างการแสดงผลกราฟทั้งสอง ไฮเปอร์พารามิเตอร์ min_dist ควบคุมว่าจุดต่างๆ สามารถจัดกลุ่มกันได้อย่างหนาแน่นเพียงใด ซึ่งกำหนดความหนาแน่นของกลุ่มที่ได้

สูตร
Y = \arg\min_{Y} \; \text{cross-entropy}(G_{\text{high}}, G_{\text{low}})
3

ผลลัพธ์คือการฝังตัวแบบ 2 หรือ 3 มิติ ซึ่งการสังเกตที่คล้ายกันจะอยู่ใกล้กัน พร้อมสำหรับการพล็อต หรือสำหรับการป้อนเข้าสู่การจัดกลุ่ม (clustering) หรือการจำแนกประเภท (classification) รูปร่างของกลุ่มจะถูกรักษาไว้ แต่ระยะห่างระหว่างกลุ่มควรได้รับการพิจารณาอย่างระมัดระวัง และจำเป็นต้องมีค่า random_state ที่คงที่เพื่อให้ได้ผลลัพธ์ที่สามารถทำซ้ำได้

ข้อผิดพลาดที่พบบ่อย

  • การอ่านระยะห่างระหว่างกลุ่มเสมือนว่าเป็นปริมาณที่มีความหมาย
  • การปล่อยให้ n_neighbors และ min_dist เป็นค่าเริ่มต้นแทนที่จะปรับแต่งให้เข้ากับข้อมูล
  • การลืมตั้งค่า random_state ทำให้การฝังตัวไม่สามารถทำซ้ำได้
  • การรัน UMAP บนจำนวนการสังเกตน้อยกว่าประมาณ 50 รายการ และเชื่อถือแผนภาพที่ได้

คำถามที่พบบ่อย

UMAP แตกต่างจาก t-SNE อย่างไร?

ทั้งสองเป็นวิธีการไม่เชิงเส้นสำหรับการแสดงภาพข้อมูลมิติสูง แต่ UMAP สร้างขึ้นบนทฤษฎีการเรียนรู้แบบแมนิฟอล์ด มีแนวโน้มที่จะรักษาโครงสร้างโดยรวมได้ดีกว่า และเร็วกว่ามากสำหรับชุดข้อมูลขนาดใหญ่

ฉันสามารถตีความระยะห่างระหว่างกลุ่มในแผนภาพได้หรือไม่?

โปรดใช้ความระมัดระวัง UMAP รักษา รูปร่างของกลุ่ม แต่ระยะห่างระหว่างกลุ่มอาจทำให้เข้าใจผิดได้ และไม่ควรถือเป็นปริมาณที่แม่นยำ

ไฮเปอร์พารามิเตอร์ใดที่สำคัญที่สุด?

n_neighbors ควบคุมสมดุลระหว่างโครงสร้างเฉพาะที่และโครงสร้างโดยรวม และ min_dist ควบคุมว่าจุดต่างๆ จะรวมกลุ่มกันหนาแน่นเพียงใด ทั้งสองควรได้รับการปรับแต่ง และควรตั้งค่า random_state ให้คงที่เพื่อให้การฝังตัวสามารถทำซ้ำได้

จะเกิดอะไรขึ้นถ้าฉันมีจำนวนการสังเกตน้อยมาก?

สำหรับจำนวนการสังเกตน้อยกว่าประมาณ 50 รายการ แมนิฟอล์ดจะไม่สามารถเรียนรู้ได้อย่างน่าเชื่อถือ และการฝังตัวจะทำให้เข้าใจผิดได้ ในกรณีนั้น วิธีการเชิงเส้น เช่น PCA จะเป็นตัวเลือกที่ปลอดภัยกว่า

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. McInnes, L., Healy, J. & Melville, J. (2018). UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. arXiv:1802.03426.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว