UMAP
- ผู้เสนอ
- McInnes, L.; Healy, J.; Melville, J.
- ปี
- 2018
- ประเภท
- Nonlinear manifold-learning dimension reduction
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
UMAP (Uniform Manifold Approximation และ Projection) เป็นวิธีการลดมิติแบบไม่เชิงเส้นที่รวดเร็วและปรับขนาดได้ ซึ่งมีพื้นฐานมาจากทฤษฎีการเรียนรู้แบบแมนิฟอล์ด (manifold-learning theory) เปิดตัวโดย McInnes, Healy และ Melville ในปี 2018 มันทำการบีบอัดข้อมูลที่มีมิติสูงลงในการฝังตัว (embedding) ที่มีมิติต่ำ เพื่อการแสดงภาพและการวิเคราะห์ขั้นต่อไป
แนวคิดเบื้องหลังวิธีการ
ข้อมูลจริงที่มีคุณลักษณะจำนวนมากมักจะอยู่บนพื้นผิวโค้งที่มีมิติต่ำกว่ามาก หรือแมนิฟอล์ด ซึ่งฝังตัวอยู่ในปริภูมิที่มีมิติสูง UMAP พยายามเรียนรู้รูปร่างของพื้นผิวนั้นจากวิธีการที่จุดต่างๆ เกาะกลุ่มกันใกล้กับเพื่อนบ้านของมัน จากนั้นจึงคลี่ออกเป็นสองหรือสามมิติเพื่อให้โครงสร้างมองเห็นได้ เมื่อเทียบกับ t-SNE แล้ว UMAP มีแนวโน้มที่จะรักษาโครงสร้างโดยรวมไว้ได้มากกว่า ในขณะที่ยังคงทำงานได้เร็วกว่ามากสำหรับชุดข้อมูลขนาดใหญ่
ประวัติศาสตร์
UMAP ถูกนำเสนอในปี 2018 โดย Leland McInnes, John Healy และ James Melville ผู้ซึ่งสร้างมันขึ้นบนทฤษฎีการเรียนรู้แบบแมนิฟอล์ด เพื่อเป็นทางเลือกที่เร็วกว่าและปรับขนาดได้มากกว่า t-SNE มันได้กลายเป็นเครื่องมือมาตรฐานสำหรับการลดมิติและการแสดงภาพอย่างรวดเร็ว โดยเฉพาะอย่างยิ่งในสาขาที่มีข้อมูลมิติสูงมาก เนื่องจากมันรักษาโครงสร้างโดยรวมได้มากขึ้น ในขณะที่ยังคงปรับขนาดให้เข้ากับชุดข้อมูลขนาดใหญ่ได้
ควรใช้เมื่อใด
ใช้ UMAP เพื่อแสดงภาพหรือบีบอัดข้อมูลต่อเนื่องที่มีมิติสูง โดยมีจำนวนการสังเกตอย่างน้อยประมาณ 50 รายการ ไม่ว่าจะเพื่อการสำรวจ หรือเป็นขั้นตอนการประมวลผลล่วงหน้าก่อนการจำแนกประเภท ควรปรับไฮเปอร์พารามิเตอร์ n_neighbors และ min_dist ให้เข้ากับโครงสร้างที่คุณสนใจ และควรตั้งค่า random_state ให้คงที่เพื่อความสามารถในการทำซ้ำ สำหรับจำนวนการสังเกตที่น้อยกว่าประมาณ 50 รายการ แมนิฟอล์ดจะไม่สามารถเรียนรู้ได้อย่างน่าเชื่อถือ และ PCA เชิงเส้น (linear PCA) จะเป็นตัวเลือกที่ปลอดภัยกว่า
ข้อจำกัดและข้อควรพิจารณา
- ระยะห่างระหว่างกลุ่มในการฝังตัวอาจทำให้เข้าใจผิดได้ และไม่ควรถือเป็นการตีความที่มากเกินไป
- ผลลัพธ์ขึ้นอยู่กับไฮเปอร์พารามิเตอร์ n_neighbors และ min_dist ซึ่งต้องได้รับการปรับแต่ง
- ผลลัพธ์ไม่แน่นอน เว้นแต่จะตั้งค่า random_state ให้คงที่
- สำหรับตัวอย่างขนาดเล็ก (n น้อยกว่าประมาณ 50) แมนิฟอล์ดจะไม่สามารถเรียนรู้ได้อย่างน่าเชื่อถือ และภาพจะทำให้เข้าใจผิดได้ PCA จึงเป็นที่ต้องการมากกว่า
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- รวดเร็วและปรับขนาดได้สำหรับชุดข้อมูลขนาดใหญ่ เร็วกว่า t-SNE มาก
- รักษาโครงสร้างโดยรวมได้ดีกว่า t-SNE ในขณะที่ยังคงจับกลุ่มเฉพาะที่ได้
- จับโครงสร้างที่ไม่เชิงเส้นที่วิธีการเชิงเส้น เช่น PCA ไม่สามารถทำได้
- สร้างการฝังตัวแบบ 2 หรือ 3 มิติที่เหมาะสำหรับการแสดงภาพ
การประยุกต์ใช้
- การแสดงภาพข้อมูลต่อเนื่องมิติสูงในสองหรือสามมิติ
- การวิเคราะห์เชิงสำรวจเพื่อเปิดเผยกลุ่มและโครงสร้างก่อนการสร้างแบบจำลองอย่างเป็นทางการ
- การลดมิติเป็นขั้นตอนการประมวลผลล่วงหน้าก่อนการจำแนกประเภท
- การบีบอัดชุดข้อมูลขนาดใหญ่ที่มีคุณลักษณะจำนวนมาก ซึ่งความเร็วมีความสำคัญ
วิธีการทำงาน
วิธีการทำงาน
UMAP สร้างกราฟเพื่อนบ้านที่มีน้ำหนัก (weighted neighbourhood graph) ของข้อมูลมิติสูงก่อน: แต่ละจุดจะเชื่อมต่อกับเพื่อนบ้านที่ใกล้ที่สุด โดยควบคุมโดยไฮเปอร์พารามิเตอร์ n_neighbors ซึ่งกำหนดว่าโครงสร้างเฉพาะที่ (local) เทียบกับโครงสร้างโดยรวม (global) จะถูกจับได้อย่างไร กราฟนี้คือการประมาณแมนิฟอล์ดพื้นฐานของ UMAP
จากนั้นจึงปรับรูปแบบการจัดวางในมิติต่ำให้เหมาะสม เพื่อให้กราฟเพื่อนบ้านของมันตรงกับกราฟมิติสูงให้ใกล้เคียงที่สุด โดยการลดค่าครอสเอนโทรปี (cross-entropy) ระหว่างการแสดงผลกราฟทั้งสอง ไฮเปอร์พารามิเตอร์ min_dist ควบคุมว่าจุดต่างๆ สามารถจัดกลุ่มกันได้อย่างหนาแน่นเพียงใด ซึ่งกำหนดความหนาแน่นของกลุ่มที่ได้
สูตร
Y = \arg\min_{Y} \; \text{cross-entropy}(G_{\text{high}}, G_{\text{low}})ผลลัพธ์คือการฝังตัวแบบ 2 หรือ 3 มิติ ซึ่งการสังเกตที่คล้ายกันจะอยู่ใกล้กัน พร้อมสำหรับการพล็อต หรือสำหรับการป้อนเข้าสู่การจัดกลุ่ม (clustering) หรือการจำแนกประเภท (classification) รูปร่างของกลุ่มจะถูกรักษาไว้ แต่ระยะห่างระหว่างกลุ่มควรได้รับการพิจารณาอย่างระมัดระวัง และจำเป็นต้องมีค่า random_state ที่คงที่เพื่อให้ได้ผลลัพธ์ที่สามารถทำซ้ำได้
ข้อผิดพลาดที่พบบ่อย
- การอ่านระยะห่างระหว่างกลุ่มเสมือนว่าเป็นปริมาณที่มีความหมาย
- การปล่อยให้ n_neighbors และ min_dist เป็นค่าเริ่มต้นแทนที่จะปรับแต่งให้เข้ากับข้อมูล
- การลืมตั้งค่า random_state ทำให้การฝังตัวไม่สามารถทำซ้ำได้
- การรัน UMAP บนจำนวนการสังเกตน้อยกว่าประมาณ 50 รายการ และเชื่อถือแผนภาพที่ได้
คำถามที่พบบ่อย
UMAP แตกต่างจาก t-SNE อย่างไร?
ทั้งสองเป็นวิธีการไม่เชิงเส้นสำหรับการแสดงภาพข้อมูลมิติสูง แต่ UMAP สร้างขึ้นบนทฤษฎีการเรียนรู้แบบแมนิฟอล์ด มีแนวโน้มที่จะรักษาโครงสร้างโดยรวมได้ดีกว่า และเร็วกว่ามากสำหรับชุดข้อมูลขนาดใหญ่
ฉันสามารถตีความระยะห่างระหว่างกลุ่มในแผนภาพได้หรือไม่?
โปรดใช้ความระมัดระวัง UMAP รักษา รูปร่างของกลุ่ม แต่ระยะห่างระหว่างกลุ่มอาจทำให้เข้าใจผิดได้ และไม่ควรถือเป็นปริมาณที่แม่นยำ
ไฮเปอร์พารามิเตอร์ใดที่สำคัญที่สุด?
n_neighbors ควบคุมสมดุลระหว่างโครงสร้างเฉพาะที่และโครงสร้างโดยรวม และ min_dist ควบคุมว่าจุดต่างๆ จะรวมกลุ่มกันหนาแน่นเพียงใด ทั้งสองควรได้รับการปรับแต่ง และควรตั้งค่า random_state ให้คงที่เพื่อให้การฝังตัวสามารถทำซ้ำได้
จะเกิดอะไรขึ้นถ้าฉันมีจำนวนการสังเกตน้อยมาก?
สำหรับจำนวนการสังเกตน้อยกว่าประมาณ 50 รายการ แมนิฟอล์ดจะไม่สามารถเรียนรู้ได้อย่างน่าเชื่อถือ และการฝังตัวจะทำให้เข้าใจผิดได้ ในกรณีนั้น วิธีการเชิงเส้น เช่น PCA จะเป็นตัวเลือกที่ปลอดภัยกว่า
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
McInnes, L., Healy, J. & Melville, J. (2018). UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. arXiv:1802.03426.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว