การเรียนรู้เมตริก
- ผู้เสนอ
- Xing, E. P.; Jordan, M. I.; Russell, S.; Ng, A. Y.
- ปี
- 2003 (foundational); refined 2009 (LMNN)
- ประเภท
- Representation learning / supervised distance optimization
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การเรียนรู้เมตริกเป็นกรอบการทำงานของการเรียนรู้ของเครื่องที่ฝึกฟังก์ชันระยะทางหรือความคล้ายคลึงจากข้อมูล เพื่อให้ตัวอย่างที่มีความหมายเหมือนกันอยู่ใกล้กันในปริภูมิที่เรียนรู้ ในขณะที่ตัวอย่างที่แตกต่างกันจะถูกผลักออกไป ซึ่งแตกต่างจากระยะทางคงที่ เช่น ยุคลิด เมตริกที่เรียนรู้จะปรับให้เข้ากับโครงสร้างของงาน ทำให้ตัวจำแนก ตัวจัดกลุ่ม และระบบการดึงข้อมูลปลายน้ำมีความแม่นยำมากขึ้นอย่างมาก
แนวคิดเบื้องหลังวิธีการ
ระยะทางมาตรฐาน เช่น ยุคลิด ถือว่ามิติคุณลักษณะทั้งหมดเท่าเทียมกัน แต่ในหลายปัญหา คุณลักษณะบางอย่างมีข้อมูลมากกว่าคุณลักษณะอื่น ๆ และมิติที่เกี่ยวข้องจะแตกต่างกันไปตามคลาส การเรียนรู้เมตริกก็เหมือนกับการฝึกไม้บรรทัด: เมื่อได้รับข้อมูลเกี่ยวกับคู่ตัวอย่างที่ควรจะใกล้กันและคู่ที่ควรจะอยู่ห่างกัน มันจะปรับเรขาคณิตของปริภูมิคุณลักษณะเพื่อให้ตัวจำแนกเพื่อนบ้านที่ใกล้ที่สุดอย่างง่าย หรืออัลกอริทึมการจัดกลุ่มสามารถจัดกลุ่มได้อย่างถูกต้องทันที ปริภูมิที่เรียนรู้จะจับความหมายของ 'คล้ายกัน' สำหรับงานเฉพาะได้อย่างมีประสิทธิภาพ
ประวัติศาสตร์
กรอบงานสมัยใหม่ก่อตั้งโดย Xing และคณะ (2003) ซึ่งกำหนดการเรียนรู้เมตริกเป็นปัญหาการหาค่าที่เหมาะสมที่สุดแบบนูน (convex optimization) พร้อมข้อจำกัดแบบคู่ Weinberger และ Saul (2009) ได้นำเสนอ Large Margin Nearest Neighbor (LMNN) ซึ่งกำหนดมาตรฐานใหม่สำหรับงานที่ใช้ k-NN สาขานี้เร่งความเร็วด้วยการเรียนรู้เมตริกแบบดีป: Chopra และคณะ (2005) ทำให้โครงข่ายไซมิส (Siamese network) เป็นที่นิยมด้วยฟังก์ชันการสูญเสียแบบเปรียบต่าง และ Schroff และคณะ (2015) ได้นำเสนอฟังก์ชันการสูญเสียแบบสามเหลี่ยม FaceNet สำหรับการยืนยันใบหน้าขนาดใหญ่ ปัจจุบันการเรียนรู้เมตริกเป็นพื้นฐานของการเรียนรู้แบบน้อยตัวอย่างและการวิจัยการแทนค่าภาพจำนวนมาก
ควรใช้เมื่อใด
ใช้การเรียนรู้เมตริกเมื่องานปลายน้ำมีพื้นฐานมาจากความคล้ายคลึงกัน — เช่น การจำแนกประเภทแบบน้อยตัวอย่าง (few-shot classification) การยืนยันใบหน้า การดึงรูปภาพทางการแพทย์ การระบุผู้พูด หรือการแนะนำผลิตภัณฑ์ — และเมื่อระยะทางยุคลิดคงที่ทำงานได้ไม่ดีเนื่องจากคุณลักษณะมีความเกี่ยวข้องไม่เท่ากัน มันจะโดดเด่นด้วยชุดข้อมูลที่มีป้ายกำกับขนาดปานกลางถึงใหญ่ และอินพุตที่มีมิติสูง เช่น รูปภาพหรือการฝังข้อความ หลีกเลี่ยงเมื่อคุณมีตัวอย่างที่มีป้ายกำกับน้อยมากต่อคลาส (น้อยกว่าประมาณ 5-10 ต่อคลาส) เมื่อเป้าหมายสุดท้ายคือการถดถอยหรือการจำแนกประเภทแบบตารางอย่างง่ายที่ได้รับการตอบสนองอย่างดีจากโลจิสติกส์รีเกรสชันหรือการไล่ระดับสีของต้นไม้ หรือเมื่อต้องการการตีความในแง่ของสัมประสิทธิ์คุณลักษณะที่ชัดเจน
ข้อจำกัดและข้อควรพิจารณา
- ฟังก์ชันการสูญเสียแบบสามเหลี่ยมและแบบเปรียบต่างต้องการการขุดคู่/สามเหลี่ยมอย่างระมัดระวัง การสุ่มตัวอย่างแบบสุ่มส่วนใหญ่ให้คู่ที่ง่ายและไม่ให้ข้อมูล และทำให้การฝึกช้าลงอย่างมาก
- วิธีการมาฮาลาโนบิสเชิงเส้นมีสเกลเป็นกำลังสองตามมิติคุณลักษณะ ทำให้ไม่สามารถทำได้ในมิติที่สูงมากโดยไม่มีการลดมิติ
- ต้องการข้อมูลที่มีป้ายกำกับหรือข้อจำกัดแบบคู่; การตั้งค่าแบบไม่มีการกำกับดูแลทั้งหมดจำกัดสิ่งที่สามารถเรียนรู้ได้โดยไม่มีข้อสมมติฐานเพิ่มเติม
- การประเมินผลเป็นแบบอ้อม — คุณภาพของเมตริกต้องได้รับการประเมินผ่านงานปลายน้ำ ไม่ใช่ค่าการสูญเสียเดียว
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ปรับเรขาคณิตของปริภูมิคุณลักษณะให้เข้ากับงานเฉพาะ เพิ่มความแม่นยำของเพื่อนบ้านที่ใกล้ที่สุดและการจัดกลุ่มได้อย่างมาก
- เปิดใช้งานการรู้จำแบบน้อยตัวอย่าง: เมื่อเมตริกที่ดีถูกเรียนรู้แล้ว การจำแนกประเภทใหม่ต้องใช้ตัวอย่างเพียงไม่กี่ตัวอย่าง
- ถ่ายโอนได้ดีข้ามโดเมน — เมตริกที่เรียนรู้จากชุดข้อมูลหนึ่งสามารถปรับแต่งสำหรับงานที่เกี่ยวข้องด้วยข้อมูลเพิ่มเติมเพียงเล็กน้อย
- ไม่ขึ้นกับโมเดล: การฝังที่เรียนรู้สามารถป้อนให้กับอัลกอริทึมปลายน้ำใดก็ได้ (k-NN, SVM, k-means) โดยไม่ต้องฝึกส่วนประกอบเหล่านั้นใหม่
- สูตรแบบเปรียบต่างและแบบสามเหลี่ยมสามารถปรับขนาดให้เข้ากับชุดข้อมูลขนาดใหญ่มากผ่านการสุ่มตัวอย่างแบบมินิแบตช์
การประยุกต์ใช้
- การยืนยันและรู้จำใบหน้า: การเรียนรู้ว่ารูปภาพใบหน้าสองรูปแสดงถึงบุคคลเดียวกันหรือไม่
- การจำแนกประเภทรูปภาพแบบน้อยตัวอย่าง: การจำแนกประเภทหมวดหมู่ภาพใหม่จากตัวอย่างหนึ่งหรือสองสามตัวอย่าง
- การดึงรูปภาพทางการแพทย์: การค้นหาบริเวณสแกนที่คล้ายกันหรือชิ้นเนื้อพยาธิวิทยาในฐานข้อมูลขนาดใหญ่
- การยืนยันผู้พูดและเสียงในระบบการยืนยันตัวตนแบบไบโอเมตริก
- การแนะนำผลิตภัณฑ์และการค้นหาด้วยภาพในอีคอมเมิร์ซ
วิธีการทำงาน
วิธีการทำงาน
จากข้อมูลที่มีป้ายกำกับหรือข้อมูลที่ถูกอธิบายเป็นคู่ จะมีการกำหนดคู่บวก (คลาสเดียวกันหรือคล้ายกันอย่างชัดเจน) และคู่ลบ (คลาสต่างกันหรือแตกต่างกันอย่างชัดเจน) ข้อจำกัดเหล่านี้จะเข้ารหัสความหมายของ 'ใกล้' และ 'ไกล' สำหรับงาน และสร้างสัญญาณการกำกับดูแลสำหรับการฝึกเมตริก
เลือกฟังก์ชันระยะทางแบบพาราเมตริก — ส่วนใหญ่มักเป็นระยะทางมาฮาลาโนบิสที่ควบคุมโดยเมทริกซ์กึ่งบวกแน่นอน M หรือฟังก์ชันการฝังโครงข่ายประสาทเทียม ตามด้วยระยะทางยุคลิดหรือโคไซน์ เมทริกซ์ M ขยายการปรับสเกลตามแกนไปสู่การถ่วงน้ำหนักข้ามคุณลักษณะแบบเต็ม
สูตร
d_M(x_i,x_j)=\sqrt{(x_i-x_j)^\top M (x_i-x_j)},\; M \succeq 0กำหนดวัตถุประสงค์เพื่อนำคู่บวกมารวมกันและผลักคู่ลบออกไป ในขณะที่ยังคงรักษาขอบเขตหรือข้อจำกัดแบบอ่อน วัตถุประสงค์ทั่วไป ได้แก่ ฟังก์ชันการสูญเสียแบบเปรียบต่าง (contrastive loss), ฟังก์ชันการสูญเสียแบบสามเหลี่ยม (triplet loss) (ระยะทางระหว่างสมอ-บวก น้อยกว่าระยะทางระหว่างสมอ-ลบ ด้วยขอบเขต) หรือฟังก์ชันการสูญเสียแบบบานพับเพื่อนบ้านที่ใกล้ที่สุดด้วยขอบเขตขนาดใหญ่ (large-margin nearest-neighbor - LMNN)
พารามิเตอร์เมตริก (M หรือน้ำหนักโครงข่ายประสาทเทียม) จะถูกปรับให้เหมาะสมโดยใช้การไล่ระดับสี (gradient descent) หรือการเขียนโปรแกรมกึ่งแน่นอน (semi-definite programming) กลยุทธ์การสุ่มตัวอย่างแบบมินิแบตช์ เช่น การขุดลบแบบยาก (hard negative mining) มีความสำคัญอย่างยิ่งต่อวัตถุประสงค์ที่ใช้สามเหลี่ยม: การสุ่มตัวอย่างแบบสุ่มมักจะให้สามเหลี่ยมที่ไม่ให้ข้อมูลซึ่งทำให้การลู่ช้าลง
ในการอนุมาน จะใช้เมตริกหรือการฝังที่เรียนรู้กับข้อมูลใหม่ งานปลายน้ำ — การจำแนกประเภทเพื่อนบ้านที่ใกล้ที่สุด การจัดกลุ่ม k-means การดึงรูปภาพ หรือการแนะนำ — ดำเนินการในปริภูมิที่เรียนรู้ ซึ่งระยะทางสะท้อนความคล้ายคลึงทางความหมายได้อย่างน่าเชื่อถือ
ข้อผิดพลาดที่พบบ่อย
- การใช้การสุ่มตัวอย่างสามเหลี่ยมแบบสุ่มแทนการขุดลบแบบยากหรือแบบกึ่งยาก ซึ่งนำไปสู่การไล่ระดับสีที่เกือบเป็นศูนย์และการฝึกที่หยุดนิ่ง
- การประเมินเมตริกเฉพาะบนคลาสที่ฝึก; ประสิทธิภาพบนคลาสที่ไม่เคยเห็น (เป้าหมายการสรุปผลที่แท้จริง) อาจต่ำกว่ามาก
- การละเลยการทำให้การฝังเป็นมาตรฐานก่อนการคำนวณความคล้ายคลึงโคไซน์ ทำให้เกิดสิ่งประดิษฐ์จากสเกล
- การปฏิบัติต่อการฝังที่เรียนรู้ว่าสามารถตีความได้ในแง่ของคุณลักษณะดั้งเดิมโดยไม่มีการวิเคราะห์เพิ่มเติม เช่น การทดสอบเชิงเส้นหรือ SHAP
- การใช้เมตริกที่เรียนรู้กับความคลาดเคลื่อนของโดเมน (การกระจายข้อมูลที่แตกต่างกัน) โดยไม่มีการตรวจสอบซ้ำหรือปรับแต่ง
คำถามที่พบบ่อย
อะไรคือความแตกต่างระหว่างการเรียนรู้เมตริกและการเรียนรู้แบบเปรียบต่าง?
การเรียนรู้แบบเปรียบต่างเป็นตระกูลเฉพาะของวัตถุประสงค์การเรียนรู้เมตริก (เช่น contrastive loss, SimCLR) ที่เปรียบเทียบระหว่างคู่บวกและคู่ลบ การเรียนรู้เมตริกเป็นกรอบงานที่กว้างกว่าซึ่งรวมถึงวิธีการมาฮาลาโนบิส ฟังก์ชันการสูญเสียแบบสามเหลี่ยม และวัตถุประสงค์ที่ใช้ตัวแทน (proxy-based objectives)
ฉันต้องการตัวอย่างต่อคลาสจำนวนเท่าใด?
วิธีการมาฮาลาโนบิสเชิงเส้นสามารถทำงานได้โดยมีตัวอย่างเพียง 10-20 ตัวอย่างต่อคลาส การเรียนรู้เมตริกแบบดีปโดยทั่วไปต้องการตัวอย่างหลายสิบถึงหลายร้อยตัวอย่างต่อคลาสเพื่อเรียนรู้การฝังที่มีประโยชน์ แม้ว่าโครงกระดูกที่ฝึกไว้ล่วงหน้าสามารถลดความต้องการนี้ได้อย่างมาก
การเรียนรู้เมตริกเหมือนกับการลดมิติหรือไม่?
ไม่เชิง วิธีการเช่น PCA หรือ UMAP ลดมิติโดยไม่มีการกำกับดูแลโดยตรง การเรียนรู้เมตริกใช้การกำกับดูแลระดับคลาสหรือแบบคู่เพื่อกำหนดรูปทรงเรขาคณิต ดังนั้นปริภูมิที่ได้จึงสามารถแยกแยะงานได้ ไม่ใช่แค่กะทัดรัด
การเรียนรู้เมตริกสามารถจัดการกับคลาสที่ไม่สมดุลได้หรือไม่?
ได้ แต่การสุ่มตัวอย่างคู่/สามเหลี่ยมต้องมีการแบ่งชั้นเพื่อหลีกเลี่ยงไม่ให้คลาสที่โดดเด่นครอบงำแบตช์ ฟังก์ชันการสูญเสียที่ใช้ตัวแทน (Proxy-NCA, Proxy-Anchor) มีความทนทานต่อความไม่สมดุลของคลาสมากกว่าการสุ่มตัวอย่างสามเหลี่ยม
เมื่อใดที่ฉันควรใช้การเรียนรู้เมตริกแทนตัวจำแนกมาตรฐาน?
เลือกการเรียนรู้เมตริกเมื่อคุณต้องการสรุปผลไปยังคลาสที่ไม่เคยเห็นในระหว่างการฝึก (การรู้จำแบบเปิด-ชุด, การเรียนรู้แบบน้อยตัวอย่าง) หรือเมื่องานเป็นการดึงข้อมูลแทนการทำนายคลาสคงที่
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Xing, E. P., Jordan, M. I., Russell, S., & Ng, A. Y. (2003). Distance metric learning with application to clustering with side-information. In Advances in Neural Information Processing Systems (NIPS), 16, 505–512.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วWeinberger, K. Q., & Saul, L. K. (2009). Distance metric learning for large margin nearest neighbor classification. Journal of Machine Learning Research, 10, 207–244.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว