Skip to content
กลับไปยังผลการค้นหา

การเรียนรู้เมตริก

ผู้เสนอ
Xing, E. P.; Jordan, M. I.; Russell, S.; Ng, A. Y.
ปี
2003 (foundational); refined 2009 (LMNN)
ประเภท
Representation learning / supervised distance optimization
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การเรียนรู้เมตริกเป็นกรอบการทำงานของการเรียนรู้ของเครื่องที่ฝึกฟังก์ชันระยะทางหรือความคล้ายคลึงจากข้อมูล เพื่อให้ตัวอย่างที่มีความหมายเหมือนกันอยู่ใกล้กันในปริภูมิที่เรียนรู้ ในขณะที่ตัวอย่างที่แตกต่างกันจะถูกผลักออกไป ซึ่งแตกต่างจากระยะทางคงที่ เช่น ยุคลิด เมตริกที่เรียนรู้จะปรับให้เข้ากับโครงสร้างของงาน ทำให้ตัวจำแนก ตัวจัดกลุ่ม และระบบการดึงข้อมูลปลายน้ำมีความแม่นยำมากขึ้นอย่างมาก

แนวคิดเบื้องหลังวิธีการ

ระยะทางมาตรฐาน เช่น ยุคลิด ถือว่ามิติคุณลักษณะทั้งหมดเท่าเทียมกัน แต่ในหลายปัญหา คุณลักษณะบางอย่างมีข้อมูลมากกว่าคุณลักษณะอื่น ๆ และมิติที่เกี่ยวข้องจะแตกต่างกันไปตามคลาส การเรียนรู้เมตริกก็เหมือนกับการฝึกไม้บรรทัด: เมื่อได้รับข้อมูลเกี่ยวกับคู่ตัวอย่างที่ควรจะใกล้กันและคู่ที่ควรจะอยู่ห่างกัน มันจะปรับเรขาคณิตของปริภูมิคุณลักษณะเพื่อให้ตัวจำแนกเพื่อนบ้านที่ใกล้ที่สุดอย่างง่าย หรืออัลกอริทึมการจัดกลุ่มสามารถจัดกลุ่มได้อย่างถูกต้องทันที ปริภูมิที่เรียนรู้จะจับความหมายของ 'คล้ายกัน' สำหรับงานเฉพาะได้อย่างมีประสิทธิภาพ

ประวัติศาสตร์

กรอบงานสมัยใหม่ก่อตั้งโดย Xing และคณะ (2003) ซึ่งกำหนดการเรียนรู้เมตริกเป็นปัญหาการหาค่าที่เหมาะสมที่สุดแบบนูน (convex optimization) พร้อมข้อจำกัดแบบคู่ Weinberger และ Saul (2009) ได้นำเสนอ Large Margin Nearest Neighbor (LMNN) ซึ่งกำหนดมาตรฐานใหม่สำหรับงานที่ใช้ k-NN สาขานี้เร่งความเร็วด้วยการเรียนรู้เมตริกแบบดีป: Chopra และคณะ (2005) ทำให้โครงข่ายไซมิส (Siamese network) เป็นที่นิยมด้วยฟังก์ชันการสูญเสียแบบเปรียบต่าง และ Schroff และคณะ (2015) ได้นำเสนอฟังก์ชันการสูญเสียแบบสามเหลี่ยม FaceNet สำหรับการยืนยันใบหน้าขนาดใหญ่ ปัจจุบันการเรียนรู้เมตริกเป็นพื้นฐานของการเรียนรู้แบบน้อยตัวอย่างและการวิจัยการแทนค่าภาพจำนวนมาก

ควรใช้เมื่อใด

ใช้การเรียนรู้เมตริกเมื่องานปลายน้ำมีพื้นฐานมาจากความคล้ายคลึงกัน — เช่น การจำแนกประเภทแบบน้อยตัวอย่าง (few-shot classification) การยืนยันใบหน้า การดึงรูปภาพทางการแพทย์ การระบุผู้พูด หรือการแนะนำผลิตภัณฑ์ — และเมื่อระยะทางยุคลิดคงที่ทำงานได้ไม่ดีเนื่องจากคุณลักษณะมีความเกี่ยวข้องไม่เท่ากัน มันจะโดดเด่นด้วยชุดข้อมูลที่มีป้ายกำกับขนาดปานกลางถึงใหญ่ และอินพุตที่มีมิติสูง เช่น รูปภาพหรือการฝังข้อความ หลีกเลี่ยงเมื่อคุณมีตัวอย่างที่มีป้ายกำกับน้อยมากต่อคลาส (น้อยกว่าประมาณ 5-10 ต่อคลาส) เมื่อเป้าหมายสุดท้ายคือการถดถอยหรือการจำแนกประเภทแบบตารางอย่างง่ายที่ได้รับการตอบสนองอย่างดีจากโลจิสติกส์รีเกรสชันหรือการไล่ระดับสีของต้นไม้ หรือเมื่อต้องการการตีความในแง่ของสัมประสิทธิ์คุณลักษณะที่ชัดเจน

ข้อจำกัดและข้อควรพิจารณา

  • ฟังก์ชันการสูญเสียแบบสามเหลี่ยมและแบบเปรียบต่างต้องการการขุดคู่/สามเหลี่ยมอย่างระมัดระวัง การสุ่มตัวอย่างแบบสุ่มส่วนใหญ่ให้คู่ที่ง่ายและไม่ให้ข้อมูล และทำให้การฝึกช้าลงอย่างมาก
  • วิธีการมาฮาลาโนบิสเชิงเส้นมีสเกลเป็นกำลังสองตามมิติคุณลักษณะ ทำให้ไม่สามารถทำได้ในมิติที่สูงมากโดยไม่มีการลดมิติ
  • ต้องการข้อมูลที่มีป้ายกำกับหรือข้อจำกัดแบบคู่; การตั้งค่าแบบไม่มีการกำกับดูแลทั้งหมดจำกัดสิ่งที่สามารถเรียนรู้ได้โดยไม่มีข้อสมมติฐานเพิ่มเติม
  • การประเมินผลเป็นแบบอ้อม — คุณภาพของเมตริกต้องได้รับการประเมินผ่านงานปลายน้ำ ไม่ใช่ค่าการสูญเสียเดียว

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ปรับเรขาคณิตของปริภูมิคุณลักษณะให้เข้ากับงานเฉพาะ เพิ่มความแม่นยำของเพื่อนบ้านที่ใกล้ที่สุดและการจัดกลุ่มได้อย่างมาก
  • เปิดใช้งานการรู้จำแบบน้อยตัวอย่าง: เมื่อเมตริกที่ดีถูกเรียนรู้แล้ว การจำแนกประเภทใหม่ต้องใช้ตัวอย่างเพียงไม่กี่ตัวอย่าง
  • ถ่ายโอนได้ดีข้ามโดเมน — เมตริกที่เรียนรู้จากชุดข้อมูลหนึ่งสามารถปรับแต่งสำหรับงานที่เกี่ยวข้องด้วยข้อมูลเพิ่มเติมเพียงเล็กน้อย
  • ไม่ขึ้นกับโมเดล: การฝังที่เรียนรู้สามารถป้อนให้กับอัลกอริทึมปลายน้ำใดก็ได้ (k-NN, SVM, k-means) โดยไม่ต้องฝึกส่วนประกอบเหล่านั้นใหม่
  • สูตรแบบเปรียบต่างและแบบสามเหลี่ยมสามารถปรับขนาดให้เข้ากับชุดข้อมูลขนาดใหญ่มากผ่านการสุ่มตัวอย่างแบบมินิแบตช์

การประยุกต์ใช้

  • การยืนยันและรู้จำใบหน้า: การเรียนรู้ว่ารูปภาพใบหน้าสองรูปแสดงถึงบุคคลเดียวกันหรือไม่
  • การจำแนกประเภทรูปภาพแบบน้อยตัวอย่าง: การจำแนกประเภทหมวดหมู่ภาพใหม่จากตัวอย่างหนึ่งหรือสองสามตัวอย่าง
  • การดึงรูปภาพทางการแพทย์: การค้นหาบริเวณสแกนที่คล้ายกันหรือชิ้นเนื้อพยาธิวิทยาในฐานข้อมูลขนาดใหญ่
  • การยืนยันผู้พูดและเสียงในระบบการยืนยันตัวตนแบบไบโอเมตริก
  • การแนะนำผลิตภัณฑ์และการค้นหาด้วยภาพในอีคอมเมิร์ซ

วิธีการทำงาน

วิธีการทำงาน

1

จากข้อมูลที่มีป้ายกำกับหรือข้อมูลที่ถูกอธิบายเป็นคู่ จะมีการกำหนดคู่บวก (คลาสเดียวกันหรือคล้ายกันอย่างชัดเจน) และคู่ลบ (คลาสต่างกันหรือแตกต่างกันอย่างชัดเจน) ข้อจำกัดเหล่านี้จะเข้ารหัสความหมายของ 'ใกล้' และ 'ไกล' สำหรับงาน และสร้างสัญญาณการกำกับดูแลสำหรับการฝึกเมตริก

2

เลือกฟังก์ชันระยะทางแบบพาราเมตริก — ส่วนใหญ่มักเป็นระยะทางมาฮาลาโนบิสที่ควบคุมโดยเมทริกซ์กึ่งบวกแน่นอน M หรือฟังก์ชันการฝังโครงข่ายประสาทเทียม ตามด้วยระยะทางยุคลิดหรือโคไซน์ เมทริกซ์ M ขยายการปรับสเกลตามแกนไปสู่การถ่วงน้ำหนักข้ามคุณลักษณะแบบเต็ม

สูตร
d_M(x_i,x_j)=\sqrt{(x_i-x_j)^\top M (x_i-x_j)},\; M \succeq 0
3

กำหนดวัตถุประสงค์เพื่อนำคู่บวกมารวมกันและผลักคู่ลบออกไป ในขณะที่ยังคงรักษาขอบเขตหรือข้อจำกัดแบบอ่อน วัตถุประสงค์ทั่วไป ได้แก่ ฟังก์ชันการสูญเสียแบบเปรียบต่าง (contrastive loss), ฟังก์ชันการสูญเสียแบบสามเหลี่ยม (triplet loss) (ระยะทางระหว่างสมอ-บวก น้อยกว่าระยะทางระหว่างสมอ-ลบ ด้วยขอบเขต) หรือฟังก์ชันการสูญเสียแบบบานพับเพื่อนบ้านที่ใกล้ที่สุดด้วยขอบเขตขนาดใหญ่ (large-margin nearest-neighbor - LMNN)

4

พารามิเตอร์เมตริก (M หรือน้ำหนักโครงข่ายประสาทเทียม) จะถูกปรับให้เหมาะสมโดยใช้การไล่ระดับสี (gradient descent) หรือการเขียนโปรแกรมกึ่งแน่นอน (semi-definite programming) กลยุทธ์การสุ่มตัวอย่างแบบมินิแบตช์ เช่น การขุดลบแบบยาก (hard negative mining) มีความสำคัญอย่างยิ่งต่อวัตถุประสงค์ที่ใช้สามเหลี่ยม: การสุ่มตัวอย่างแบบสุ่มมักจะให้สามเหลี่ยมที่ไม่ให้ข้อมูลซึ่งทำให้การลู่ช้าลง

5

ในการอนุมาน จะใช้เมตริกหรือการฝังที่เรียนรู้กับข้อมูลใหม่ งานปลายน้ำ — การจำแนกประเภทเพื่อนบ้านที่ใกล้ที่สุด การจัดกลุ่ม k-means การดึงรูปภาพ หรือการแนะนำ — ดำเนินการในปริภูมิที่เรียนรู้ ซึ่งระยะทางสะท้อนความคล้ายคลึงทางความหมายได้อย่างน่าเชื่อถือ

ข้อผิดพลาดที่พบบ่อย

  • การใช้การสุ่มตัวอย่างสามเหลี่ยมแบบสุ่มแทนการขุดลบแบบยากหรือแบบกึ่งยาก ซึ่งนำไปสู่การไล่ระดับสีที่เกือบเป็นศูนย์และการฝึกที่หยุดนิ่ง
  • การประเมินเมตริกเฉพาะบนคลาสที่ฝึก; ประสิทธิภาพบนคลาสที่ไม่เคยเห็น (เป้าหมายการสรุปผลที่แท้จริง) อาจต่ำกว่ามาก
  • การละเลยการทำให้การฝังเป็นมาตรฐานก่อนการคำนวณความคล้ายคลึงโคไซน์ ทำให้เกิดสิ่งประดิษฐ์จากสเกล
  • การปฏิบัติต่อการฝังที่เรียนรู้ว่าสามารถตีความได้ในแง่ของคุณลักษณะดั้งเดิมโดยไม่มีการวิเคราะห์เพิ่มเติม เช่น การทดสอบเชิงเส้นหรือ SHAP
  • การใช้เมตริกที่เรียนรู้กับความคลาดเคลื่อนของโดเมน (การกระจายข้อมูลที่แตกต่างกัน) โดยไม่มีการตรวจสอบซ้ำหรือปรับแต่ง

คำถามที่พบบ่อย

อะไรคือความแตกต่างระหว่างการเรียนรู้เมตริกและการเรียนรู้แบบเปรียบต่าง?

การเรียนรู้แบบเปรียบต่างเป็นตระกูลเฉพาะของวัตถุประสงค์การเรียนรู้เมตริก (เช่น contrastive loss, SimCLR) ที่เปรียบเทียบระหว่างคู่บวกและคู่ลบ การเรียนรู้เมตริกเป็นกรอบงานที่กว้างกว่าซึ่งรวมถึงวิธีการมาฮาลาโนบิส ฟังก์ชันการสูญเสียแบบสามเหลี่ยม และวัตถุประสงค์ที่ใช้ตัวแทน (proxy-based objectives)

ฉันต้องการตัวอย่างต่อคลาสจำนวนเท่าใด?

วิธีการมาฮาลาโนบิสเชิงเส้นสามารถทำงานได้โดยมีตัวอย่างเพียง 10-20 ตัวอย่างต่อคลาส การเรียนรู้เมตริกแบบดีปโดยทั่วไปต้องการตัวอย่างหลายสิบถึงหลายร้อยตัวอย่างต่อคลาสเพื่อเรียนรู้การฝังที่มีประโยชน์ แม้ว่าโครงกระดูกที่ฝึกไว้ล่วงหน้าสามารถลดความต้องการนี้ได้อย่างมาก

การเรียนรู้เมตริกเหมือนกับการลดมิติหรือไม่?

ไม่เชิง วิธีการเช่น PCA หรือ UMAP ลดมิติโดยไม่มีการกำกับดูแลโดยตรง การเรียนรู้เมตริกใช้การกำกับดูแลระดับคลาสหรือแบบคู่เพื่อกำหนดรูปทรงเรขาคณิต ดังนั้นปริภูมิที่ได้จึงสามารถแยกแยะงานได้ ไม่ใช่แค่กะทัดรัด

การเรียนรู้เมตริกสามารถจัดการกับคลาสที่ไม่สมดุลได้หรือไม่?

ได้ แต่การสุ่มตัวอย่างคู่/สามเหลี่ยมต้องมีการแบ่งชั้นเพื่อหลีกเลี่ยงไม่ให้คลาสที่โดดเด่นครอบงำแบตช์ ฟังก์ชันการสูญเสียที่ใช้ตัวแทน (Proxy-NCA, Proxy-Anchor) มีความทนทานต่อความไม่สมดุลของคลาสมากกว่าการสุ่มตัวอย่างสามเหลี่ยม

เมื่อใดที่ฉันควรใช้การเรียนรู้เมตริกแทนตัวจำแนกมาตรฐาน?

เลือกการเรียนรู้เมตริกเมื่อคุณต้องการสรุปผลไปยังคลาสที่ไม่เคยเห็นในระหว่างการฝึก (การรู้จำแบบเปิด-ชุด, การเรียนรู้แบบน้อยตัวอย่าง) หรือเมื่องานเป็นการดึงข้อมูลแทนการทำนายคลาสคงที่

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Xing, E. P., Jordan, M. I., Russell, S., & Ng, A. Y. (2003). Distance metric learning with application to clustering with side-information. In Advances in Neural Information Processing Systems (NIPS), 16, 505–512.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Weinberger, K. Q., & Saul, L. K. (2009). Distance metric learning for large margin nearest neighbor classification. Journal of Machine Learning Research, 10, 207–244.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว