Skip to content
กลับไปยังผลการค้นหา

การเรียนรู้เชิงเปรียบเทียบสำหรับภาพ (Visual Contrastive Learning)

ผู้เสนอ
Chen, T. et al. (SimCLR); He, K. et al. (MoCo)
ปี
2020
ประเภท
Self-supervised deep representation learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การเรียนรู้เชิงเปรียบเทียบสำหรับภาพ (Visual Contrastive Learning) เป็นแนวทางการเรียนรู้เชิงลึกแบบเรียนรู้ด้วยตนเอง (self-supervised deep-learning) ซึ่งได้รับความนิยมจากเฟรมเวิร์กอย่าง SimCLR (Chen et al., 2020) และ MoCo (He et al., 2020) โดยเรียนรู้การนำเสนอภาพที่มีความหมายโดยไม่ต้องใช้ป้ายกำกับ ด้วยการดึงภาพที่ผ่านการปรับแต่งที่แตกต่างกันของภาพเดียวกันให้เข้ามาใกล้กัน และผลักภาพที่แตกต่างกันออกไป ทำให้สามารถเปลี่ยนชุดข้อมูลภาพขนาดใหญ่ที่ไม่มีป้ายกำกับให้เป็นตัวสกัดคุณลักษณะที่มีประโยชน์ได้

แนวคิดเบื้องหลังวิธีการ

หากคุณตัดส่วน ปรับสี หรือพลิกภาพเดียวด้วยวิธีที่แตกต่างกันสองแบบ ทั้งสองเวอร์ชันก็ยังคงเป็นสิ่งที่จดจำได้ว่าเป็นสิ่งเดียวกัน การเรียนรู้เชิงเปรียบเทียบสร้างขึ้นจากแนวคิดนี้อย่างแม่นยำ: มันสอนให้เครือข่ายจับคู่มุมมองที่ผ่านการปรับแต่งสองแบบของภาพเดียวกันให้อยู่ใกล้กันในพื้นที่คุณลักษณะ ในขณะที่รักษามุมมองของภาพอื่น ๆ ให้อยู่ห่างกัน ไม่จำเป็นต้องมีป้ายกำกับจากมนุษย์ การกำกับดูแลมาจากการเปรียบเทียบภาพซึ่งกันและกันโดยสมบูรณ์

ประวัติศาสตร์

การเรียนรู้เชิงเปรียบเทียบสำหรับภาพพัฒนาอย่างรวดเร็วในปี 2020 SimCLR (Chen et al., ICML 2020) แสดงให้เห็นว่าเฟรมเวิร์กที่เรียบง่ายของการเพิ่มข้อมูลที่แข็งแกร่ง, projection head และฟังก์ชันความเสียหายเชิงเปรียบเทียบ NT-Xent loss สามารถเทียบเคียงกับการฝึกอบรมล่วงหน้าแบบมีผู้สอนได้ MoCo (He et al., CVPR 2020) แนะนำตัวเข้ารหัสที่อัปเดตด้วยโมเมนตัมพร้อมคิวของคู่ลบแบบไดนามิก ทำให้การเรียนรู้เชิงเปรียบเทียบขนาดใหญ่เป็นไปได้โดยไม่ต้องใช้แบตช์จำนวนมาก แนวทางต่อมาเช่น BYOL ได้ขยายตระกูลโดยการเรียนรู้โดยไม่มีคู่ลบที่ชัดเจน

ควรใช้เมื่อใด

ใช้เมื่อคุณมีชุดข้อมูลภาพที่ไม่มีป้ายกำกับขนาดใหญ่ — ประมาณอย่างน้อย 1000 ภาพ — และต้องการเรียนรู้การนำเสนอภาพที่แข็งแกร่งก่อนงานที่มีป้ายกำกับใด ๆ วิธีนี้สมมติว่ามีชุดข้อมูลที่ไม่มีป้ายกำกับดังกล่าวอยู่ ต้องใช้ GPU และขึ้นอยู่กับกลยุทธ์การเพิ่มข้อมูลที่เลือกมาอย่างดีอย่างมาก หากมีภาพน้อยกว่าประมาณ 500–1000 ภาพ คู่ลบมีน้อยเกินไปและคล้ายกันเกินไปที่จะเรียนรู้การนำเสนอที่มีประโยชน์ และการเรียนรู้ของเครื่องแบบคลาสสิกที่มีการกำกับดูแล (supervised classical machine learning) เป็นทางเลือกที่ปลอดภัยกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ต้องใช้ชุดข้อมูลภาพที่ไม่มีป้ายกำกับขนาดใหญ่ หากเป็นชุดข้อมูลขนาดเล็กจะไม่สามารถสร้างการนำเสนอที่มีความหมายได้
  • ต้องใช้ GPU และทรัพยากรการประมวลผลจำนวนมากสำหรับการฝึกอบรมล่วงหน้า
  • ประสิทธิภาพขึ้นอยู่กับกลยุทธ์การเพิ่มข้อมูล ซึ่งต้องปรับแต่งให้เหมาะสมกับแต่ละโดเมน
  • หากมีภาพน้อยกว่าประมาณ 500 ภาพ การเรียนรู้แบบเรียนรู้ด้วยตนเองจะล้มเหลว และการเรียนรู้ของเครื่องแบบคลาสสิกที่มีการกำกับดูแลจะดีกว่า

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เรียนรู้การนำเสนอภาพที่มีประโยชน์จากภาพที่ไม่มีป้ายกำกับ ช่วยลดความจำเป็นในการติดป้ายกำกับด้วยตนเองที่มีค่าใช้จ่ายสูง
  • ตัวเข้ารหัสที่ผ่านการฝึกอบรมล่วงหน้าสามารถถ่ายโอนไปยังงานปลายน้ำหลายงานได้โดยใช้ชุดข้อมูลที่มีป้ายกำกับเพียงเล็กน้อย
  • เฟรมเวิร์กเช่น SimCLR และ MoCo นำเสนอสูตรที่ได้รับการศึกษามาอย่างดีและสามารถทำซ้ำได้
  • ตัวเข้ารหัสแบบโมเมนตัมของ MoCo และคิวของคู่ลบทำให้มีการเปรียบเทียบเชิงลบจำนวนมากโดยไม่ต้องใช้แบตช์ขนาดใหญ่

การประยุกต์ใช้

  • การฝึกอบรมล่วงหน้าตัวเข้ารหัสภาพบนชุดภาพถ่ายขนาดใหญ่ที่ไม่มีป้ายกำกับ
  • การถ่ายโอนการเรียนรู้ไปยังการจำแนกประเภทภาพปลายน้ำด้วยป้ายกำกับที่จำกัด
  • การสร้างตัวสกัดคุณลักษณะภาพที่นำกลับมาใช้ใหม่ได้สำหรับไปป์ไลน์การมองเห็น
  • การเรียนรู้การนำเสนอในโดเมนที่ป้ายกำกับหายากหรือมีราคาแพง

วิธีการทำงาน

วิธีการทำงาน

1

ภาพแต่ละภาพจะถูกแปลงสองครั้งด้วยการปรับแต่งแบบสุ่ม เช่น การตัดส่วน การปรับสี และการพลิกภาพ ทำให้เกิดมุมมองที่เกี่ยวข้องกันสองแบบ การเลือกกลยุทธ์การปรับแต่งมีความสำคัญอย่างยิ่ง: มันกำหนดว่าโมเดลถูกขอให้ถือว่าอะไรคือ 'สิ่งเดียวกัน' และการปรับแต่งที่อ่อนแอหรือไม่เหมาะสมจะนำไปสู่การนำเสนอที่อ่อนแอ

2

ตัวเข้ารหัส (encoder) จะแมปทุกมุมมองไปยังการฝัง (embedding) และวัตถุประสงค์เชิงเปรียบเทียบ (contrastive objective) จะดึงมุมมองสองแบบของภาพเดียวกัน (คู่บวก) ให้เข้ามาใกล้กัน ในขณะที่ผลักมุมมองของภาพอื่น ๆ (คู่ลบ) ออกไป SimCLR ใช้ฟังก์ชันความเสียหาย NT-Xent loss พร้อมพารามิเตอร์อุณหภูมิ (temperature parameter); MoCo รักษาตัวเข้ารหัสที่อัปเดตด้วยโมเมนตัม (momentum-updated encoder) และคิวของคู่ลบ เพื่อให้มีการเปรียบเทียบจำนวนมากโดยไม่ต้องใช้แบตช์ขนาดใหญ่

สูตร
\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k \neq i} \exp(\text{sim}(z_i, z_k)/\tau)}
3

หลังจากการฝึกอบรมล่วงหน้าแบบเรียนรู้ด้วยตนเอง (self-supervised pretraining) ตัวเข้ารหัสที่เรียนรู้จะถูกนำกลับมาใช้ใหม่เป็นตัวสกัดคุณลักษณะภาพทั่วไป จากนั้นชุดข้อมูลที่มีป้ายกำกับขนาดเล็กก็เพียงพอที่จะปรับแต่ง (fine-tune) หรือฝึกตัวจำแนกประเภทน้ำหนักเบา (lightweight classifier) ที่อยู่ด้านบน เพื่อถ่ายโอนการนำเสนอไปยังงานปลายน้ำ (downstream tasks)

ข้อผิดพลาดที่พบบ่อย

  • พยายามฝึกอบรมล่วงหน้าเชิงเปรียบเทียบกับชุดภาพขนาดเล็กที่ความหลากหลายของคู่ลบไม่เพียงพอ
  • ใช้การเพิ่มข้อมูลที่อ่อนแอหรือไม่เหมาะสมกับโดเมน ซึ่งทำให้การนำเสนอที่เรียนรู้พังทลายลง
  • ละเลยพารามิเตอร์อุณหภูมิในฟังก์ชันความเสียหายเชิงเปรียบเทียบ
  • คาดหวังผลลัพธ์ที่ดีโดยไม่มี GPU หรือเวลาการฝึกอบรมที่เพียงพอ

คำถามที่พบบ่อย

ฉันจำเป็นต้องมีป้ายกำกับหรือไม่?

ไม่จำเป็น จุดประสงค์ทั้งหมดของการเรียนรู้แบบเรียนรู้ด้วยตนเองเชิงเปรียบเทียบคือการเรียนรู้การนำเสนอจากภาพที่ไม่มีป้ายกำกับ ป้ายกำกับจำเป็นเฉพาะในภายหลัง สำหรับชุดข้อมูลการปรับแต่งหรือการประเมินผลปลายน้ำขนาดเล็ก

ฉันต้องการภาพกี่ภาพ?

วางแผนสำหรับภาพที่ไม่มีป้ายกำกับอย่างน้อยประมาณ 1000 ภาพ หากน้อยกว่าประมาณ 500–1000 ภาพ ความหลากหลายของคู่ลบจะต่ำเกินไปสำหรับวิธีนี้ที่จะเรียนรู้การนำเสนอที่มีความหมาย และการเรียนรู้ของเครื่องแบบคลาสสิกที่มีการกำกับดูแลเป็นทางเลือกที่ปลอดภัยกว่า

SimCLR และ MoCo แตกต่างกันอย่างไร?

SimCLR อาศัยแบตช์ขนาดใหญ่เพื่อจัดหาคู่ลบจำนวนมากและใช้ฟังก์ชันความเสียหาย NT-Xent loss ในขณะที่ MoCo รักษาตัวเข้ารหัสที่อัปเดตด้วยโมเมนตัมและคิวของการฝังในอดีตเป็นคู่ลบ ดังนั้นจึงต้องการการเปรียบเทียบในแบตช์น้อยลง

ทำไมการเพิ่มข้อมูลจึงสำคัญมาก?

การเพิ่มข้อมูลกำหนดว่าโมเดลต้องถือว่ามุมมองที่ผ่านการแปลงของภาพใดเป็นสิ่งเดียวกัน กลยุทธ์การเพิ่มข้อมูลที่แข็งแกร่งและเลือกมาอย่างดีมีความสำคัญอย่างยิ่ง การเพิ่มข้อมูลที่อ่อนแอจะให้การนำเสนอที่อ่อนแอ

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. He, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. (2020). Momentum Contrast for Unsupervised Visual Representation Learning. CVPR.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว