การเรียนรู้เชิงเปรียบเทียบสำหรับภาพ (Visual Contrastive Learning)
- ผู้เสนอ
- Chen, T. et al. (SimCLR); He, K. et al. (MoCo)
- ปี
- 2020
- ประเภท
- Self-supervised deep representation learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การเรียนรู้เชิงเปรียบเทียบสำหรับภาพ (Visual Contrastive Learning) เป็นแนวทางการเรียนรู้เชิงลึกแบบเรียนรู้ด้วยตนเอง (self-supervised deep-learning) ซึ่งได้รับความนิยมจากเฟรมเวิร์กอย่าง SimCLR (Chen et al., 2020) และ MoCo (He et al., 2020) โดยเรียนรู้การนำเสนอภาพที่มีความหมายโดยไม่ต้องใช้ป้ายกำกับ ด้วยการดึงภาพที่ผ่านการปรับแต่งที่แตกต่างกันของภาพเดียวกันให้เข้ามาใกล้กัน และผลักภาพที่แตกต่างกันออกไป ทำให้สามารถเปลี่ยนชุดข้อมูลภาพขนาดใหญ่ที่ไม่มีป้ายกำกับให้เป็นตัวสกัดคุณลักษณะที่มีประโยชน์ได้
แนวคิดเบื้องหลังวิธีการ
หากคุณตัดส่วน ปรับสี หรือพลิกภาพเดียวด้วยวิธีที่แตกต่างกันสองแบบ ทั้งสองเวอร์ชันก็ยังคงเป็นสิ่งที่จดจำได้ว่าเป็นสิ่งเดียวกัน การเรียนรู้เชิงเปรียบเทียบสร้างขึ้นจากแนวคิดนี้อย่างแม่นยำ: มันสอนให้เครือข่ายจับคู่มุมมองที่ผ่านการปรับแต่งสองแบบของภาพเดียวกันให้อยู่ใกล้กันในพื้นที่คุณลักษณะ ในขณะที่รักษามุมมองของภาพอื่น ๆ ให้อยู่ห่างกัน ไม่จำเป็นต้องมีป้ายกำกับจากมนุษย์ การกำกับดูแลมาจากการเปรียบเทียบภาพซึ่งกันและกันโดยสมบูรณ์
ประวัติศาสตร์
การเรียนรู้เชิงเปรียบเทียบสำหรับภาพพัฒนาอย่างรวดเร็วในปี 2020 SimCLR (Chen et al., ICML 2020) แสดงให้เห็นว่าเฟรมเวิร์กที่เรียบง่ายของการเพิ่มข้อมูลที่แข็งแกร่ง, projection head และฟังก์ชันความเสียหายเชิงเปรียบเทียบ NT-Xent loss สามารถเทียบเคียงกับการฝึกอบรมล่วงหน้าแบบมีผู้สอนได้ MoCo (He et al., CVPR 2020) แนะนำตัวเข้ารหัสที่อัปเดตด้วยโมเมนตัมพร้อมคิวของคู่ลบแบบไดนามิก ทำให้การเรียนรู้เชิงเปรียบเทียบขนาดใหญ่เป็นไปได้โดยไม่ต้องใช้แบตช์จำนวนมาก แนวทางต่อมาเช่น BYOL ได้ขยายตระกูลโดยการเรียนรู้โดยไม่มีคู่ลบที่ชัดเจน
ควรใช้เมื่อใด
ใช้เมื่อคุณมีชุดข้อมูลภาพที่ไม่มีป้ายกำกับขนาดใหญ่ — ประมาณอย่างน้อย 1000 ภาพ — และต้องการเรียนรู้การนำเสนอภาพที่แข็งแกร่งก่อนงานที่มีป้ายกำกับใด ๆ วิธีนี้สมมติว่ามีชุดข้อมูลที่ไม่มีป้ายกำกับดังกล่าวอยู่ ต้องใช้ GPU และขึ้นอยู่กับกลยุทธ์การเพิ่มข้อมูลที่เลือกมาอย่างดีอย่างมาก หากมีภาพน้อยกว่าประมาณ 500–1000 ภาพ คู่ลบมีน้อยเกินไปและคล้ายกันเกินไปที่จะเรียนรู้การนำเสนอที่มีประโยชน์ และการเรียนรู้ของเครื่องแบบคลาสสิกที่มีการกำกับดูแล (supervised classical machine learning) เป็นทางเลือกที่ปลอดภัยกว่า
ข้อจำกัดและข้อควรพิจารณา
- ต้องใช้ชุดข้อมูลภาพที่ไม่มีป้ายกำกับขนาดใหญ่ หากเป็นชุดข้อมูลขนาดเล็กจะไม่สามารถสร้างการนำเสนอที่มีความหมายได้
- ต้องใช้ GPU และทรัพยากรการประมวลผลจำนวนมากสำหรับการฝึกอบรมล่วงหน้า
- ประสิทธิภาพขึ้นอยู่กับกลยุทธ์การเพิ่มข้อมูล ซึ่งต้องปรับแต่งให้เหมาะสมกับแต่ละโดเมน
- หากมีภาพน้อยกว่าประมาณ 500 ภาพ การเรียนรู้แบบเรียนรู้ด้วยตนเองจะล้มเหลว และการเรียนรู้ของเครื่องแบบคลาสสิกที่มีการกำกับดูแลจะดีกว่า
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- เรียนรู้การนำเสนอภาพที่มีประโยชน์จากภาพที่ไม่มีป้ายกำกับ ช่วยลดความจำเป็นในการติดป้ายกำกับด้วยตนเองที่มีค่าใช้จ่ายสูง
- ตัวเข้ารหัสที่ผ่านการฝึกอบรมล่วงหน้าสามารถถ่ายโอนไปยังงานปลายน้ำหลายงานได้โดยใช้ชุดข้อมูลที่มีป้ายกำกับเพียงเล็กน้อย
- เฟรมเวิร์กเช่น SimCLR และ MoCo นำเสนอสูตรที่ได้รับการศึกษามาอย่างดีและสามารถทำซ้ำได้
- ตัวเข้ารหัสแบบโมเมนตัมของ MoCo และคิวของคู่ลบทำให้มีการเปรียบเทียบเชิงลบจำนวนมากโดยไม่ต้องใช้แบตช์ขนาดใหญ่
การประยุกต์ใช้
- การฝึกอบรมล่วงหน้าตัวเข้ารหัสภาพบนชุดภาพถ่ายขนาดใหญ่ที่ไม่มีป้ายกำกับ
- การถ่ายโอนการเรียนรู้ไปยังการจำแนกประเภทภาพปลายน้ำด้วยป้ายกำกับที่จำกัด
- การสร้างตัวสกัดคุณลักษณะภาพที่นำกลับมาใช้ใหม่ได้สำหรับไปป์ไลน์การมองเห็น
- การเรียนรู้การนำเสนอในโดเมนที่ป้ายกำกับหายากหรือมีราคาแพง
วิธีการทำงาน
วิธีการทำงาน
ภาพแต่ละภาพจะถูกแปลงสองครั้งด้วยการปรับแต่งแบบสุ่ม เช่น การตัดส่วน การปรับสี และการพลิกภาพ ทำให้เกิดมุมมองที่เกี่ยวข้องกันสองแบบ การเลือกกลยุทธ์การปรับแต่งมีความสำคัญอย่างยิ่ง: มันกำหนดว่าโมเดลถูกขอให้ถือว่าอะไรคือ 'สิ่งเดียวกัน' และการปรับแต่งที่อ่อนแอหรือไม่เหมาะสมจะนำไปสู่การนำเสนอที่อ่อนแอ
ตัวเข้ารหัส (encoder) จะแมปทุกมุมมองไปยังการฝัง (embedding) และวัตถุประสงค์เชิงเปรียบเทียบ (contrastive objective) จะดึงมุมมองสองแบบของภาพเดียวกัน (คู่บวก) ให้เข้ามาใกล้กัน ในขณะที่ผลักมุมมองของภาพอื่น ๆ (คู่ลบ) ออกไป SimCLR ใช้ฟังก์ชันความเสียหาย NT-Xent loss พร้อมพารามิเตอร์อุณหภูมิ (temperature parameter); MoCo รักษาตัวเข้ารหัสที่อัปเดตด้วยโมเมนตัม (momentum-updated encoder) และคิวของคู่ลบ เพื่อให้มีการเปรียบเทียบจำนวนมากโดยไม่ต้องใช้แบตช์ขนาดใหญ่
สูตร
\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k \neq i} \exp(\text{sim}(z_i, z_k)/\tau)}หลังจากการฝึกอบรมล่วงหน้าแบบเรียนรู้ด้วยตนเอง (self-supervised pretraining) ตัวเข้ารหัสที่เรียนรู้จะถูกนำกลับมาใช้ใหม่เป็นตัวสกัดคุณลักษณะภาพทั่วไป จากนั้นชุดข้อมูลที่มีป้ายกำกับขนาดเล็กก็เพียงพอที่จะปรับแต่ง (fine-tune) หรือฝึกตัวจำแนกประเภทน้ำหนักเบา (lightweight classifier) ที่อยู่ด้านบน เพื่อถ่ายโอนการนำเสนอไปยังงานปลายน้ำ (downstream tasks)
ข้อผิดพลาดที่พบบ่อย
- พยายามฝึกอบรมล่วงหน้าเชิงเปรียบเทียบกับชุดภาพขนาดเล็กที่ความหลากหลายของคู่ลบไม่เพียงพอ
- ใช้การเพิ่มข้อมูลที่อ่อนแอหรือไม่เหมาะสมกับโดเมน ซึ่งทำให้การนำเสนอที่เรียนรู้พังทลายลง
- ละเลยพารามิเตอร์อุณหภูมิในฟังก์ชันความเสียหายเชิงเปรียบเทียบ
- คาดหวังผลลัพธ์ที่ดีโดยไม่มี GPU หรือเวลาการฝึกอบรมที่เพียงพอ
คำถามที่พบบ่อย
ฉันจำเป็นต้องมีป้ายกำกับหรือไม่?
ไม่จำเป็น จุดประสงค์ทั้งหมดของการเรียนรู้แบบเรียนรู้ด้วยตนเองเชิงเปรียบเทียบคือการเรียนรู้การนำเสนอจากภาพที่ไม่มีป้ายกำกับ ป้ายกำกับจำเป็นเฉพาะในภายหลัง สำหรับชุดข้อมูลการปรับแต่งหรือการประเมินผลปลายน้ำขนาดเล็ก
ฉันต้องการภาพกี่ภาพ?
วางแผนสำหรับภาพที่ไม่มีป้ายกำกับอย่างน้อยประมาณ 1000 ภาพ หากน้อยกว่าประมาณ 500–1000 ภาพ ความหลากหลายของคู่ลบจะต่ำเกินไปสำหรับวิธีนี้ที่จะเรียนรู้การนำเสนอที่มีความหมาย และการเรียนรู้ของเครื่องแบบคลาสสิกที่มีการกำกับดูแลเป็นทางเลือกที่ปลอดภัยกว่า
SimCLR และ MoCo แตกต่างกันอย่างไร?
SimCLR อาศัยแบตช์ขนาดใหญ่เพื่อจัดหาคู่ลบจำนวนมากและใช้ฟังก์ชันความเสียหาย NT-Xent loss ในขณะที่ MoCo รักษาตัวเข้ารหัสที่อัปเดตด้วยโมเมนตัมและคิวของการฝังในอดีตเป็นคู่ลบ ดังนั้นจึงต้องการการเปรียบเทียบในแบตช์น้อยลง
ทำไมการเพิ่มข้อมูลจึงสำคัญมาก?
การเพิ่มข้อมูลกำหนดว่าโมเดลต้องถือว่ามุมมองที่ผ่านการแปลงของภาพใดเป็นสิ่งเดียวกัน กลยุทธ์การเพิ่มข้อมูลที่แข็งแกร่งและเลือกมาอย่างดีมีความสำคัญอย่างยิ่ง การเพิ่มข้อมูลที่อ่อนแอจะให้การนำเสนอที่อ่อนแอ
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วHe, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. (2020). Momentum Contrast for Unsupervised Visual Representation Learning. CVPR.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว