วิชันทรานส์ฟอร์มเมอร์
- ผู้เสนอ
- Dosovitskiy, A. et al.
- ปี
- 2021
- ประเภท
- Transformer architecture for images (self-attention over patches)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
วิชันทรานส์ฟอร์มเมอร์ (ViT) ซึ่งนำเสนอโดย Dosovitskiy และคณะในปี 2021 ได้แบ่งภาพออกเป็นแพตช์ที่มีขนาดคงที่ ถือว่าแพตช์เหล่านั้นเป็นลำดับ และใช้กลไกการใส่ใจตนเอง (self-attention) ของทรานส์ฟอร์มเมอร์สำหรับการจำแนกประเภทภาพ เมื่อมีข้อมูลการฝึกเพียงพอ จะมีประสิทธิภาพเหนือกว่าโครงข่ายประสาทเทียมแบบสังวัตนาการ (CNNs)
แนวคิดเบื้องหลังวิธีการ
โครงข่ายสังวัตนาการอ่านภาพผ่านฟิลเตอร์เฉพาะที่ขนาดเล็กซึ่งเลื่อนไปทั่วภาพ ViT ใช้มุมมองที่แตกต่างออกไป โดยการหั่นภาพออกเป็นกริดของแพตช์ที่มีขนาดเท่ากัน จัดเรียงเหมือนคำในประโยค และให้ทรานส์ฟอร์มเมอร์ตัดสินใจว่าแพตช์ใดควรให้ความสนใจกับแพตช์ใด เนื่องจากกลไกการใส่ใจสามารถเชื่อมโยงแพตช์ใดๆ กับแพตช์อื่นได้โดยตรง โมเดลจึงเรียนรู้ความสัมพันธ์ทั่วทั้งภาพ แทนที่จะเป็นเพียงบริเวณใกล้เคียง
ประวัติศาสตร์
วิชันทรานส์ฟอร์มเมอร์ถูกนำเสนอโดย Dosovitskiy และคณะในปี 2021 (An Image is Worth 16x16 Words) แสดงให้เห็นว่าสถาปัตยกรรมทรานส์ฟอร์มเมอร์ที่ใช้กลไกการใส่ใจตนเอง ซึ่งครอบงำในด้านภาษาอยู่แล้ว สามารถนำไปใช้กับแพตช์ภาพได้โดยตรง และมีประสิทธิภาพเหนือกว่า CNNs เมื่อฝึกด้วยข้อมูลขนาดใหญ่ งานต่อเนื่องโดย Touvron และคณะเกี่ยวกับทรานส์ฟอร์มเมอร์สำหรับภาพที่ใช้ข้อมูลอย่างมีประสิทธิภาพ ได้แก้ไขปัญหาความต้องการข้อมูลจำนวนมากของ ViT ทำให้แนวทางนี้ใช้งานได้จริงมากขึ้นด้วยงบประมาณการฝึกที่น้อยลง
ควรใช้เมื่อใด
ใช้ ViT สำหรับการจำแนกประเภทภาพ หรือการทำนายข้อมูลภาพแบบต่อเนื่อง (พิกเซล) เมื่อคุณมีชุดข้อมูลขนาดใหญ่ — ประมาณ 1,000 ภาพขึ้นไป และควรมีมากกว่านั้นมาก — และสามารถเข้าถึง GPU ได้ วิธีนี้ทำงานได้ดีที่สุดกับการฝึกเบื้องต้นขนาดใหญ่ หรือการเรียนรู้แบบถ่ายโอนจากโมเดลที่ได้รับการฝึกเบื้องต้น บนชุดข้อมูลภาพขนาดเล็ก (น้อยกว่า 100 ภาพ) ViT ไม่สามารถเรียนรู้กลไกการใส่ใจแบบแพตช์ได้อย่างน่าเชื่อถือ และ CNN หรือวิธีการเรียนรู้ของเครื่องแบบดั้งเดิม เช่น Random Forest หรือ SVM จะเป็นทางเลือกที่ปลอดภัยกว่า
ข้อจำกัดและข้อควรพิจารณา
- ต้องการชุดข้อมูลการฝึกขนาดใหญ่ (ประมาณ 1,000 ภาพขึ้นไป); บนข้อมูลขนาดเล็ก ประสิทธิภาพจะต่ำกว่า CNNs
- จำเป็นต้องใช้ GPU และการฝึกตั้งแต่ต้นต้องใช้ข้อมูลและพลังการประมวลผลสูง
- บนชุดข้อมูลขนาดเล็กมาก (น้อยกว่า 100 ภาพ) กลไกการใส่ใจแบบแพตช์จะไม่สามารถเรียนรู้ได้อย่างน่าเชื่อถือ
- ผลลัพธ์ที่แข็งแกร่งมักขึ้นอยู่กับคลังข้อมูลการฝึกเบื้องต้นขนาดใหญ่หรือการเรียนรู้แบบถ่ายโอน แทนที่จะเป็นการฝึกตั้งแต่ต้น
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- มีประสิทธิภาพเหนือกว่า CNNs บนชุดข้อมูลภาพขนาดใหญ่ โดยการสร้างแบบจำลองความสัมพันธ์ทั่วทั้งภาพผ่านกลไกการใส่ใจตนเอง
- ถือว่าภาพเป็นลำดับของแพตช์ โดยใช้สถาปัตยกรรมทรานส์ฟอร์มเมอร์ที่ได้รับการพิสูจน์แล้วกับงานด้านวิทัศน์
- จับความสัมพันธ์ระยะไกลทั่วทั้งภาพ ไม่ใช่แค่บริเวณใกล้เคียง
- ได้รับประโยชน์อย่างมากจากการฝึกเบื้องต้นขนาดใหญ่และการเรียนรู้แบบถ่ายโอนไปยังจุดตรวจสอบที่ได้รับการฝึกเบื้องต้นแล้ว
- ไม่สมมติว่าข้อมูลมีการกระจายตัวแบบปกติ
การประยุกต์ใช้
- การจำแนกประเภทภาพบนชุดข้อมูลภาพขนาดใหญ่
- งานทำนายบนข้อมูลพิกเซลต่อเนื่องที่ความสัมพันธ์ทั่วทั้งภาพมีความสำคัญ
- การเรียนรู้แบบถ่ายโอนจากโมเดลภาพที่ได้รับการฝึกเบื้องต้นขนาดใหญ่ไปยังงานด้านวิทัศน์ใหม่
- สถานการณ์ที่การสร้างแบบจำลองความสัมพันธ์ระยะไกลทั่วทั้งภาพมีประสิทธิภาพเหนือกว่าฟิลเตอร์สังวัตนาการเฉพาะที่
วิธีการทำงาน
วิธีการทำงาน
ภาพถูกแบ่งออกเป็นแพตช์ที่มีขนาดคงที่ (เช่น 16x16 พิกเซล) แต่ละแพตช์จะถูกทำให้แบนและฉายเชิงเส้นเป็นเวกเตอร์ฝังตัว (embedding vector) และเวกเตอร์ฝังตัวที่ได้จะสร้างเป็นลำดับ ซึ่งเป็นภาพอนาล็อกของลำดับโทเค็นคำ
ลำดับแพตช์จะถูกป้อนผ่านชั้นทรานส์ฟอร์มเมอร์ที่สร้างขึ้นบนกลไกการใส่ใจตนเอง แพตช์แต่ละอันสามารถใส่ใจแพตช์อื่นได้ทั้งหมด ดังนั้นโมเดลจึงจับความสัมพันธ์ระยะไกลทั่วทั้งภาพ แทนที่จะเป็นเพียงบริเวณใกล้เคียง ซึ่งเป็นกลไกหลักที่ทำให้ ViT มีประสิทธิภาพเหนือกว่า CNNs บนชุดข้อมูลขนาดใหญ่
สูตร
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)Vส่วนหัวสำหรับการจำแนกประเภท (classification head) จะอ่านการแสดงผลรวม (aggregated representation) ที่สร้างโดยชั้นทรานส์ฟอร์มเมอร์ และส่งออกคลาสที่คาดการณ์ เนื่องจาก การฝึกเบื้องต้นขนาดใหญ่มีความสำคัญอย่างยิ่ง การเรียนรู้แบบถ่ายโอน (transfer learning) จากโมเดลที่ได้รับการฝึกเบื้องต้นบนคลังภาพขนาดใหญ่จึงเป็นเส้นทางปกติสู่ประสิทธิภาพที่แข็งแกร่ง
ข้อผิดพลาดที่พบบ่อย
- การฝึก ViT ตั้งแต่ต้นบนชุดข้อมูลขนาดเล็ก แทนที่จะเป็นการปรับแต่งจุดตรวจสอบที่ได้รับการฝึกเบื้องต้นแล้ว
- คาดหวังความแม่นยำระดับ CNN โดยไม่มีชุดข้อมูลขนาดใหญ่ที่ ViT ต้องการ
- พยายามฝึกโดยไม่มี GPU
- ละเลยเกณฑ์ความล้มเหลว — น้อยกว่า 100 ภาพ ควรเลือกใช้ CNN หรือวิธีการแบบดั้งเดิม
- มองข้ามการเรียนรู้แบบถ่ายโอนเมื่อมีโมเดลภาพที่ได้รับการฝึกเบื้องต้นแล้ว
คำถามที่พบบ่อย
ViT แตกต่างจาก CNN อย่างไร?
CNN ประมวลผลภาพผ่านฟิลเตอร์สังวัตนาการเฉพาะที่ ในขณะที่ ViT แบ่งภาพออกเป็นแพตช์ที่มีขนาดคงที่ ถือว่าเป็นลำดับ และใช้กลไกการใส่ใจตนเองเพื่อให้แพตช์ใดๆ สามารถเชื่อมโยงกับแพตช์อื่นได้ สิ่งนี้ทำให้ ViT สามารถสร้างแบบจำลองความสัมพันธ์ทั่วทั้งภาพ และบนชุดข้อมูลขนาดใหญ่ จะมีประสิทธิภาพเหนือกว่า CNNs
ViT ต้องการข้อมูลเท่าใด?
ViT ต้องการข้อมูลจำนวนมาก: ทำงานได้ดีที่สุดด้วยภาพประมาณ 1,000 ภาพขึ้นไป และคลังข้อมูลการฝึกเบื้องต้นขนาดใหญ่ น้อยกว่า 100 ภาพ กลไกการใส่ใจแบบแพตช์จะไม่สามารถเรียนรู้ได้อย่างน่าเชื่อถือ และ CNN หรือวิธีการแบบดั้งเดิมจะเหมาะสมกว่า
ฉันต้องใช้ GPU หรือไม่?
ใช่ ViT จำเป็นต้องใช้ GPU และการฝึกมีความเข้มข้นทั้งในด้านข้อมูลและการประมวลผล การใช้จุดตรวจสอบที่ได้รับการฝึกเบื้องต้นแล้วร่วมกับการเรียนรู้แบบถ่ายโอนจะช่วยลดภาระได้อย่างมาก
จะทำอย่างไรหากชุดข้อมูลภาพของฉันมีขนาดเล็ก?
บนชุดข้อมูลขนาดเล็ก ViT จะมีประสิทธิภาพต่ำกว่า ประมาณ 500 ภาพลงมา ควรพิจารณาวิธีการเช่น Random Forest และน้อยกว่า 100 ภาพ CNN หรือ SVM จะเป็นทางเลือกที่ปลอดภัยกว่า หรือใช้การเรียนรู้แบบถ่ายโอนจากโมเดลที่ได้รับการฝึกเบื้องต้น
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Dosovitskiy, A. et al. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วTouvron, H. et al. (2021). Training Data-Efficient Image Transformers. ICML.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว