محوّل الرؤية
- قدّمه
- Dosovitskiy, A. et al.
- السنة
- 2021
- النوع
- Transformer architecture for images (self-attention over patches)
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يقوم محوّل الرؤية (ViT)، الذي قدمه دوسوفيتسكي وزملاؤه في عام 2021، بتقسيم الصورة إلى رقع ذات حجم ثابت، ويعامل هذه الرقع كسلسلة، ويطبق آلية الانتباه الذاتي للمحوّل على تصنيف الصور. بالنظر إلى بيانات تدريب كافية، فإنه يتفوق على الشبكات العصبية الالتفافية (CNNs).
الفكرة الحدسية وراء الطريقة
تقرأ الشبكات الالتفافية الصورة من خلال مرشحات محلية صغيرة تنزلق عبرها. يأخذ ViT منظورًا مختلفًا: فهو يقطع الصورة إلى شبكة من الرقع متساوية الحجم، ويرتبها مثل الكلمات في جملة، ويسمح للمحوّل بتحديد الرقع التي يجب أن تنتبه إلى أي منها. نظرًا لأن الانتباه يمكن أن يربط مباشرة أي رقعة بأي رقعة أخرى، فإن النموذج يتعلم العلاقات العالمية عبر الصورة بأكملها بدلاً من مجرد الجوار المحلي.
التاريخ
تم تقديم محوّل الرؤية (ViT) بواسطة دوسوفيتسكي وزملاؤه في عام 2021 (الصورة تساوي 16 × 16 كلمة)، مما يدل على أن بنية الانتباه الذاتي للمحوّل، التي كانت سائدة بالفعل في اللغة، يمكن تطبيقها مباشرة على رقع الصور وتتفوق على شبكات CNN عند تدريبها على نطاق واسع. تناولت الأعمال اللاحقة من قبل توفروون وزملاؤه حول محوّلات الصور ذات الكفاءة في استخدام البيانات مشكلة شهية ViT للبيانات، مما يجعل النهج أكثر عملية بميزانيات تدريب أصغر.
متى تُستخدم
استخدم ViT لتصنيف الصور أو التنبؤ على بيانات الصور المستمرة (البكسل) عندما يكون لديك مجموعة بيانات كبيرة - في حدود 1000 صورة أو أكثر، ومن الناحية المثالية أكثر بكثير - وإمكانية الوصول إلى وحدة معالجة رسومات (GPU). يعمل بشكل أفضل مع مجموعة تدريب مسبق كبيرة أو تعلم انتقالي من نموذج مدرب مسبقًا. في مجموعات بيانات الصور الصغيرة (أقل من بضع مئات من الصور) لا يمكن لـ ViT تعلم الانتباه القائم على الرقع بشكل موثوق، وتعد شبكة CNN أو طريقة التعلم الآلي الكلاسيكية مثل الغابة العشوائية (Random Forest) أو آلة المتجهات الداعمة (SVM) خيارًا أكثر أمانًا.
الحدود والاعتبارات
- يتطلب مجموعة تدريب كبيرة (حوالي 1000 صورة أو أكثر)؛ على البيانات الصغيرة، يكون أداؤه أقل من شبكات CNN.
- مطلوب وحدة معالجة رسومات (GPU)، والتدريب من الصفر يستهلك الكثير من البيانات والحوسبة.
- في مجموعات البيانات الصغيرة جدًا (أقل من بضع مئات من الصور) يفشل الانتباه القائم على الرقع في التعلم بشكل موثوق.
- النتائج القوية تعتمد عادةً على مجموعة تدريب مسبق كبيرة أو تعلم انتقالي بدلاً من التدريب من الصفر.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يتفوق على شبكات CNN في مجموعات بيانات الصور الكبيرة من خلال نمذجة العلاقات العالمية عبر الانتباه الذاتي.
- يعامل الصورة كسلسلة من الرقع، مطبقًا بنية المحوّل المثبتة على الرؤية.
- يلتقط التبعيات بعيدة المدى عبر الصورة بأكملها، وليس فقط الجوار المحلي.
- يستفيد بقوة من التدريب المسبق واسع النطاق والتعلم الانتقالي إلى نقاط التحقق المدربة مسبقًا.
- لا يفترض بيانات موزعة طبيعيًا.
التطبيقات
- تصنيف الصور على مجموعات بيانات الصور الكبيرة.
- مهام التنبؤ على بيانات البكسل المستمرة حيث تكون العلاقات العالمية مهمة.
- التعلم الانتقالي من نماذج الصور الكبيرة المدربة مسبقًا إلى مهام الرؤية الجديدة.
- الإعدادات التي يتفوق فيها نمذجة التبعيات بعيدة المدى عبر الصورة على المرشحات الالتفافية المحلية.
كيف يعمل
كيف يعمل
تنقسم الصورة إلى رقع ذات حجم ثابت (على سبيل المثال، 16 × 16 بكسل). يتم تسطيح كل رقعة وإسقاطها خطيًا في متجه تضمين، وتشكل التضمينات الناتجة تسلسلاً - نظير الصورة لتسلسل رموز الكلمات.
يتم تغذية تسلسل الرقع عبر طبقات المحوّل المبنية على الانتباه الذاتي. يمكن لكل رقعة الانتباه إلى كل رقعة أخرى، لذلك يلتقط النموذج التبعيات العالمية بعيدة المدى عبر الصورة بدلاً من مجرد الجوار المحلي، وهي الآلية الأساسية التي تسمح لـ ViT بالتفوق على CNNs في مجموعات البيانات الكبيرة.
الصيغة
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)Vتقرأ رأس التصنيف التمثيل المجمع الناتج عن طبقات المحوّل وتخرج الفئة المتوقعة. نظرًا لأن التدريب المسبق الكبير مهم جدًا هنا، فإن التعلم الانتقالي من نموذج تم تدريبه مسبقًا على مجموعة صور كبيرة هو المسار المعتاد للحصول على أداء قوي.
الأخطاء الشائعة
- تدريب ViT من الصفر على مجموعة بيانات صغيرة بدلاً من الضبط الدقيق لنقطة تحقق مدربة مسبقًا.
- توقع دقة شبكات CNN دون الحاجة إلى مجموعة البيانات الكبيرة التي يحتاجها ViT.
- محاولة التدريب بدون وحدة معالجة رسومات (GPU).
- تجاهل عتبات الفشل - أقل من بضع مئات من الصور، فضل شبكة CNN أو طريقة كلاسيكية.
- إغفال التعلم الانتقالي عندما تكون نماذج الصور المدربة مسبقًا متاحة.
الأسئلة الشائعة
كيف يختلف ViT عن شبكة CNN؟
تعالج شبكة CNN الصورة من خلال مرشحات التفافية محلية، بينما يقسم ViT الصورة إلى رقع ذات حجم ثابت، ويعاملها كسلسلة، ويستخدم الانتباه الذاتي بحيث يمكن لأي رقعة أن ترتبط بأي رقعة أخرى. هذا يسمح لـ ViT بنمذجة العلاقات العالمية، وعلى مجموعات البيانات الكبيرة، يتفوق على شبكات CNN.
ما مقدار البيانات التي يحتاجها ViT؟
ViT متعطش للبيانات: يعمل بشكل أفضل مع حوالي 1000 صورة أو أكثر ومجموعة تدريب مسبق كبيرة. أقل من بضع مئات من الصور، لا يمكن للانتباه القائم على الرقع لديه التعلم بشكل موثوق، وتعد شبكة CNN أو طريقة كلاسيكية مفضلة.
هل أحتاج إلى وحدة معالجة رسومات (GPU)؟
نعم. يتطلب ViT وحدة معالجة رسومات (GPU)، وتدريبه كثيف البيانات والحوسبة. استخدام نقطة تحقق مدربة مسبقًا مع التعلم الانتقالي يقلل العبء بشكل كبير.
ماذا لو كانت مجموعة بيانات الصور الخاصة بي صغيرة؟
في مجموعات البيانات الصغيرة، يكون أداء ViT أقل. أقل من حوالي 500 صورة، ضع في اعتبارك طريقة مثل الغابة العشوائية (Random Forest)، وأقل من بضع مئات، تعد شبكة CNN أو آلة المتجهات الداعمة (SVM) خيارًا أكثر أمانًا، أو اعتمد على التعلم الانتقالي من نموذج مدرب مسبقًا.
طرق ذات صلة
المصادر
Dosovitskiy, A. et al. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR.
افتح مرجع المنشورتم النسخ.Touvron, H. et al. (2021). Training Data-Efficient Image Transformers. ICML.
افتح مرجع المنشورتم النسخ.