الانتقال إلى المحتوى
العودة إلى نتائج البحث

الانحدار التدرجي العشوائي (SGD)

قدّمه
Robbins, H. & Monro, S.
السنة
1951
النوع
First-order iterative optimization algorithm

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

الانحدار التدرجي العشوائي (SGD) هو خوارزمية تحسين تكرارية من الرتبة الأولى، متجذرة في إطار التقريب العشوائي الذي قدمه روبنز ومونرو عام 1951، وتهدف إلى تقليل دالة الهدف عن طريق تحديث معلمات النموذج باستخدام التدرج المحسوب على مثال تدريب واحد مختار عشوائيًا (أو دفعة صغيرة) في كل خطوة. إنه محرك التحسين الأساسي وراء التعلم الآلي الحديث والتعلم العميق، مما يتيح تدريب النماذج على مجموعات بيانات كبيرة جدًا بحيث لا تتسع في الذاكرة.

الفكرة الحدسية وراء الطريقة

يحسب الانحدار التدرجي العادي التدرج الدقيق للخسارة على جميع أمثلة التدريب قبل إجراء تحديث واحد للمعلمة — وهو صحيح ولكنه بطيء بشكل غير مقبول على مجموعات البيانات الكبيرة. يستبدل الانحدار التدرجي العشوائي الدقة بالسرعة: فهو يختار مثالًا واحدًا (أو دفعة صغيرة) عشوائيًا، ويحسب تقديرًا صاخبًا للتدرج، ويحدث المعلمات على الفور. الضوضاء ليست مجرد إزعاج؛ بل تعمل كتنظيم ضمني، مما يساعد المُحسِّن على الهروب من النهايات الصغرى المحلية الضحلة ونقاط السرج. على مدى العديد من التكرارات، تتلاشى الخطوات الصاخبة وتتقارب المعلمات نحو حد أدنى للخسارة، تمامًا مثل مشية السكير التي لا تزال تصل إلى وجهتها.

التاريخ

وضع الأساس النظري للانحدار التدرجي العشوائي من قبل هربرت روبنز وساتون مونرو في ورقتهما عام 1951 بعنوان 'طريقة تقريب عشوائية'، والتي أثبتت أن التحديثات التكرارية الصاخبة ذات حجم الخطوة المتناقص تتقارب مع جذر دالة الانحدار. تم توضيح العلاقة بالتحسين القائم على التدرج من قبل كيفر وولفويتز (1952) ولاحقًا بواسطة قاعدة LMS لـ ويدرو وهوف (1960) للتصفية التكيفية. اكتسب الانحدار التدرجي العشوائي شهرة في التعلم الآلي من خلال عمل لوكون والمتعاونين في أواخر الثمانينيات والتسعينيات لتدريب الشبكات العصبية عبر الانتشار العكسي. أظهر نشر التجارب واسعة النطاق من قبل بوتو والمتعاونين في العقد الأول من القرن الحادي والعشرين تفوق الانحدار التدرجي العشوائي على الطرق الدفعية على مجموعات البيانات الصناعية. أصبحت صيغة الانحدار التدرجي العشوائي للدفعة الصغيرة الحديثة عالمية مع نهضة التعلم العميق حوالي عام 2012 (AlexNet)، وتظل الخوارزمية هي المُحسِّن المهيمن في هذا المجال، مع متغيرات مثل Adam (Kingma & Ba, 2014) مبنية مباشرة على قاعدة التحديث الخاصة بها.

متى تُستخدم

الانحدار التدرجي العشوائي (SGD) هو الطريقة المفضلة كلما كانت مجموعة التدريب كبيرة بما يكفي بحيث يكون حساب التدرج الكامل لكل تحديث مكلفًا للغاية، وهو ما يشمل تقريبًا جميع تدريب الشبكات العصبية الحديثة وتناسب النماذج الخطية واسعة النطاق. ينطبق على أي دالة خسارة قابلة للتفاضل. الافتراضات الرئيسية: دالة الخسارة قابلة للتفاضل (أو قابلة للتفاضل الفرعي) فيما يتعلق بالمعلمات، ويتم أخذ عينات نقاط البيانات بشكل مستقل، وتقدير التدرج غير متحيز. بالنسبة للأهداف المحدبة بقوة، يحقق الانحدار التدرجي العشوائي تقارب O(1/T)؛ بالنسبة للأهداف غير المحدبة العامة (مثل الشبكات العميقة)، فإنه يجد نقاطًا ثابتة في الممارسة العملية، على الرغم من عدم وجود ضمان للتحسين الشامل. يُفضل عادةً الانحدار التدرجي العشوائي للدفعة الصغيرة (أحجام الدفعة 32-512) على الانحدار التدرجي العشوائي للمثال الواحد النقي لأنه يوفر تقديرات تدرج أقل تباينًا ويستغل التوازي على الأجهزة الحديثة. عندما تكون مجموعة البيانات صغيرة بما يكفي للانحدار التدرجي للدفعة الكاملة ويكون الهدف جيد التكييف، قد تتقارب طرق الرتبة الثانية مثل L-BFGS بشكل أسرع.

الحدود والاعتبارات

  • تقديرات التدرج صاخبة، مما يتسبب في تذبذب الخسارة بدلاً من الانخفاض الرتيب، مما يجعل تشخيص التقارب أكثر صعوبة.
  • حساس للغاية لمعدل التعلم: كبير جدًا يسبب التباعد؛ صغير جدًا يجعل التدريب بطيئًا بشكل غير مقبول.
  • لا يضمن التقارب إلى الحد الأدنى الشامل للأهداف غير المحدبة مثل الشبكات العصبية العميقة.
  • تعامل التحديثات المتساوية الخواص جميع أبعاد المعلمة على قدم المساواة، مما يجعلها غير مناسبة لأسطح الخسارة ذات الانحناءات المختلفة جدًا على طول محاور مختلفة — مما يحفز المتغيرات ذات المعدل التكيفي.
  • يتطلب ضبطًا دقيقًا لجدول معدل التعلم؛ الجداول السيئة تقلل بشكل كبير من الأداء النهائي.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يتوسع إلى مجموعات بيانات كبيرة بشكل تعسفي لأن كل تحديث يتطلب مثالًا واحدًا فقط أو دفعة صغيرة، مما يحافظ على الذاكرة والحساب لكل خطوة ثابتين.
  • توفر الضوضاء المضمنة تنظيمًا ضمنيًا وتساعد على الهروب من النهايات الصغرى المحلية الضحلة ونقاط السرج في المناظر الطبيعية غير المحدبة.
  • عام للغاية: قابل للتطبيق على أي خسارة قابلة للتفاضل، بما في ذلك الانتروبيا المتقاطعة، ومتوسط الخطأ التربيعي، وخسارة المفصلة، والأهداف المخصصة.
  • يشكل أساس جميع المُحسِّنات الحديثة تقريبًا (Adam, RMSProp, AdaGrad, Nesterov momentum) — فهم الانحدار التدرجي العشوائي شرط أساسي لفهمها.
  • سهل التنفيذ والموازاة عبر وحدات معالجة الرسوميات (GPUs) باستخدام الدفعات الصغيرة.

التطبيقات

  • تدريب الشبكات العصبية العميقة لتصنيف الصور، والتعرف على الكلام، ومعالجة اللغة الطبيعية.
  • توفيق نماذج الانحدار اللوجستي واسعة النطاق ونماذج آلة المتجهات الداعمة الخطية (SVM) في تصنيف النصوص وأنظمة التوصية.
  • إعدادات التعلم عبر الإنترنت حيث تصل الأمثلة بالتسلسل ويجب تحديث النموذج في الوقت الفعلي.
  • طرق تدرج سياسة التعلم المعزز، حيث يتم تحسين العائد المتوقع باستخدام المسارات المعينة.
  • تحليل المصفوفات للعامل المشترك في أنظمة التوصية.

كيف يعمل

كيف يعمل

1

الهدف التدريبي هو متوسط الخسارة على جميع الأمثلة n. بالنسبة للمهام مثل التصنيف باستخدام الانتروبيا المتقاطعة أو الانحدار باستخدام الخطأ التربيعي، يمكن أن يحتوي هذا المجموع على مليارات الحدود، مما يجعل التقييم الكامل في كل تكرار غير عملي.

الصيغة
L(\theta) = \frac{1}{n} \sum_{i=1}^{n} \ell(f(x_i; \theta),\, y_i)
2

في الخطوة t، يتم أخذ عينة تدريب واحدة (أو دفعة صغيرة) بشكل موحد عشوائيًا. يكون تدرج الخسارة على تلك العينة تقديرًا غير متحيز للتدرج الحقيقي، لذا في المتوسط يشير التحديث في الاتجاه الصحيح على الرغم من أنه صاخب لأي خطوة فردية.

الصيغة
\hat{g}_t = \nabla_\theta \ell(f(x_{i_t}; \theta_t),\, y_{i_t})
3

يتم تحريك متجه المعلمة في الاتجاه المعاكس لتقدير التدرج، مضروبًا في معدل التعلم إيتا_t. معدل التعلم الأصغر يجعل التحديثات حذرة ولكن بطيئة؛ معدل أكبر يسرع التقارب ولكنه يخاطر بالتجاوز. هذا السطر الواحد — تحديث روبنز-مونرو — هو جوهر كل مُحسِّن حديث تقريبًا.

الصيغة
\theta_{t+1} = \theta_t - \eta_t \, \hat{g}_t
4

تضمن شروط روبنز-مونرو (مجموع المعدلات يتباعد، مجموع المعدلات المربعة يتقارب) التقارب للأهداف المحدبة. من الناحية العملية، تشمل الجداول الشائعة اضمحلال الخطوة، والتلدين الجيبي، وإعادة التشغيل الدافئة؛ توفر الشروط الأساس النظري لسبب ضرورة جدول الاضمحلال.

الصيغة
\sum_{t=1}^{\infty} \eta_t = \infty, \quad \sum_{t=1}^{\infty} \eta_t^2 < \infty

الأخطاء الشائعة

  • استخدام معدل تعلم ثابت طوال التدريب دون أي جدول اضمحلال، مما يتسبب في تذبذب المُحسِّن حول الحد الأدنى بدلاً من الاستقرار فيه.
  • اختيار حجم الدفعة دون مراعاة تأثير التنظيم الضمني: الدفعات الكبيرة جدًا تقلل الضوضاء ويمكن أن تضر بالتعميم مقارنة بالدفعات الأصغر عند نفس عدد العصور.
  • نسيان خلط بيانات التدريب قبل كل عصر، مما قد يؤدي إلى تحيز منهجي عندما يتم ترتيب البيانات حسب الفئة أو الوقت.
  • ضبط معدل التعلم على خسارة التحقق مرة واحدة فقط بدلاً من مراقبة منحنيات التدريب، مما يؤدي إلى فقدان علامات التباعد أو الهضبة المبكرة.
  • التعامل مع الانحدار التدرجي العشوائي كمُحسِّن صندوق أسود دون فهم خصائص تقاربه، ثم التحول بشكل أعمى إلى Adam عندما يبدو التقارب بطيئًا دون تشخيص السبب الجذري.

الأسئلة الشائعة

ما الفرق بين الانحدار التدرجي العشوائي (SGD)، والانحدار التدرجي العشوائي للدفعة الصغيرة (mini-batch SGD)، والانحدار التدرجي للدفعة الكاملة (full-batch gradient descent)؟

يحسب الانحدار التدرجي للدفعة الكاملة التدرج الدقيق على جميع أمثلة التدريب n لكل تحديث — دقيق ولكنه بتكلفة O(n) لكل خطوة. يستخدم الانحدار التدرجي العشوائي النقي مثالًا واحدًا مختارًا عشوائيًا لكل تحديث — بتكلفة O(1) ولكنه صاخب جدًا. يستخدم الانحدار التدرجي العشوائي للدفعة الصغيرة مجموعة فرعية عشوائية صغيرة (عادةً 32-512 مثالًا) — وهو حل وسط عملي يقلل الضوضاء مع الحفاظ على التكلفة قابلة للإدارة واستغلال توازي وحدات معالجة الرسوميات (GPU). في الاستخدام الحديث، تعني كلمة 'SGD' دائمًا تقريبًا الانحدار التدرجي العشوائي للدفعة الصغيرة.

كيف يجب أن أضبط معدل التعلم؟

لا توجد إجابة عالمية، ولكن الممارسة الشائعة هي البدء بقيمة معتدلة (مثل 0.01 أو 0.1)، ومراقبة منحنى خسارة التدريب، وتطبيق جدول اضمحلال مثل اضمحلال الخطوة، أو التلدين الجيبي، أو إعادة التشغيل الدافئة. يمكن لمكتشفات معدل التعلم (مسح المعدلات على عدد قليل من الدفعات ومراقبة الخسارة) تحديد قيمة أولية جيدة. تتطلب نظرية روبنز-مونرو أن يتناقص المعدل إلى الصفر، ولكن في الممارسة العملية يتم تطبيق الاضمحلال بلطف لتجنب التباطؤ المبكر.

لماذا يعمم الانحدار التدرجي العشوائي (SGD) أحيانًا بشكل أفضل من Adam؟

غالبًا ما تتقارب مُحسِّنات المعدل التكيفي مثل Adam بشكل أسرع ولكن يمكن أن تفرط في التجهيز بشكل أكبر، خاصة في مهام تصنيف الصور. تعمل الضوضاء الأعلى في الانحدار التدرجي العشوائي (SGD) — خاصة عند أحجام الدفعات الصغيرة — كتنظيم ضمني، مما يساعد النموذج على إيجاد نهايات صغرى أكثر تسطحًا تعمم بشكل أفضل. وثقت العديد من الدراسات التجريبية (مثل ويلسون وآخرون، 2017) هذه الظاهرة، ولهذا السبب لا يزال الانحدار التدرجي العشوائي مع الزخم مفضلًا لتدريب نماذج رؤية الكمبيوتر مثل ResNet.

هل يضمن الانحدار التدرجي العشوائي (SGD) إيجاد الحد الأدنى الشامل؟

فقط للأهداف المحدبة بدقة، في ظل شروط حجم خطوة روبنز-مونرو. بالنسبة للأهداف غير المحدبة (تقريبًا جميع الشبكات العميقة)، يوفر الانحدار التدرجي العشوائي تقاربًا إلى نقطة ثابتة (حيث يكون التدرج صفرًا)، والتي تميل في الممارسة العملية إلى أن تكون حدًا أدنى محليًا جيدًا بدلاً من نقطة سرج أو الحد الأدنى الشامل. تجريبيًا، غالبًا ما تكون الحلول التي يتم العثور عليها جيدة بما يكفي لتحقيق أداء على أحدث طراز.

طرق ذات صلة

المصادر

  1. Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. The Annals of Mathematical Statistics, 22(3), 400–407.

    افتح مرجع DOI
    تم النسخ.
  2. Goodfellow, I., Bengio, Y. & Courville, A. (2016). Deep Learning (Ch. 8). MIT Press.

    ردمك: 978-0-262-03561-3
    تم النسخ.