الانتقال إلى المحتوى
العودة إلى نتائج البحث

لايت جي بي إم

قدّمه
Ke, G. et al. (Microsoft)
السنة
2017
النوع
Gradient boosting decision tree ensemble

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

لايت جي بي إم هو تطبيق لتعزيز الأشجار القرارية التدرجية من مايكروسوفت، قدمه كي وزملاؤه في عام 2017، والذي ينمي الأشجار ورقة بورقة ويجمع الميزات في رسوم بيانية تكرارية للسرعة. على مجموعات البيانات الكبيرة، يكون أسرع بكثير من إكس جي بي أو أو إس مع الاحتفاظ بدقة تنبؤية قوية.

الفكرة الحدسية وراء الطريقة

يعزز التدرج بناء مجموعة من الأشجار واحدة تلو الأخرى، حيث تقوم كل شجرة جديدة بتصحيح الأخطاء التي تركتها الأشجار التي سبقتها. يحتفظ لايت جي بي إم بهذه الفكرة الأساسية ولكنه يجعلها سريعة: بدلاً من اختبار كل نقطة تقسيم ممكنة على الميزات المستمرة، فإنه يجمع قيم الميزات في عدد ثابت من صناديق الرسم البياني التكراري، وبدلاً من تنمية كل شجرة مستوى بمستوى، فإنه ينمي دائمًا الورقة التي تعد بأكبر تحسن. النتيجة هي نموذج يتقارب بسرعة ويتوسع إلى البيانات الجدولية الكبيرة.

التاريخ

تم تقديم لايت جي بي إم بواسطة غولين كي وزملاؤه في مايكروسوفت في ورقة بحثية من مؤتمر NeurIPS عام 2017 بعنوان 'LightGBM: A Highly Efficient Gradient Boosting Decision Tree'. تم تصميم خياريه المميزين - تجميع ميزات الرسم البياني التكراري ونمو الشجرة ورقة بورقة (الأفضل أولاً) - لجعل تعزيز التدرج أسرع بكثير وأكثر كفاءة في استخدام الذاكرة على مجموعات البيانات الكبيرة، وأصبح أحد أكثر مكتبات التعزيز استخدامًا للبيانات الجدولية جنبًا إلى جنب مع إكس جي بي أو إس.

متى تُستخدم

خيار قوي للتنبؤ والتصنيف والتنبؤ على مجموعات البيانات الجدولية الكبيرة - مقطعية، أو لوحية، أو سلاسل زمنية - مع ميزات مستمرة، أو فئوية، أو ثنائية، أو ترتيبية، وحوالي 200 ملاحظة على الأقل. تكون قيمتها الأكثر أهمية عندما تكون سرعة التدريب والحجم مهمين ويمكنك ضبط التنظيم. تحت حوالي 200 ملاحظة، يميل النمو ورقة بورقة إلى الإفراط في الملاءمة بشكل سيء، ويكون طريقة ذات مستوى واحد مثل إكس جي بي أو إس أو غابة عشوائية أكثر استقرارًا.

الحدود والاعتبارات

  • النمو ورقة بورقة يفرط في الملاءمة على العينات الصغيرة ما لم يتم تنظيمه بعناية.
  • يتطلب ضبط num_leaves و min_data_in_leaf للتحكم في التعقيد.
  • على مجموعات البيانات التي تقل عن حوالي 200 ملاحظة، تكون طريقة ذات مستوى واحد (إكس جي بي أو إس) أو غابة عشوائية أكثر موثوقية.
  • مثل الأشجار المعززة الأخرى، فهي صندوق أسود بدون معاملات قابلة للتفسير مباشرة.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • أسرع بكثير من إكس جي بي أو إس على مجموعات البيانات الكبيرة بفضل التقسيم القائم على الرسم البياني التكراري.
  • النمو ورقة بورقة يتقارب بسرعة وغالبًا ما يصل إلى دقة عالية.
  • يعالج الميزات الفئوية مباشرة، دون ترميز أحادي يدوي.
  • يعمل للتنبؤ والتصنيف والتنبؤ عبر البيانات المقطعية واللوحية والسلاسل الزمنية.

التطبيقات

  • التنبؤ والتصنيف على مجموعات البيانات الجدولية الكبيرة.
  • مهام التنبؤ على البيانات المقطعية واللوحية والسلاسل الزمنية.
  • بديل سريع وقابل للتوسع لإكس جي بي أو إس عندما يكون وقت التدريب مهمًا.
  • نمذجة البيانات ذات العديد من الميزات الفئوية دون معالجة مسبقة مكثفة.

كيف يعمل

كيف يعمل

1

تضاف الأشجار بالتتابع: يتم ملاءمة كل شجرة جديدة لأخطاء البواقي للمجموعة الحالية وتضاف مع انكماش معدل التعلم، بحيث يقلل النموذج تدريجيًا من خسارته خطوة بخطوة. يمكن تغذية الميزات الفئوية إلى لايت جي بي إم مباشرة دون ترميز أحادي يدوي.

الصيغة
F_m(x) = F_{m-1}(x) + \eta\, h_m(x)
2

يتم تجميع قيم الميزات المستمرة في عدد ثابت من صناديق الرسم البياني التكراري المنفصلة قبل التقسيم. ثم يبحث الخوارزم عن أفضل تقسيم على هذه الصناديق بدلاً من كل قيمة خام، وهذا هو السبب الرئيسي لكون لايت جي بي إم أسرع بكثير من التطبيقات ذات المستوى الواحد مثل إكس جي بي أو إس على البيانات الكبيرة.

3

بدلاً من توسيع جميع الأوراق على نفس العمق (مستوى بمستوى)، ينمو لايت جي بي إم ورقة بورقة: يقوم دائمًا بتقسيم الورقة التي تحقق أكبر انخفاض في الخسارة. هذا يتقارب بشكل أسرع ولكنه قد يفرط في الملاءمة على العينات الصغيرة، لذلك يجب تعيين عدد الأوراق (num_leaves) والحد الأدنى للبيانات لكل ورقة (min_data_in_leaf) لتنظيم الأشجار.

الأخطاء الشائعة

  • استخدام لايت جي بي إم على عينة صغيرة حيث يفرط النمو ورقة بورقة في الملاءمة بشدة.
  • ترك num_leaves و min_data_in_leaf بقيم متساهلة جدًا لحجم البيانات.
  • ترميز المتغيرات الفئوية يدويًا بدلاً من تمريرها إلى لايت جي بي إم مباشرة.
  • الثقة في دقة العينة الداخلية دون تقييم محجوب أو تقييم بالتحقق المتقاطع.

الأسئلة الشائعة

كيف يختلف لايت جي بي إم عن إكس جي بي أو إس؟

كلاهما مكتبات لتعزيز الأشجار القرارية التدرجية. يستخدم لايت جي بي إم التقسيم القائم على الرسم البياني التكراري والنمو ورقة بورقة (الأفضل أولاً)، مما يجعله أسرع بكثير على مجموعات البيانات الكبيرة. ينمو إكس جي بي أو إس مستوى بمستوى، وهو غالبًا ما يكون أكثر أمانًا على العينات الصغيرة.

لماذا يفرط لايت جي بي إم في الملاءمة على مجموعات البيانات الصغيرة؟

نموه ورقة بورقة يقسم دائمًا الورقة ذات أكبر مكسب، مما قد يقسم البيانات إلى عدد كبير جدًا من الأوراق بالنسبة لحجمها. على العينات الصغيرة (أقل من حوالي 200 ملاحظة) يؤدي هذا إلى إفراط شديد في الملاءمة، لذا يوصى بطريقة ذات مستوى واحد أو غابة عشوائية.

هل أحتاج إلى ترميز المتغيرات الفئوية يدويًا؟

لا. يمكن للايت جي بي إم أخذ الميزات الفئوية مباشرة، لذا فإن الترميز الأحادي اليدوي غير ضروري عادةً ويمكن أن يضر بالأداء.

ما هي الإعدادات التي تتحكم في الإفراط في الملاءمة؟

عدد الأوراق (num_leaves) والحد الأدنى للبيانات لكل ورقة (min_data_in_leaf) هي الضوابط الرئيسية للتنظيم؛ تضييقها يحد من تعقيد الشجرة بالنسبة لحجم مجموعة البيانات.

طرق ذات صلة

المصادر

  1. Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q. & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems (NeurIPS) 30, 3146–3154.

    افتح مرجع المنشور
    تم النسخ.