الانتقال إلى المحتوى
العودة إلى نتائج البحث

اختبار أ/ب التكيفي — اختبار أ/ب التكيفي

قدّمه
Herbert Robbins (bandit framework); Thompson Sampling formalized by William R. Thompson
السنة
1952 (Robbins); applied to A/B testing from ~2010s onward
النوع
Adaptive experimental design
العائلة
Experimental design

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

اختبار أ/ب التكيفي هو تصميم تجريبي يعيد تخصيص حركة المرور أو المشاركين ديناميكيًا نحو المتغيرات ذات الأداء الأفضل أثناء التجربة نفسها، بدلاً من تثبيت التخصيصات حتى النهاية. بالاعتماد على خوارزميات متعددة الأذرع مثل أخذ عينات طومسون أو الحد الأعلى للثقة (UCB)، فإنه يوازن بين استكشاف المتغيرات غير المؤكدة واستغلال تلك التي تظهر بالفعل أداءً متفوقًا، مما يؤدي عادةً إلى نتائج مجمعة أعلى مع الاستمرار في إنتاج استنتاجات استدلالية صالحة.

الفكرة الحدسية وراء الطريقة

في اختبار أ/ب الكلاسيكي، تقوم بتقسيم الزوار بنسبة 50/50 بين نسختين وتنتظر حتى النهاية لإعلان الفائز — وفي هذه الأثناء، يستمر نصف حركة المرور في الوصول إلى المتغير الأقل أداءً. يعمل اختبار أ/ب التكيفي بشكل أشبه بنظام التعلم: يبدأ بشكل متساوٍ تقريبًا، ولكن مع تراكم الأدلة على أن المتغير ب يتفوق على المتغير أ، فإنه يحول تدريجيًا المزيد من حركة المرور إلى ب. تستمر التجربة في جمع البيانات للاستدلال الإحصائي، ولكن تكلفة تشغيل الخيار الأسوأ يتم تقليلها بنشاط في الوقت الفعلي. القياس هو لاعب ماكينات القمار الذي يتتبع أي آلات تدفع أكثر ويحول لعبه وفقًا لذلك، مع الاستمرار في أخذ عينات من جميع الآلات بما يكفي للبقاء واثقًا في المقارنة.

التاريخ

يقع الأساس النظري لاختبار أ/ب التكيفي في مشكلة متعددة الأذرع، والتي صاغها هيربرت روبنز لأول مرة في عام 1952. كان ويليام آر طومسون قد اقترح في وقت سابق استراتيجية أخذ عينات بايزية للتجارب السريرية في عام 1933، والتي سميت لاحقًا بأخذ عينات طومسون، وأصبحت واحدة من أكثر الخوارزميات تطبيقًا. نما الاهتمام الأكاديمي بالعشوائية المتكيفة مع الاستجابة في التجارب السريرية خلال السبعينيات إلى التسعينيات. تم تعميم تطبيق خوارزميات الأذرع على اختبارات أ/ب عبر الإنترنت على نطاق الإنترنت تقريبًا من عام 2010 فصاعدًا، مدفوعًا بشركات التكنولوجيا التي تسعى إلى تقليل تكاليف الفرصة البديلة أثناء التجريب والباحثين الذين يربطون طرق الأذرع بأطر الاستدلال السببي.

متى تُستخدم

يعد اختبار أ/ب التكيفي ذا قيمة أكبر عندما (1) يكون التعرض لمتغير أقل أداءً يحمل تكلفة كبيرة — في الرعاية الصحية، المنتجات الرقمية ذات حركة المرور العالية، أو الحملات محدودة الوقت؛ (2) تستمر التجربة لفترة كافية لتتمكن خوارزمية التخصيص من التحول بشكل كبير (عادةً مئات إلى آلاف الملاحظات)؛ و (3) يتم ملاحظة النتائج بسرعة مقارنة بمدة التجربة. كما أنها مناسبة بشكل جيد عند اختبار متغيرات متعددة في وقت واحد (إعداد متعدد الأذرع) وعندما يكون الهدف هو زيادة النتائج المجمعة أثناء التجربة، وليس فقط بعدها. لا تستخدم اختبار أ/ب التكيفي عندما: تكون النتيجة متأخرة مقارنة بحقبة القرار (التغذية الراجعة المتأخرة تجعل التحديثات غير موثوقة)؛ عندما تكون قابلية تفسير نسب التخصيص مطلوبة للمراجعة التنظيمية (مثل، بعض سياقات التجارب السريرية)؛ عندما يكون حجم العينة صغيرًا جدًا (أقل من حوالي 200 ملاحظة إجمالية)، حيث لا تملك الخوارزمية بيانات كافية للتكيف بشكل كبير؛ أو عندما يكون التصميم المتوازن البسيط كافيًا ولا تستدعي الحاجة التعقيد التشغيلي.

الحدود والاعتبارات

  • يتطلب ملاحظة النتائج في الوقت الفعلي تقريبًا أو بزمن انتقال منخفض؛ التغذية الراجعة المتأخرة (مثل، قياس النتائج بعد أسابيع من العلاج) تكسر دورة التحديث وتقوض التكيف.
  • الاستدلال الإحصائي أكثر تعقيدًا مما هو عليه في تصاميم التخصيص الثابت — اختبارات t القياسية غير صالحة؛ هناك حاجة إلى إجراءات اختبار تسلسلية أو بايزية متخصصة.
  • يمكن أن يؤدي التخصيص التكيفي إلى مجموعات غير متوازنة، مما يقلل من قوة اكتشاف التأثيرات الصغيرة ويعقد تحليلات المجموعات الفرعية.
  • يتطلب التنفيذ بنية تحتية تقنية لجمع البيانات في الوقت الفعلي، وتحديثات خلفية، وتوجيه حركة المرور — غير متوفر بسهولة في منصات المسح أو المختبر القياسية.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يقلل التعرض التراكمي للمتغيرات الأقل أداءً مقارنة بالتخصيص المتساوي الثابت، وهو أمر مهم عندما يكون مقياس النتيجة مهمًا أخلاقيًا أو تجاريًا.
  • مناسب بشكل جيد للإعدادات متعددة الأذرع حيث يتم اختبار العديد من المتغيرات في وقت واحد وسيؤدي التخصيص الثابت إلى توزيع العينة بشكل رفيع جدًا.
  • ينتج استدلالًا إحصائيًا صالحًا عند دمجه مع قواعد الإيقاف المسجلة مسبقًا، على الرغم من التخصيص غير الثابت.
  • يتكامل بشكل طبيعي مع التحديث البايزي، مما يتيح قياسًا شفافًا لعدم اليقين والأدلة في أي نقطة من التجربة.
  • مرن للسياق — قابل للتطبيق في التجارب عبر الإنترنت، والتجارب السريرية (العشوائية المتكيفة مع الاستجابة)، والتجارب الميدانية السلوكية.

التطبيقات

  • التجارب على المنتجات عبر الإنترنت — توجيه حركة مرور الويب نحو متغيرات صفحات الويب ذات التحويل الأعلى أثناء الاختبار لتقليل خسارة الإيرادات من التصميمات الأقل أداءً.
  • التدخلات الصحية الرقمية — تخصيص المرضى بشكل تكيفي لأذرع العلاج الأكثر فعالية في التجارب السريرية عن بعد أو المستندة إلى التطبيقات.
  • حملات البريد الإلكتروني والإشعارات الفورية — تحويل ديناميكي لتسليم الرسائل نحو سطور الموضوع أو متغيرات المحتوى ذات معدلات الفتح أو النقر الأعلى.
  • التكنولوجيا التعليمية — تعيين الطلاب لمتغيرات تعليمية أكثر فعالية في الوقت الفعلي بناءً على إشارات نتائج التعلم.
  • أنظمة التسعير والتوصية — اختبار مستويات تسعير متعددة أو خوارزميات توصية مع توجيه المستخدمين نحو الخيارات ذات الأداء الأفضل خلال فترة الاختبار.

كيف يعمل

كيف يعمل

1

يحدد الباحث المتغيرات المراد مقارنتها (عادةً نسختان أو أكثر من صفحة ويب، رسالة، علاج، أو منتج)، ومقياس النتيجة الأساسي (مثل، معدل التحويل، نسبة النقر إلى الظهور، إكمال المهمة)، الحد الأدنى لحجم التأثير القابل للكشف، وقاعدة الإيقاف — إما أفق ثابت (حجم العينة الأقصى) أو حد تسلسلي (قاعدة إنفاق ألفا مسجلة مسبقًا).

2

يتم تعيين اعتقاد مسبق لكل متغير حول أدائه، معبرًا عنه كتوزيع احتمالي على النتيجة المتوقعة (مثل، توزيع بيتا للنتائج الثنائية). في مناهج UCB المتكررة، يتم تعيين فترات الثقة الأولية واسعة لتعكس عدم اليقين المتساوي. تبدأ جميع المتغيرات بتخصيص متساوٍ أو شبه متساوٍ لضمان استكشاف مبكر كافٍ.

3

في كل حقبة قرار — والتي قد تكون كل مشارك جديد، أو دفعة من المشاركين، أو وحدة زمنية — تحدد الخوارزمية التكيفية كيفية تخصيص الوحدة (الوحدات) التالية من حركة المرور. بموجب أخذ عينات طومسون، يتم أخذ عينة من احتمالية النجاح من التوزيع الخلفي الحالي لكل متغير، ويحصل المتغير ذو أعلى قيمة تم أخذ عينة منها على الوحدة التالية؛ بموجب UCB، يتم اختيار المتغير ذي الحد الأعلى للثقة الأعلى. تتكرر هذه الخطوة باستمرار طوال التجربة.

4

بعد كل ملاحظة، يتم تسجيل النتيجة وتحديث توزيع الاعتقاد للمتغير المختار (تحديث خلفي بايزي) أو إعادة حساب فترة الثقة الخاصة به (تحديث متكرر). تؤثر المعتقدات المحدثة فورًا على قرار التخصيص التالي، لذلك يتعلم التصميم بشكل تدريجي من الأدلة المتراكمة.

5

تتوقف التجربة عندما يتم استيفاء معيار مسجل مسبقًا: إما الوصول إلى حجم العينة الأقصى، أو عبور حد تسلسلي، أو تجاوز الاحتمال الخلفي بأن أحد المتغيرات هو الأفضل عتبة محددة مسبقًا (مثل، 95٪). يجب الإعلان عن قواعد الإيقاف قبل جمع البيانات للتحكم في تضخم خطأ النوع الأول الذي ينشأ من المراقبة المستمرة.

6

يقدم الباحث حجم التأثير المقدر وعدم اليقين لكل متغير، ونسبة المشاركين المخصصين لكل متغير، والمكاسب الإجمالية للمقياس مقارنة بمعيار تخصيص ثابت. يتم تقديم البيانات الاستدلالية باستخدام إطار عمل قاعدة الإيقاف المسجلة مسبقًا (متكررة أو بايزية) بدلاً من اختبارات t التقليدية في نهاية الدراسة، والتي لا تأخذ في الاعتبار التخصيص التكيفي.

الأخطاء الشائعة

  • المراقبة دون قاعدة إيقاف — مراقبة النتائج باستمرار والتوقف عند الوصول إلى الدلالة لأول مرة دون قاعدة إنفاق ألفا مسجلة مسبقًا تضخم معدل خطأ النوع الأول بشكل كبير؛ قم دائمًا بتسجيل معيار الإيقاف مسبقًا.
  • تجاهل النتائج المتأخرة — إذا تأخر مقياس النتيجة عن العلاج (مثل، الاحتفاظ لمدة 30 يومًا مقاسًا لمتغير تم تعيينه اليوم)، فإن الخوارزمية تحدث بيانات غير مكتملة وتخصص بشكل غير صحيح؛ استخدم تصميمات تأخذ في الاعتبار التغذية الراجعة المتأخرة أو قم بالتبديل إلى تصميم ثابت.
  • تطبيق تحليل التخصيص الثابت — تقديم فترات الثقة القياسية أو قيم p من اختبارات t في نهاية الدراسة بعد التخصيص التكيفي ينتج تقديرات متحيزة؛ استخدم اختبارات تسلسلية بنسبة الاحتمالية، أو فترات المصداقية الخلفية، أو مقدرات تصحيح خارج السياسة.
  • ملاحظات قليلة جدًا لكي يكون التكيف ذا أهمية — مع عينة إجمالية صغيرة جدًا، بالكاد تحول الخوارزمية التخصيص قبل انتهاء التجربة؛ في الإعدادات ذات العينات الصغيرة، يكون التصميم العشوائي المتوازن أكثر كفاءة.
  • خلط هدف الاستكشاف مع هدف الاستدلال — التخصيص التكيفي يحسن النتائج المجمعة أثناء التجربة؛ إذا كان الهدف الوحيد هو التقدير الدقيق لتأثير كل متغير، فإن التصميم المتوازن الثابت يوفر أخطاء قياسية أضيق.

الأسئلة الشائعة

هل اختبار أ/ب التكيفي صالح إحصائيًا؟

نعم، بشرط أن يتم تسجيل قاعدة الإيقاف وطريقة التحليل مسبقًا وتتوافق مع التصميم التكيفي. اختبارات t القياسية وفترات الثقة ذات العينة الثابتة غير صالحة بعد التخصيص التكيفي. تشمل البدائل الصالحة اختبارات تسلسلية لإنفاق ألفا (مثل، حدود أوبراين-فليمنغ)، وأخذ عينات طومسون مع فترات المصداقية البايزية، أو مقدرات تصحيح خارج السياسة مثل ترجيح الاحتمالية العكسية. الانضباط الرئيسي هو الالتزام بقاعدة الإيقاف قبل بدء جمع البيانات.

كيف يختلف هذا عن تجربة قياسية متعددة الأذرع؟

تقوم التجربة القياسية متعددة الأذرع بتعيين المشاركين للمتغيرات بنسب ثابتة (غالبًا متساوية) طوال التجربة وتحلل جميع البيانات في النهاية. يقوم اختبار أ/ب التكيفي بتحديث نسب التخصيص باستمرار أثناء التجربة بناءً على بيانات النتائج المتراكمة، لذلك تتلقى الأذرع ذات الأداء الأفضل المزيد من المشاركين بمرور الوقت. يجب أن تأخذ الآلية الاستدلالية في الاعتبار هذا التخصيص غير الثابت، بينما يفترض تحليل الأذرع القياسي العشوائية الثابتة.

ما هو أخذ عينات طومسون ولماذا هو شائع؟

أخذ عينات طومسون هو خوارزمية بايزية تقوم في كل خطوة قرار بأخذ عينة تقدير أداء من التوزيع الخلفي لكل متغير وتعيين الوحدة التالية للمتغير ذي أعلى قيمة تم أخذ عينة منها. وهو شائع لأنه بسيط في التنفيذ، ويوازن بشكل طبيعي بين الاستكشاف والاستغلال، وقد ثبت نظريًا وعمليًا أنه يحقق نتائج مجمعة شبه مثالية. بالنسبة للنتائج الثنائية، فإنه يستخدم توزيعات بيتا المترافقة، مما يجعل التحديث الخلفي حسابًا بسطر واحد.

متى يجب أن ألتزم باختبار أ/ب كلاسيكي بتخصيص ثابت؟

استخدم تصميمًا ثابتًا عندما: تكون النتائج متأخرة بشكل كبير (يتجاوز تأخر التغذية الراجعة فترة ما بين القرارات)؛ تكون العينة صغيرة ولا يمكن للخوارزمية التكيف بشكل كبير؛ تتطلب المتطلبات التنظيمية تخصيصًا متوازنًا (مثل، بعض تجارب المرحلة الثالثة السريرية)؛ أو يكون الهدف الوحيد هو التقدير الدقيق للتأثير بدلاً من زيادة النتائج أثناء التجربة. في هذه المواقف، يوفر التصميم العشوائي الخاضع للرقابة المتوازن استدلالًا أوضح مع تحليل أبسط.

هل يمكن استخدام اختبار أ/ب التكيفي لأكثر من متغيرين؟

نعم. يمتد إطار عمل الأذرع المتعددة بشكل طبيعي إلى أي عدد من الأذرع (المتغيرات). مع العديد من المتغيرات، يكون التخصيص التكيفي ذا قيمة خاصة لأن التخصيص المتساوي الثابت في إعداد متعدد الأذرع يوزع العينة بشكل رفيع جدًا عبر الأذرع ذات الأداء الضعيف. خوارزميات مثل أخذ عينات طومسون، UCB، و Successive Rejects تتوسع مباشرة إلى الإعدادات متعددة الأذرع.

طرق ذات صلة

المصادر

  1. Russo, D., Van Roy, B., Kazerouni, A., Osband, I., & Wen, Z. (2018). A Tutorial on Thompson Sampling. Foundations and Trends in Machine Learning, 11(1), 1–96.

    افتح مرجع DOI
    تم النسخ.
  2. Offer-Westort, M., Coppock, A., & Green, D. P. (2021). Adaptive Experimental Design: Prospects and Applications in Political Science. American Journal of Political Science, 65(4), 826–844.

    افتح مرجع DOI
    تم النسخ.