الانتقال إلى المحتوى
العودة إلى نتائج البحث

اختبار العامل A/B — تجربة مضبوطة متعددة العوامل عبر الإنترنت

قدّمه
Ronald A. Fisher (factorial design); digital A/B testing popularized by Google, Microsoft, and Amazon in the 2000s
السنة
Factorial design: 1920s–1930s; applied online as factorial A/B test: 2000s–2010s
النوع
Controlled online/field experiment
العائلة
Experimental design

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

اختبار العامل A/B هو تجربة مضبوطة عبر الإنترنت تعالج بشكل متزامن عاملين مستقلين أو أكثر، كل منهما بمستويين أو أكثر، وتعرض مجموعات مختلفة من المستخدمين لكل تركيبة من مستويات العوامل. يستند هذا الاختبار إلى تصميم العامل لعالم الإحصاء فيشر (Fisher) وتم تطبيقه على نطاق واسع من قبل شركات التكنولوجيا، وهو يمكّن الباحثين من تقدير كل من التأثير الرئيسي المستقل لكل عامل وتأثيرات التفاعل بين العوامل — كل ذلك من خلال تشغيل تجريبي واحد.

الفكرة الحدسية وراء الطريقة

لنفترض أنك تريد معرفة ما إذا كان عنوان جديد يحسن التحويلات، وما إذا كان لون زر جديد يساعد أيضًا — ولكنك تشك أيضًا في أن التغييرين قد يتفاعلان. يمكن لاختبار A/B البسيط الإجابة على سؤال واحد في كل مرة؛ يقوم اختبار العامل A/B بتشغيل جميع التركيبات مرة واحدة (العنوان القديم + الزر القديم، العنوان القديم + الزر الجديد، العنوان الجديد + الزر القديم، العنوان الجديد + الزر الجديد) ويخبرك ليس فقط بالعوامل المهمة ولكن ما إذا كانت تأثيراتها تتضخم أو تلغي بعضها البعض. تحصل على المزيد من الإجابات بنفس حركة المرور، وتتجنب فخ نشر تغييرين تختفي فوائدهما الفردية عند دمجهما.

التاريخ

تم وضع الأسس الرياضية لتجارب العوامل من قبل رونالد أ. فيشر وفرانك ييتس في محطة روثامستيد التجريبية في عشرينيات وثلاثينيات القرن الماضي، وتم تدوينها في كتاب فيشر "تصميم التجارب" (1935). لعقود، تم استخدام الطريقة بشكل أساسي في الزراعة والتصنيع والتجارب السريرية. مع ظهور المنصات عبر الإنترنت واسعة النطاق في العقد الأول من القرن الحادي والعشرين، قامت Google و Microsoft و Amazon بتصنيع هذا النهج كاختبارات A/B للعوامل، مما أتاح التقييم السريع المتزامن لتغييرات متعددة في المنتجات على ملايين المستخدمين. قام كتاب Kohavi et al. لعام 2020 بتنظيم الممارسات الصناعية الحالية.

متى تُستخدم

استخدم اختبار العامل A/B عندما تحتاج إلى تقييم تغييرين مستقلين أو أكثر في تجربة واحدة وعندما يكون لديك سبب للاشتباه في أن هذه العوامل قد تتفاعل. إنه الخيار الصحيح عندما تكون حركة المرور كافية لتشغيل جميع الخلايا في وقت واحد — قاعدة تقريبية هي أنك تحتاج إلى نفس حجم العينة لكل خلية مثل اختبار A/B القياسي، مضروبًا في عدد الخلايا. لا تستخدمه عندما تكون حركة المرور شحيحة ولا يمكنك تشغيل جميع الخلايا؛ في هذه الحالة، قم بإجراء اختبارات A/B متسلسلة بدلاً من ذلك. تجنبه عندما يكون من المعروف أن العوامل مستقلة تمامًا وأن تأثيرات التفاعل غير محتملة نظريًا — في هذه الحالة، تكون اختبارات A/B المنفصلة أبسط في التواصل. تجنبه أيضًا عندما تشارك أكثر من أربعة أو خمسة عوامل دون استراتيجية عامل جزئي، حيث يتضاعف عدد الخلايا وتعقيد التفسير بشكل توافقي.

الحدود والاعتبارات

  • تتزايد متطلبات حجم العينة مع عدد الخلايا؛ يحتاج تصميم 2×2×2 إلى ثمانية أضعاف حجم العينة لكل خلية من اختبار ذراعين بسيط، وهو ما قد يكون غير ممكن للمنتجات ذات حركة المرور المنخفضة.
  • تفاعلات الرتبة العالية (ثلاثية، رباعية) يصعب تفسيرها وغالبًا ما تكون ضعيفة القوة حتى في التجارب الكبيرة.
  • النتائج خاصة بسكان المستخدمين وسياق التجربة وقد لا تكون قابلة للتعميم عبر منصات أو مواسم أو أسواق مختلفة.
  • يتطلب تحليل وتوصيل تأثيرات التفاعل براعة إحصائية قد لا يمتلكها أصحاب المصلحة.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • اختبار عوامل متعددة في تجربة واحدة، مما يقلل من الوقت الإجمالي للتقويم وتكلفة حركة المرور مقارنة باختبارات A/B المتسلسلة.
  • يكشف ويقيس تأثيرات التفاعل التي لا يمكن للاختبار المتسلسل الكشف عنها، مما يمنع نشر التركيبات التي لا تتراكم فوائدها.
  • تصميمات العامل الكامل فعالة إحصائيًا — تعيين العوامل المتعامدة يعني تقدير التأثيرات الرئيسية والتفاعلات بشكل مستقل.
  • يدعم خطط تحليل واضحة ومحددة مسبقًا ومتوافق مع أطر الاستدلال التكراري القياسي (ANOVA، الانحدار) والبا邊زي.
  • تم اعتماده على نطاق واسع في الصناعة (التكنولوجيا، التجارة الإلكترونية، الأدوية) ومدعومًا بأدبيات ناضجة حول التصميم والتحليل.

التطبيقات

  • اختبار نص العنوان والصورة الرئيسية في وقت واحد على صفحة هبوط لتحديد التركيبة الفائزة التي تزيد من معدل التسجيل.
  • تقييم متغيرين لسطر موضوع البريد الإلكتروني متقاطعين مع متغيرين لوقت الإرسال لتحديد ما إذا كان التوقيت يتفاعل مع الرسائل في زيادة معدلات الفتح.
  • إجراء تجربة سريرية 2×2 تقوم بتوزيع المشاركين بشكل عشوائي على الدواء مقابل الدواء الوهمي وعلى التدخل السلوكي مقابل الرعاية القياسية في وقت واحد.
  • تحسين تدفق الخروج عن طريق تغيير موضع الزر وطول النموذج بشكل متزامن للعثور على الخلية ذات معدل التخلي عن سلة التسوق الأقل.
  • تقييم التأثير المشترك لخوارزمية التوصية وتخطيط العرض على وقت مشاهدة منصة البث.
  • دراسات استجابة الجرعة الدوائية التي تتقاطع فيها مستوى الجرعة مع طريق الإعطاء لتقدير التأثيرات الرئيسية والتفاعل في بروتوكول واحد.

كيف يعمل

كيف يعمل

1

تحديد العوامل المستقلة (المتغيرات) المراد اختبارها وتحديد المستويات المنفصلة التي سيأخذها كل عامل. في اختبار العامل A/B 2×2، يوجد عاملان كل منهما بمستويين، مما ينتج عنه أربع خلايا علاجية. التصميمات الأكبر (2×2×2، 3×2، إلخ) ممكنة ولكنها تضاعف متطلبات حجم العينة بشكل متناسب.

2

تعداد جميع تركيبات مستويات العوامل — هذه هي الخلايا التجريبية أو الأذرع. بالنسبة لتصميم العامل الكامل، يتم تضمين كل تركيبة؛ إذا كان عدد الخلايا كبيرًا بشكل غير عملي، يمكن استخدام تصميم العامل الجزئي، مما يضحي بالقدرة على تقدير تفاعلات الرتبة العالية مقابل تجربة أصغر.

3

يتم تعيين المستخدمين (أو الجلسات) عشوائيًا إلى خلية واحدة بالضبط، عادةً باستخدام تجزئة معرف مستخدم ثابت مقسومًا على عدد الخلايا، مما يضمن تخصيصًا متوازنًا ومستقلًا. يزيل التوزيع العشوائي تحيز الاختيار وهو الميزة التي تميز اختبار العامل A/B عن التحليل متعدد المتغيرات الرصدي.

4

يتم تشغيل التجربة لمدة محددة مسبقًا — كافية لتحقيق حجم العينة المستهدف لكل خلية ولحساب تأثيرات الموسمية الأسبوعية (عادةً أسبوع كامل على الأقل). يتم تسجيل مقاييس النتائج (معدل التحويل، الإيرادات لكل مستخدم، وقت المشاركة، إلخ) على مستوى المستخدم أو الجلسة لكل خلية طوال فترة التعرض.

5

يستخدم التحليل الأساسي إطار عمل تحليل التباين العاملي (ANOVA) أو الانحدار الذي يقسم التباين إلى تأثيرات رئيسية (واحد لكل عامل) وتأثيرات تفاعلية (واحد لكل زوج من العوامل، وحدود أعلى إذا كان التصميم عامليًا كاملاً). يتم الإبلاغ عن أحجام التأثير، وفترات الثقة، وقيم p المعدلة للتعددية (مثل Bonferroni أو Benjamini-Hochberg) لكل تأثير مقدر.

6

تفسير نمط التأثيرات الرئيسية والتفاعلات. إذا كان هناك تفاعل كبير، فإن التأثيرات الرئيسية وحدها يمكن أن تكون مضللة — يجب تحديد التركيبة الفائزة من متوسطات الخلايا بدلاً من متوسط كل عامل هامشي. ثم يتم نشر الخلية (أو الخلايا) الفائزة لـ 100٪ من المستخدمين.

الأخطاء الشائعة

  • تجاهل التفاعلات الكبيرة — الإبلاغ عن التأثيرات الرئيسية فقط عندما يكون هناك تفاعل ينتج عنه توصيات غير صحيحة؛ افحص دائمًا مخططات التفاعل قبل تفسير تأثيرات العوامل الفردية.
  • ضعف قوة الخلايا الفردية — يحسب المصممون أحيانًا القوة للتجربة بأكملها بدلاً من كل خلية، مما يؤدي إلى تجارب لا يمكنها اكتشاف التأثيرات ذات الأهمية في كل ذراع بشكل موثوق.
  • عدم استقلالية العوامل — إذا كان تطبيق مستوى عامل واحد يغير معنى عامل آخر (على سبيل المثال، تغيير تخطيط يخفي الزر الذي يتم اختباره)، فإن افتراض العامل للتعامد يتم انتهاكه وتكون تقديرات التفاعل بلا معنى.
  • تشغيل عوامل كثيرة جدًا دون استراتيجية عامل جزئي — تصميم عامل كامل غير مخطط له مع عوامل كثيرة يخلق عددًا كبيرًا من الخلايا ويزيد من معدل الاكتشاف الخاطئ عند اختبار العديد من التأثيرات.
  • تأثيرات الحداثة — في التجارب عبر الإنترنت قصيرة المدة، قد يعكس سلوك المستخدم الفضول بشأن التغيير بدلاً من التفضيلات المستقرة، مما يضخم تقديرات التأثير التي لا تستمر بعد الإطلاق الكامل.

الأسئلة الشائعة

كيف يختلف اختبار العامل A/B عن إجراء اختبارات A/B منفصلة متعددة؟

لا يمكن لاختبارات A/B المتسلسلة اكتشاف ما إذا كان عاملان يتفاعلان — قد تجد أن كل تغيير يحسن التحويل بشكل فردي ولكن نشر كليهما يضر بالأداء. يقوم اختبار العامل A/B بتشغيل جميع التركيبات في وقت واحد، لذلك يقدر تأثيرات التفاعل مباشرة. كما أنه ينتهي بشكل أسرع إذا كان لديك حركة مرور كافية، حيث تختبر كل شيء في تجربة واحدة بدلاً من ذلك في تسلسل.

متى يجب أن أستخدم تصميم عامل جزئي بدلاً من تصميم عامل كامل؟

يختبر العامل الكامل كل تركيبة من كل مستوى عامل. عندما يكون عدد العوامل كبيرًا (عادةً خمسة أو أكثر)، يصبح عدد الخلايا كبيرًا بشكل غير عملي. يختبر تصميم العامل الجزئي مجموعة فرعية مختارة استراتيجيًا فقط من الخلايا — ما يكفي لتقدير التأثيرات الرئيسية والتفاعلات ذات الرتبة المنخفضة مع التضحية بمعلومات حول التفاعلات ذات الرتبة العالية التي نادرًا ما تكون مهمة عمليًا. إذا كان لديك العديد من العوامل وحركة مرور محدودة، ففكر في تصميم عامل جزئي أو استراتيجية اختبار متسلسلة.

كيف أتعامل مع المقارنات المتعددة في اختبار العامل A/B؟

كل تأثير رئيسي وكل حد تفاعل هو فرضية منفصلة. بدون تعديل، يزداد معدل الاكتشاف الخاطئ العائلي مع عدد الاختبارات. تشمل الأساليب الشائعة تصحيح Bonferroni (متحفظ، يتحكم في خطأ العائلة)، إجراء Benjamini-Hochberg (يتحكم في معدل الاكتشاف الخاطئ، قوة أكبر)، أو إطار عمل بايزي ينشر عدم اليقين بشكل طبيعي عبر جميع التأثيرات. يجب تحديد طريقة التصحيح مسبقًا في خطة التحليل.

ما حجم العينة الذي أحتاجه؟

قاعدة قياسية هي تقدير قوة كل خلية كما تفعل لاختبار A/B ذي ذراعين — احسب N المطلوب لحجم التأثير المتوقع والقوة المطلوبة، ثم اضربه في العدد الإجمالي للخلايا. بالنسبة لتصميم 2×2، هذا يعني أربعة أضعاف N لكل ذراع من اختبار A/B قياسي. إذا كان تقدير قوة جميع الخلايا غير ممكن، ففكر في تصميم عامل جزئي أو تقليل عدد العوامل.

هل يمكنني تحليل اختبار العامل A/B باستخدام اختبار t بسيط لكل زوج؟

لا. تتجاهل اختبارات t الزوجية بين الخلايا بنية العامل، وتزيد من معدل الاكتشاف الخاطئ، والأهم من ذلك — لا تقدر تأثيرات التفاعل. التحليل الصحيح هو تحليل التباين العاملي (ANOVA) أو نموذج انحدار مكافئ مع متغيرات مؤشر لكل عامل ومنتجاتها (حدود التفاعل). هذا النهج وحده يقسم التباين بشكل صحيح إلى تأثيرات رئيسية وتفاعلات.

طرق ذات صلة

المصادر

  1. Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.

    ردمك: 978-1108724265
    تم النسخ.
  2. Montgomery, D. C. (2017). Design and Analysis of Experiments (9th ed.). Wiley.

    ردمك: 978-1119113478
    تم النسخ.