Skip to content
بازگشت به نتایج جست‌وجو

آزمون عاملی A/B — آزمایش کنترل‌شده آنلاین چندعاملی

معرفی‌شده توسط
Ronald A. Fisher (factorial design); digital A/B testing popularized by Google, Microsoft, and Amazon in the 2000s
سال
Factorial design: 1920s–1930s; applied online as factorial A/B test: 2000s–2010s
نوع
Controlled online/field experiment
خانواده
Experimental design

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

آزمون عاملی A/B یک آزمایش کنترل‌شده آنلاین است که به طور همزمان دو یا چند عامل مستقل را، که هر یک دارای دو یا چند سطح هستند، دستکاری می‌کند و گروه‌های کاربری مختلف را در معرض هر ترکیب از سطوح عامل قرار می‌دهد. این روش که ریشه در طرح عاملی فیشر دارد و توسط شرکت‌های فناوری در مقیاس وسیع عملیاتی شده است، به محققان امکان می‌دهد تا هم اثر اصلی مستقل هر عامل و هم اثرات متقابل بین عوامل را — همه از یک اجرای آزمایشی واحد — تخمین بزنند.

شهود پشت روش

فرض کنید می‌خواهید بدانید که آیا یک تیتر جدید باعث بهبود نرخ تبدیل می‌شود و همچنین آیا رنگ دکمه جدید کمک می‌کند — اما همچنین گمان می‌کنید که این دو تغییر ممکن است با یکدیگر تعامل داشته باشند. یک آزمون A/B ساده می‌تواند یک سوال را در هر زمان پاسخ دهد؛ یک آزمون عاملی A/B همه ترکیبات را به طور همزمان اجرا می‌کند (تیتر قدیمی + دکمه قدیمی، تیتر قدیمی + دکمه جدید، تیتر جدید + دکمه قدیمی، تیتر جدید + دکمه جدید) و نه تنها به شما می‌گوید کدام عوامل مهم هستند، بلکه نشان می‌دهد که آیا اثرات آنها یکدیگر را تقویت یا خنثی می‌کنند. شما با همان میزان ترافیک پاسخ‌های بیشتری به دست می‌آورید و از دام استقرار دو تغییری که مزایای فردی آنها در ترکیب از بین می‌رود، اجتناب می‌کنید.

تاریخ

مبانی ریاضی آزمایش عاملی توسط رونالد ا. فیشر و فرانک ییتس در ایستگاه آزمایشگاهی روتهامستد در دهه‌های ۱۹۲۰ و ۱۹۳۰ پایه‌گذاری شد و در کتاب «طراحی آزمایش‌ها» (The Design of Experiments) فیشر (۱۹۳۵) تدوین گردید. برای دهه‌ها این روش عمدتاً در کشاورزی، تولید و کارآزمایی‌های بالینی استفاده می‌شد. با ظهور پلتفرم‌های آنلاین در مقیاس بزرگ در دهه ۲۰۰۰، گوگل، مایکروسافت و آمازون این رویکرد را به عنوان آزمایش عاملی A/B صنعتی کردند و امکان ارزیابی همزمان و سریع تغییرات متعدد محصول را برای میلیون‌ها کاربر فراهم آوردند. کتاب راهنمای کوهاوی و همکاران (۲۰۲۰) رویه‌های صنعتی کنونی را نظام‌مند کرد.

چه زمانی استفاده شود

زمانی از آزمون عاملی A/B استفاده کنید که نیاز به ارزیابی دو یا چند تغییر مستقل در یک آزمایش واحد دارید و زمانی که دلیلی برای گمان دارید که این عوامل ممکن است با یکدیگر تعامل داشته باشند. این انتخاب صحیح است زمانی که ترافیک برای قدرت‌دهی همزمان به همه سلول‌ها کافی باشد — یک قاعده کلی این است که شما به همان اندازه نمونه به ازای هر سلول نیاز دارید که در یک آزمون A/B استاندارد، ضربدر تعداد سلول‌ها. زمانی که ترافیک کم است و نمی‌توانید به همه سلول‌ها قدرت دهید، از آن استفاده نکنید؛ در این صورت، به جای آن آزمون‌های A/B متوالی را اجرا کنید. زمانی که عوامل به طور کامل مستقل شناخته شده‌اند و اثرات متقابل از نظر تئوری غیرقابل تصور هستند، از آن اجتناب کنید — در این صورت، آزمون‌های A/B جداگانه برای ارتباط ساده‌تر هستند. همچنین زمانی که بیش از چهار یا پنج عامل بدون استراتژی عاملی کسری درگیر هستند، از آن اجتناب کنید، زیرا تعداد سلول‌ها و پیچیدگی تفسیر به صورت ترکیبی رشد می‌کنند.

محدودیت‌ها و ملاحظات

  • الزامات اندازه نمونه با تعداد سلول‌ها مقیاس‌پذیر است؛ یک طرح 2×2×2 به هشت برابر N به ازای هر سلول یک آزمون دو بازویی ساده نیاز دارد که ممکن است برای محصولات با ترافیک کم غیرممکن باشد.
  • تفسیر تعاملات مرتبه بالا (سه‌طرفه، چهارطرفه) دشوار است و اغلب حتی در آزمایش‌های بزرگ نیز قدرت کافی ندارند.
  • نتایج مختص جمعیت کاربر و زمینه آزمایش هستند و ممکن است در پلتفرم‌ها، فصول یا بازارهای مختلف تعمیم‌پذیر نباشند.
  • تحلیل و ارتباط اثرات متقابل نیازمند پیچیدگی آماری است که ممکن است ذینفعان نداشته باشند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • چندین عامل را در یک آزمایش واحد آزمایش می‌کند و زمان کلی تقویمی و هزینه ترافیک را در مقایسه با آزمون‌های A/B متوالی کاهش می‌دهد.
  • اثرات متقابلی را که آزمایش متوالی نمی‌تواند آشکار کند، شناسایی و کمی‌سازی می‌کند و از استقرار ترکیباتی که مزایای آنها با هم جمع نمی‌شوند، جلوگیری می‌کند.
  • طرح‌های عاملی کامل از نظر آماری کارآمد هستند — تخصیص متعامد عامل به این معنی است که اثرات اصلی و تعاملات به طور مستقل تخمین زده می‌شوند.
  • از برنامه‌های تحلیل واضح و از پیش مشخص شده پشتیبانی می‌کند و با چارچوب‌های استنباط فراوانی‌گرا (ANOVA، رگرسیون) و بیزی استاندارد سازگار است.
  • به طور گسترده در صنعت (فناوری، تجارت الکترونیک، داروسازی) پذیرفته شده و توسط ادبیات بالغ در زمینه طراحی و تحلیل پشتیبانی می‌شود.

کاربردها

  • آزمایش همزمان عنوان و تصویر اصلی در یک صفحه فرود برای شناسایی ترکیب برنده که نرخ ثبت‌نام را به حداکثر می‌رساند.
  • ارزیابی دو نوع عنوان ایمیل در ترکیب با دو زمان ارسال برای تعیین اینکه آیا زمان‌بندی با پیام‌رسانی در افزایش نرخ باز شدن تعامل دارد یا خیر.
  • اجرای یک کارآزمایی بالینی 2×2 که به طور همزمان شرکت‌کنندگان را به گروه دارو در مقابل دارونما و به گروه مداخله رفتاری در مقابل مراقبت استاندارد تصادفی می‌کند.
  • بهینه‌سازی جریان پرداخت با تغییر همزمان محل دکمه و طول فرم برای یافتن سلولی با کمترین نرخ رها کردن سبد خرید.
  • ارزیابی تأثیر مشترک الگوریتم توصیه و طرح‌بندی نمایش بر زمان تماشای پلتفرم پخش جریانی.
  • مطالعات دوز-پاسخ دارویی که سطح دوز را با مسیر تجویز ترکیب می‌کنند تا اثرات اصلی و تعامل را در یک پروتکل واحد تخمین بزنند.

چگونه کار می‌کند

چگونه کار می‌کند

1

عوامل مستقل (متغیرها) مورد آزمایش را شناسایی کرده و سطوح گسسته‌ای که هر عامل خواهد داشت را مشخص کنید. در یک آزمون عاملی A/B از نوع 2×2، دو عامل وجود دارد که هر یک دارای دو سطح هستند و چهار سلول درمانی تولید می‌کنند. طرح‌های بزرگتر (2×2×2، 3×2 و غیره) امکان‌پذیر هستند اما الزامات اندازه نمونه را به نسبت افزایش می‌دهند.

2

تمام ترکیبات سطوح عامل را فهرست کنید — اینها سلول‌ها یا بازوهای آزمایشی هستند. برای یک طرح عاملی کامل، هر ترکیبی گنجانده می‌شود؛ اگر تعداد سلول‌ها به طور غیرقابل قبولی زیاد باشد، ممکن است از یک طرح عاملی کسری استفاده شود که توانایی تخمین تعاملات مرتبه بالا را در ازای یک آزمایش کوچکتر فدا می‌کند.

3

کاربران (یا جلسات) به طور تصادفی به یک سلول دقیقاً اختصاص داده می‌شوند، معمولاً با استفاده از هش یک شناسه کاربری پایدار پیمانه تعداد سلول‌ها، که تخصیص متعادل و مستقل را تضمین می‌کند. تصادفی‌سازی سوگیری انتخاب را از بین می‌برد و ویژگی‌ای است که آزمون عاملی A/B را از تحلیل چندمتغیره مشاهده‌ای متمایز می‌کند.

4

آزمایش برای یک مدت زمان از پیش تعیین شده اجرا می‌شود — به اندازه کافی طولانی برای دستیابی به اندازه نمونه هدف در هر سلول و برای در نظر گرفتن اثرات فصلی هفتگی (معمولاً حداقل یک هفته کامل). معیارهای نتیجه (نرخ تبدیل، درآمد به ازای هر کاربر، زمان تعامل و غیره) در سطح کاربر یا جلسه برای هر سلول در طول پنجره مواجهه ثبت می‌شوند.

5

تحلیل اولیه از یک چارچوب ANOVA عاملی یا رگرسیون استفاده می‌کند که واریانس را به اثرات اصلی (یکی برای هر عامل) و اثرات متقابل (یکی برای هر جفت عامل، و جملات مرتبه بالاتر اگر طرح عاملی کامل باشد) تقسیم می‌کند. اندازه‌های اثر، فواصل اطمینان، و مقادیر p-تنظیم‌شده برای مقایسه‌های چندگانه (مانند بونفرونی یا بنجامینی-هاچبرگ) برای هر اثر تخمین‌زده شده گزارش می‌شوند.

6

الگوی اثرات اصلی و تعاملات را تفسیر کنید. اگر یک تعامل معنی‌دار وجود داشته باشد، اثرات اصلی به تنهایی می‌توانند گمراه‌کننده باشند — ترکیب برنده باید از میانگین‌های سلولی شناسایی شود نه از میانگین حاشیه‌ای هر عامل. سلول (یا سلول‌های) برنده سپس به ۱۰۰٪ کاربران اعمال می‌شود.

دام‌های رایج

  • نادیده گرفتن تعاملات معنی‌دار — گزارش تنها اثرات اصلی در صورت وجود تعامل، توصیه‌های نادرستی را به همراه دارد؛ همیشه قبل از تفسیر اثرات عامل‌های فردی، نمودارهای تعامل را بررسی کنید.
  • قدرت ناکافی برای سلول‌های فردی — طراحان گاهی اوقات قدرت را برای کل آزمایش محاسبه می‌کنند نه برای هر سلول، که منجر به آزمایش‌هایی می‌شود که نمی‌توانند به طور قابل اعتماد اثرات مورد علاقه را در هر بازو تشخیص دهند.
  • عدم استقلال عوامل — اگر اجرای یک سطح عامل، معنای عامل دیگری را تغییر دهد (مثلاً تغییر طرح‌بندی که دکمه مورد آزمایش را پنهان می‌کند)، فرض عاملی متعامد بودن نقض می‌شود و تخمین‌های تعامل بی‌معنی خواهند بود.
  • اجرای تعداد زیادی عامل بدون استراتژی عاملی کسری — یک طرح عاملی کامل برنامه‌ریزی نشده با عوامل زیاد، تعداد سلول‌های غیرقابل کنترل ایجاد می‌کند و نرخ کشف کاذب را هنگام آزمایش بسیاری از اثرات افزایش می‌دهد.
  • اثرات تازگی — در آزمایش‌های آنلاین کوتاه‌مدت، رفتار کاربر ممکن است کنجکاوی در مورد تغییر را منعکس کند تا ترجیحات پایدار، که تخمین‌های اثر را که پس از استقرار کامل پایدار نیستند، افزایش می‌دهد.

پرسش‌های متداول

آزمون عاملی A/B چه تفاوتی با اجرای چندین آزمون A/B جداگانه دارد؟

آزمون‌های A/B متوالی نمی‌توانند تشخیص دهند که آیا دو عامل با یکدیگر تعامل دارند یا خیر — ممکن است متوجه شوید که هر تغییر به طور جداگانه نرخ تبدیل را بهبود می‌بخشد اما استقرار هر دو در واقع به عملکرد آسیب می‌رساند. یک آزمون عاملی A/B همه ترکیبات را به طور همزمان اجرا می‌کند، بنابراین اثرات متقابل را مستقیماً تخمین می‌زند. همچنین اگر ترافیک کافی داشته باشید، سریع‌تر به پایان می‌رسد، زیرا همه چیز را در یک آزمایش به جای متوالی آزمایش می‌کنید.

چه زمانی باید از طرح عاملی کسری به جای طرح عاملی کامل استفاده کنم؟

یک طرح عاملی کامل هر ترکیب از هر سطح عامل را آزمایش می‌کند. هنگامی که تعداد عوامل زیاد است (معمولاً پنج یا بیشتر)، تعداد سلول‌ها به طور غیرعملیاتی بزرگ می‌شود. یک طرح عاملی کسری تنها زیرمجموعه‌ای از سلول‌ها را که به طور استراتژیک انتخاب شده‌اند، آزمایش می‌کند — به اندازه کافی برای تخمین اثرات اصلی و تعاملات مرتبه پایین، در حالی که اطلاعات مربوط به تعاملات مرتبه بالا را که به ندرت از نظر عملی مهم هستند، فدا می‌کند. اگر عوامل زیادی دارید و ترافیک محدود، یک طرح عاملی کسری یا یک استراتژی آزمایش متوالی را در نظر بگیرید.

چگونه مقایسه‌های چندگانه را در یک آزمون عاملی A/B مدیریت کنم؟

هر اثر اصلی و هر جمله تعامل یک فرضیه جداگانه است. بدون تنظیم، نرخ کشف کاذب خانوادگی با تعداد آزمون‌ها افزایش می‌یابد. رویکردهای رایج شامل تصحیح بونفرونی (محافظه‌کارانه، خطای خانوادگی را کنترل می‌کند)، رویه بنجامینی-هاچبرگ (نرخ کشف کاذب را کنترل می‌کند، قدرت بیشتر)، یا یک چارچوب بیزی است که به طور طبیعی عدم قطعیت را در تمام اثرات منتشر می‌کند. روش تصحیح باید از پیش در برنامه تحلیل مشخص شود.

به چه اندازه نمونه‌ای نیاز دارم؟

یک قاعده استاندارد این است که هر سلول را مانند یک آزمون A/B دو بازویی قدرت دهید — N مورد نیاز را برای اندازه اثر مورد انتظار و قدرت مطلوب خود محاسبه کنید، سپس آن را در تعداد کل سلول‌ها ضرب کنید. برای یک طرح 2×2 این به معنای چهار برابر N به ازای هر بازو در یک آزمون A/B استاندارد است. اگر قدرت‌دهی به همه سلول‌ها غیرممکن است، یک طرح عاملی کسری یا کاهش تعداد عوامل را در نظر بگیرید.

آیا می‌توانم یک آزمون عاملی A/B را با یک آزمون t ساده برای هر جفت تحلیل کنم؟

خیر. آزمون‌های t زوجی بین سلول‌ها ساختار عاملی را نادیده می‌گیرند، نرخ کشف کاذب را افزایش می‌دهند و — از همه مهم‌تر — اثرات متقابل را تخمین نمی‌زنند. تحلیل صحیح یک ANOVA عاملی یا یک مدل رگرسیون معادل با متغیرهای نشانگر برای هر عامل و حاصل‌ضرب‌های آنها (جملات تعامل) است. تنها این رویکرد واریانس را به درستی به اثرات اصلی و تعاملات تقسیم می‌کند.

روش‌های مرتبط

منابع

  1. Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.

    شابک: 978-1108724265
    کپی شد.
  2. Montgomery, D. C. (2017). Design and Analysis of Experiments (9th ed.). Wiley.

    شابک: 978-1119113478
    کپی شد.