Skip to content
بازگشت به نتایج جست‌وجو

آزمون A/B تطبیقی — آزمون A/B تطبیقی

معرفی‌شده توسط
Herbert Robbins (bandit framework); Thompson Sampling formalized by William R. Thompson
سال
1952 (Robbins); applied to A/B testing from ~2010s onward
نوع
Adaptive experimental design
خانواده
Experimental design

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

آزمون A/B تطبیقی یک طراحی آزمایشی است که به صورت پویا ترافیک یا شرکت‌کنندگان را در طول خود آزمایش به سمت واریانت‌های با عملکرد بهتر تخصیص مجدد می‌دهد، به جای اینکه تخصیص‌ها را تا پایان ثابت نگه دارد. این آزمون با بهره‌گیری از الگوریتم‌های چندبازو مانند نمونه‌برداری تامپسون (Thompson Sampling) یا کران بالای اطمینان (UCB)، بین کاوش واریانت‌های نامطمئن و بهره‌برداری از واریانت‌هایی که عملکرد برتری از خود نشان داده‌اند، تعادل برقرار می‌کند و معمولاً نتایج تجمعی بالاتری را به همراه دارد، در حالی که همچنان نتایج استنباطی معتبری تولید می‌کند.

شهود پشت روش

در یک آزمون A/B کلاسیک، بازدیدکنندگان به نسبت 50/50 بین دو نسخه تقسیم می‌شوند و تا پایان آزمایش برای اعلام برنده صبر می‌شود — در این میان، نیمی از ترافیک همچنان به واریانت ضعیف‌تر هدایت می‌شود. یک آزمون A/B تطبیقی بیشتر شبیه به یک سیستم یادگیرنده عمل می‌کند: تقریباً به صورت یکسان شروع می‌شود، اما با انباشته شدن شواهد مبنی بر اینکه واریانت B عملکرد بهتری نسبت به واریانت A دارد، به تدریج ترافیک بیشتری را به سمت B سوق می‌دهد. آزمایش همچنان به جمع‌آوری داده‌ها برای استنباط آماری ادامه می‌دهد، اما هزینه اجرای گزینه بدتر به صورت فعال و در زمان واقعی به حداقل می‌رسد. تشبیه آن به یک بازیکن دستگاه اسلات است که ردیابی می‌کند کدام دستگاه‌ها بیشتر پرداخت می‌کنند و بازی خود را بر اساس آن تغییر می‌دهد، در حالی که همچنان همه دستگاه‌ها را به اندازه کافی نمونه‌برداری می‌کند تا در مقایسه خود مطمئن بماند.

تاریخ

اساس نظری آزمون A/B تطبیقی در مسئله چندبازو نهفته است که اولین بار توسط هربرت رابینز در سال 1952 فرموله شد. ویلیام آر. تامپسون پیشتر در سال 1933 یک استراتژی نمونه‌برداری بیزی برای کارآزمایی‌های بالینی پیشنهاد کرده بود که بعدها نمونه‌برداری تامپسون نام گرفت و به یکی از پرکاربردترین الگوریتم‌ها تبدیل شد. علاقه آکادمیک به تصادفی‌سازی تطبیقی پاسخ در کارآزمایی‌های بالینی در دهه‌های 1970 تا 1990 افزایش یافت. کاربرد الگوریتم‌های چندبازو در آزمون A/B آنلاین در مقیاس اینترنت از حدود سال 2010 به بعد رایج شد که توسط شرکت‌های فناوری که به دنبال کاهش هزینه‌های فرصت در طول آزمایش بودند و توسط محققانی که روش‌های چندبازو را به چارچوب‌های استنباط علّی مرتبط می‌کردند، هدایت شد.

چه زمانی استفاده شود

آزمون A/B تطبیقی زمانی بیشترین ارزش را دارد که (1) قرار گرفتن در معرض یک واریانت ضعیف‌تر هزینه قابل توجهی داشته باشد — در مراقبت‌های بهداشتی، محصولات دیجیتال با ترافیک بالا، یا کمپین‌های با زمان محدود؛ (2) آزمایش به اندازه کافی طولانی اجرا شود تا الگوریتم تخصیص به طور معنی‌داری تغییر کند (معمولاً صدها تا هزاران مشاهده)؛ و (3) پیامدها به سرعت نسبت به مدت زمان آزمایش مشاهده شوند. همچنین زمانی که چندین واریانت به طور همزمان آزمایش می‌شوند (تنظیم چندبازو) و زمانی که هدف به حداکثر رساندن نتایج تجمعی در طول آزمایش است، نه فقط پس از آن، مناسب است. از آزمون A/B تطبیقی استفاده نکنید زمانی که: پیامد نسبت به دوره تصمیم‌گیری با تأخیر همراه است (بازخورد تأخیری به‌روزرسانی‌ها را غیرقابل اعتماد می‌کند)؛ زمانی که تفسیر نسبت‌های تخصیص برای بررسی نظارتی مورد نیاز است (مثلاً برخی از زمینه‌های کارآزمایی بالینی)؛ زمانی که اندازه نمونه بسیار کوچک است (کمتر از حدود 200 مشاهده کلی)، زیرا الگوریتم داده‌های کافی برای تطبیق معنی‌دار ندارد؛ یا زمانی که یک طراحی متعادل ساده کافی است و پیچیدگی عملیاتی توجیه ندارد.

محدودیت‌ها و ملاحظات

  • نیاز به مشاهده پیامد تقریباً در زمان واقعی یا با تأخیر کم دارد؛ بازخورد تأخیری (مثلاً پیامدهای اندازه‌گیری شده هفته‌ها پس از درمان) چرخه به‌روزرسانی را مختل کرده و تطبیق را تضعیف می‌کند.
  • استنباط آماری پیچیده‌تر از طرح‌های تخصیص ثابت است — آزمون‌های t استاندارد نامعتبر هستند؛ روش‌های آزمون ترتیبی یا بیزی تخصصی مورد نیاز است.
  • تخصیص تطبیقی می‌تواند گروه‌های نامتعادل ایجاد کند، که قدرت تشخیص اثرات کوچک را کاهش می‌دهد و تحلیل‌های زیرگروهی را پیچیده می‌کند.
  • پیاده‌سازی نیازمند زیرساخت فنی برای جمع‌آوری داده‌ها در زمان واقعی، به‌روزرسانی پسین و مسیریابی ترافیک است — که به راحتی در پلتفرم‌های نظرسنجی یا آزمایشگاهی استاندارد در دسترس نیست.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • کاهش مواجهه تجمعی با واریانت‌های ضعیف‌تر در مقایسه با تخصیص برابر ثابت، که زمانی اهمیت دارد که معیار پیامد از نظر اخلاقی یا تجاری مهم باشد.
  • مناسب برای تنظیمات چندبازو که در آن بسیاری از واریانت‌ها به طور همزمان آزمایش می‌شوند و تخصیص ثابت نمونه را بیش از حد رقیق می‌کند.
  • با وجود تخصیص غیرثابت، در ترکیب با قوانین توقف از پیش ثبت‌شده، استنباط آماری معتبری تولید می‌کند.
  • به طور طبیعی با به‌روزرسانی بیزی یکپارچه می‌شود و امکان کمی‌سازی شفاف عدم قطعیت و شواهد را در هر نقطه از آزمایش فراهم می‌کند.
  • انعطاف‌پذیر در زمینه — قابل استفاده در آزمایش‌های آنلاین، کارآزمایی‌های بالینی (تصادفی‌سازی تطبیقی پاسخ) و آزمایش‌های میدانی رفتاری.

کاربردها

  • آزمایش محصول آنلاین — هدایت ترافیک وب به سمت واریانت‌های صفحه وب با نرخ تبدیل بالاتر در طول آزمایش برای به حداقل رساندن از دست دادن درآمد ناشی از طراحی‌های ضعیف‌تر.
  • مداخلات سلامت دیجیتال — تخصیص تطبیقی بیماران به بازوهای درمانی مؤثرتر در کارآزمایی‌های بالینی از راه دور یا مبتنی بر اپلیکیشن.
  • کمپین‌های ایمیل و اعلان فشاری — تغییر پویا تحویل پیام به سمت خطوط موضوع یا واریانت‌های محتوا با نرخ باز شدن یا کلیک بالاتر.
  • فناوری آموزشی — اختصاص دانش‌آموزان به واریانت‌های آموزشی مؤثرتر در زمان واقعی بر اساس سیگنال‌های پیامد یادگیری.
  • سیستم‌های قیمت‌گذاری و توصیه — آزمایش سطوح قیمت‌گذاری متعدد یا الگوریتم‌های توصیه در حالی که کاربران را در طول دوره آزمایش به سمت گزینه‌های با عملکرد بهتر هدایت می‌کند.

چگونه کار می‌کند

چگونه کار می‌کند

1

محقق واریانت‌های مورد مقایسه (معمولاً دو یا چند نسخه از یک صفحه وب، پیام، درمان یا محصول)، معیار پیامد اولیه (مانند نرخ تبدیل، نرخ کلیک، تکمیل وظیفه)، حداقل اندازه اثر قابل تشخیص، و قانون توقف — یا یک افق ثابت (حداکثر اندازه نمونه) یا یک مرز ترتیبی (قانون از پیش ثبت‌شده مصرف آلفا) را مشخص می‌کند.

2

به هر واریانت یک باور پیشین در مورد عملکرد آن اختصاص داده می‌شود که به صورت یک توزیع احتمال بر روی پیامد مورد انتظار بیان می‌شود (مثلاً یک توزیع بتا برای پیامدهای دوتایی). در رویکردهای UCB فراوانی‌گرا، فواصل اطمینان اولیه گسترده تنظیم می‌شوند تا عدم قطعیت یکسان را منعکس کنند. همه واریانت‌ها با تخصیص برابر یا تقریباً برابر شروع می‌شوند تا کاوش اولیه کافی تضمین شود.

3

در هر دوره تصمیم‌گیری — که ممکن است هر شرکت‌کننده جدید، دسته شرکت‌کنندگان یا واحد زمانی باشد — الگوریتم تطبیقی تعیین می‌کند که چگونه واحد(های) بعدی ترافیک را تخصیص دهد. تحت نمونه‌برداری تامپسون، یک احتمال موفقیت از توزیع پسین فعلی هر واریانت نمونه‌برداری می‌شود و واریانت با بالاترین مقدار نمونه‌برداری شده، واحد بعدی را دریافت می‌کند؛ تحت UCB، واریانت با بالاترین کران بالای اطمینان انتخاب می‌شود. این مرحله به طور مداوم در طول آزمایش تکرار می‌شود.

4

پس از هر مشاهده، پیامد ثبت می‌شود و توزیع باور واریانت انتخاب‌شده به‌روزرسانی می‌شود (به‌روزرسانی پسین بیزی) یا فاصله اطمینان آن مجدداً محاسبه می‌شود (به‌روزرسانی فراوانی‌گرا). باورهای به‌روز شده بلافاصله تصمیم تخصیص بعدی را اطلاع می‌دهند، بنابراین طراحی به تدریج از شواهد انباشته‌شده یاد می‌گیرد.

5

آزمایش زمانی متوقف می‌شود که یک معیار از پیش ثبت‌شده برآورده شود: یا حداکثر اندازه نمونه به دست آید، یا یک مرز ترتیبی عبور کند، یا احتمال پسین اینکه یک واریانت بهترین است از یک آستانه از پیش تعیین‌شده (مثلاً 95%) فراتر رود. قوانین توقف باید قبل از جمع‌آوری داده‌ها اعلام شوند تا تورم خطای نوع اول که از نظارت مداوم ناشی می‌شود، کنترل شود.

6

محقق اندازه اثر تخمین‌زده شده و عدم قطعیت برای هر واریانت، نسبت شرکت‌کنندگان تخصیص‌یافته به هر واریانت، و افزایش کلی معیار نسبت به یک معیار تخصیص ثابت را گزارش می‌کند. اظهارات استنباطی با استفاده از چارچوب قانون توقف از پیش ثبت‌شده (فراوانی‌گرا یا بیزی) انجام می‌شود، نه با استفاده از آزمون‌های t متعارف پایان مطالعه، که تخصیص تطبیقی را در نظر نمی‌گیرند.

دام‌های رایج

  • نگاه کردن بدون قانون توقف — نظارت مداوم بر پیامدها و توقف زمانی که معنی‌داری برای اولین بار بدون یک قانون از پیش ثبت‌شده مصرف آلفا حاصل می‌شود، نرخ خطای نوع اول را به طور قابل توجهی افزایش می‌دهد؛ همیشه معیار توقف را از قبل ثبت کنید.
  • نادیده گرفتن پیامدهای تأخیری — اگر معیار پیامد از درمان عقب بماند (مثلاً حفظ 30 روزه اندازه‌گیری شده برای واریانتی که امروز تخصیص داده شده است)، الگوریتم بر اساس داده‌های ناقص به‌روزرسانی می‌کند و به اشتباه تخصیص می‌دهد؛ از طرح‌هایی استفاده کنید که بازخورد تأخیری را در نظر می‌گیرند یا به یک طرح ثابت تغییر دهید.
  • اعمال تحلیل تخصیص ثابت — گزارش فواصل اطمینان استاندارد یا مقادیر p از آزمون‌های t پایان مطالعه پس از تخصیص تطبیقی، تخمین‌های مغرضانه تولید می‌کند؛ از آزمون‌های ترتیبی نسبت درست‌نمایی، فواصل معتبر پسین، یا برآوردگرهای تصحیح خارج از سیاست استفاده کنید.
  • مشاهدات بسیار کم برای اهمیت تطبیق — با یک نمونه کلی بسیار کوچک، الگوریتم به سختی تخصیص را قبل از پایان آزمایش تغییر می‌دهد؛ در تنظیمات نمونه کوچک، یک طرح تصادفی متعادل کارآمدتر است.
  • اشتباه گرفتن هدف کاوش با هدف استنباط — تخصیص تطبیقی نتایج تجمعی را در طول آزمایش بهینه می‌کند؛ اگر تنها هدف، تخمین دقیق اثر هر واریانت باشد، یک طرح متعادل ثابت خطاهای استاندارد باریک‌تری را فراهم می‌کند.

پرسش‌های متداول

آیا یک آزمون A/B تطبیقی از نظر آماری معتبر است؟

بله، مشروط بر اینکه قانون توقف و روش تحلیل از پیش ثبت شده باشند و با طراحی تطبیقی مطابقت داشته باشند. آزمون‌های t استاندارد و فواصل اطمینان نمونه ثابت پس از تخصیص تطبیقی معتبر نیستند. جایگزین‌های معتبر شامل آزمون‌های ترتیبی مصرف آلفا (مانند مرزهای اوبراین-فلمینگ)، نمونه‌برداری تامپسون با فواصل معتبر بیزی، یا برآوردگرهای تصحیح خارج از سیاست مانند وزن‌دهی معکوس تمایل هستند. نکته کلیدی، تعهد به قانون توقف قبل از شروع جمع‌آوری داده‌ها است.

این چه تفاوتی با یک آزمایش چندبازوی استاندارد دارد؟

یک آزمایش چندبازوی استاندارد، شرکت‌کنندگان را در طول آزمایش به نسبت‌های ثابت (اغلب برابر) به واریانت‌ها تخصیص می‌دهد و تمام داده‌ها را در پایان تحلیل می‌کند. یک آزمون A/B تطبیقی به طور مداوم نسبت‌های تخصیص را در طول آزمایش بر اساس داده‌های پیامد انباشته‌شده به‌روزرسانی می‌کند، بنابراین بازوهای با عملکرد بهتر با گذشت زمان شرکت‌کنندگان بیشتری دریافت می‌کنند. مکانیزم استنباطی باید این تخصیص غیرثابت را در نظر بگیرد، در حالی که تحلیل چندبازوی استاندارد تصادفی‌سازی ثابت را فرض می‌کند.

نمونه‌برداری تامپسون چیست و چرا محبوب است؟

نمونه‌برداری تامپسون یک الگوریتم بیزی است که در هر مرحله تصمیم‌گیری، یک تخمین عملکرد را از توزیع پسین هر واریانت نمونه‌برداری می‌کند و واحد بعدی را به واریانت با بالاترین مقدار نمونه‌برداری شده اختصاص می‌دهد. این الگوریتم محبوب است زیرا پیاده‌سازی آن ساده است، به طور طبیعی بین کاوش و بهره‌برداری تعادل برقرار می‌کند و از نظر نظری و تجربی نشان داده شده است که به نتایج تجمعی تقریباً بهینه دست می‌یابد. برای پیامدهای دوتایی از توزیع‌های بتا مزدوج استفاده می‌کند، که به‌روزرسانی پسین را به یک محاسبه یک خطی تبدیل می‌کند.

چه زمانی باید به یک آزمون A/B کلاسیک با تخصیص ثابت پایبند باشم؟

در موارد زیر از یک طراحی ثابت استفاده کنید: پیامدها به طور قابل توجهی با تأخیر همراه هستند (تأخیر بازخورد از فاصله بین تصمیم‌گیری بیشتر است)؛ نمونه کوچک است و الگوریتم نمی‌تواند به طور معنی‌داری تطبیق یابد؛ الزامات نظارتی تخصیص متعادل را اجباری می‌کنند (مثلاً برخی از کارآزمایی‌های بالینی فاز III)؛ یا تنها هدف، تخمین دقیق اثر است نه به حداکثر رساندن پیامدها در طول آزمایش. در این شرایط، یک طراحی کنترل‌شده تصادفی متعادل، استنباط پاک‌تری با تحلیل ساده‌تر ارائه می‌دهد.

آیا آزمون A/B تطبیقی می‌تواند برای بیش از دو واریانت استفاده شود؟

بله. چارچوب چندبازو به طور طبیعی به هر تعداد بازو (واریانت) گسترش می‌یابد. با واریانت‌های زیاد، تخصیص تطبیقی به ویژه ارزشمند است زیرا تخصیص برابر ثابت در یک تنظیم چندبازو، نمونه را در بین بازوهای با عملکرد ضعیف بسیار رقیق می‌کند. الگوریتم‌هایی مانند نمونه‌برداری تامپسون، UCB و رد متوالی مستقیماً به تنظیمات چندبازو مقیاس‌پذیر هستند.

روش‌های مرتبط

منابع

  1. Russo, D., Van Roy, B., Kazerouni, A., Osband, I., & Wen, Z. (2018). A Tutorial on Thompson Sampling. Foundations and Trends in Machine Learning, 11(1), 1–96.

    باز کردن مرجع DOI
    کپی شد.
  2. Offer-Westort, M., Coppock, A., & Green, D. P. (2021). Adaptive Experimental Design: Prospects and Applications in Political Science. American Journal of Political Science, 65(4), 826–844.

    باز کردن مرجع DOI
    کپی شد.