آزمون A/B مسدود شده — آزمون تقسیم تصادفی مسدود شده
- معرفیشده توسط
- R. A. Fisher (blocking principle); adapted to online A/B testing by industry practitioners
- سال
- 1926 (blocking principle); 2000s–2010s (online A/B testing application)
- نوع
- Randomized controlled experiment with variance reduction
- خانواده
- Experimental design
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
آزمون A/B مسدود شده، طرح آزمایشی است که واحدها (کاربران، آزمودنیها، یا خوشهها) را پیش از تخصیص تصادفی آنها به تیمار A یا تیمار B در هر بلوک، به بلوکهای همگن تقسیم میکند. مسدودسازی با اطمینان از اینکه منابع شناختهشده تغییرپذیری — مانند نوع دستگاه، جغرافیا، یا سابقه کاربری — در شرایط متعادل شدهاند، نویز درونآزمایشی را کاهش میدهد و تخمینهای دقیقتری از اثر تیمار نسبت به یک آزمون A/B ساده و بدون مسدودسازی ارائه میدهد.
شهود پشت روش
آزمون رنگ جدید دکمه پرداخت در یک سایت تجارت الکترونیک را تصور کنید. نرخ خرید بین کاربران موبایل و دسکتاپ به شدت متفاوت است، بنابراین یک تقسیم تصادفی ساده ممکن است به طور تصادفی به یک متغیر کاربران موبایل بیشتری بدهد. مسدودسازی این مشکل را حل میکند: ابتدا همه کاربران را به بلوکهای موبایل و دسکتاپ تقسیم کنید، سپس در هر بلوک یک سکه منصفانه بیندازید تا A یا B را تخصیص دهید. اکنون هر دو متغیر سهم متناسب برابر از کاربران موبایل و دسکتاپ را مشاهده میکنند. مقایسه تیمار در داخل بلوکها انجام میشود، بنابراین تغییرپذیری ناشی از دستگاه از جمله خطای آماری حذف میشود و آزمایش به اثر واقعی رنگ دکمه حساستر میشود.
تاریخ
اصل مسدودسازی در طراحی آزمایش توسط R. A. Fisher در مقاله سال ۱۹۲۶ خود در مورد چیدمان آزمایشهای میدانی رسمی شد و در کتاب سال ۱۹۳۵ او «طراحی آزمایشها» بیشتر توسعه یافت. فیشر مسدودسازی را به عنوان راهی برای جداسازی و حذف منابع شناخته شده ناهمگنی معرفی کرد و در نتیجه دقت مقایسههای تیمار را بهبود بخشید. این رویکرد متعاقباً در طرح بلوک کامل تصادفی (RCBD) تدوین شد. در دهههای ۲۰۰۰ و ۲۰۱۰، شرکتهای فناوری، مسدودسازی را برای آزمایشهای A/B در مقیاس بزرگ آنلاین تطبیق دادند و از ویژگیهای کاربر مانند نوع دستگاه یا سن حساب به عنوان متغیرهای مسدودسازی برای دستیابی به تخمینهای علّی قابل اعتمادتر از آزمایشهای وب استفاده کردند.
چه زمانی استفاده شود
هنگامی از آزمون A/B مسدود شده استفاده کنید که از قبل میدانید یک کوواریت (نوع دستگاه، بخش کاربر، منطقه جغرافیایی، دوره زمانی) با معیار اصلی شما همبستگی دارد و میخواهید از عدم تعادل در آن کوواریت برای افزایش تخمین خطای خود جلوگیری کنید. این روش به ویژه زمانی ارزشمند است که حجم نمونه متوسط باشد و نتوانید واریانس ناشی از تصادفیسازی ساده را تحمل کنید. زمانی که کوواریتهای پیشبینیکننده معنیداری ندارید، از مسدودسازی استفاده نکنید — سربار آن غیرضروری است و محدودیتهای اندازه بلوک میتواند توان را کاهش دهد. از آن زمانی که متغیر مسدودسازی بیش از حد ریزدانه است و بلوکهایی با حداقل چند واحد در هر شرط ایجاد نمیکند، یا زمانی که عضویت در بلوک قبل از تخصیص قابل تعیین نیست، اجتناب کنید.
محدودیتها و ملاحظات
- نیاز به شناسایی پیش از موعد متغیرهای مسدودسازی دارد؛ متغیرهایی که قبل از تخصیص شناخته نشده یا اندازهگیری نشدهاند را نمیتوان برای مسدودسازی استفاده کرد.
- اندازههای بلوک بسیار کوچک (به عنوان مثال، فقط ۲-۴ واحد در هر بلوک) قابلیت اطمینان تصادفیسازی درون بلوکی را کاهش میدهد و میتواند به جای کمک، به توان آسیب برساند.
- تجزیه و تحلیل پیچیدهتر از یک آزمون t ساده دو نمونهای است؛ ساختار بلوک باید به درستی در مدل آماری گنجانده شود.
- مسدودسازی بر روی متغیر اشتباه (متغیری که با نتیجه همبستگی ندارد) هیچ کاهش واریانسی ارائه نمیدهد و سربار تحلیلی اضافه میکند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- واریانس خطای آزمایشی قابل انتساب به کوواریتهای پیشبینیکننده شناخته شده را کاهش میدهد و توان آماری را بدون افزایش حجم نمونه افزایش میدهد.
- در برابر عدم تعادل کوواریت تصادفی که میتواند تخمین اثر تیمار را در نمونههای محدود مغرضانه کند، محافظت میکند.
- تخمینهای بلوک میتوانند خود بینشهای مفیدی در مورد اثرات تیمار ناهمگن در بخشهای مختلف ارائه دهند.
- به طور گسترده در بستههای آماری استاندارد پشتیبانی میشود (ANOVA، رگرسیون با شاخصها، مدلهای ترکیبی).
- مستقیماً معادل طرح بلوک طلایی استاندارد مورد استفاده در تحقیقات بالینی و کشاورزی است و به رویکرد اعتبار روششناختی قوی میبخشد.
کاربردها
- آزمایشهای محصول آنلاین با مسدودسازی بر اساس نوع دستگاه (موبایل در مقابل دسکتاپ) یا پلتفرم برای مقایسه متغیرهای رابط کاربری.
- مطالعات پایلوت بالینی با مسدودسازی بر اساس سایت بالینی یا شدت پایه برای مقایسه دو پروتکل درمانی.
- آزمایشهای فناوری آموزشی با مسدودسازی بر اساس مدرسه یا سطح پایه برای ارزیابی تأثیر ابزار یادگیری جدید.
- آزمونهای ایمیل بازاریابی با مسدودسازی بر اساس مرحله چرخه عمر مشتری برای اندازهگیری تأثیر متغیرهای خط موضوع بر نرخ باز شدن.
- مطالعات کشاورزی و محیطی با مسدودسازی بر اساس مکان مزرعه یا نوع خاک برای مقایسه انواع محصولات یا مداخلات.
چگونه کار میکند
چگونه کار میکند
فرضیه را مشخص کنید (به عنوان مثال، متغیر B نرخ تبدیل را افزایش میدهد)، معیار اصلی را انتخاب کنید و متغیرهای مسدودسازی را شناسایی کنید — ویژگیهایی که شناخته شده یا مشکوک به تأثیرگذاری بر نتیجه هستند. متغیرهای مسدودسازی خوب، قابل اندازهگیری پیش از تخصیص تیمار، همبسته با نتیجه، و ناشی از خود تیمار نیستند.
تمام واحدهای واجد شرایط را بر اساس متغیرهای مسدودسازی انتخاب شده به بلوکهای مجزا و جامع تقسیم کنید. هر بلوک واحدهایی را که در آن متغیرها تا حد امکان شبیه به هم هستند، گروهبندی میکند. تعداد بلوکها باید قابل مدیریت باشد؛ مسدودسازی بسیار ریزدانه میتواند توان آماری را کاهش دهد اگر اندازه بلوکها خیلی کوچک شود.
در هر بلوک، واحدها را با احتمال برابر (یا از پیش تعیین شده) به شرط A (کنترل) یا شرط B (تیمار) به طور تصادفی تخصیص دهید. این تصادفیسازی درون بلوکی، گام اصلی است که طرح را هم منصفانه و هم از نظر تحلیلی قابل ردیابی میکند. عضویت در بلوک را برای هر واحد قبل از شروع مواجهه ثبت کنید.
متغیر تخصیص یافته را برای هر واحد در طول دوره کامل آزمایش ارائه دهید. جداسازی بین شرایط را برای جلوگیری از آلودگی حفظ کنید. دادههای نتیجه را همراه با شناسههای بلوک جمعآوری کنید تا ساختار بلوک تا مرحله تجزیه و تحلیل حفظ شود.
نتایج را با استفاده از مدلی که بلوکها را در نظر میگیرد تجزیه و تحلیل کنید — معمولاً یک ANOVA دو طرفه یا یک رگرسیون با شاخصهای بلوک به عنوان کوواریت، یا معادل مقایسه زوجی اگر بلوکها دقیقاً یک واحد در هر شرط داشته باشند. جملات بلوک، واریانس قابل انتساب به متغیر مسدودسازی را جذب میکنند و تخمین تمیزتری از اثر تیمار و بازه اطمینان تنگتر باقی میگذارند.
دامهای رایج
- نادیده گرفتن ساختار بلوک در زمان تجزیه و تحلیل — اجرای یک آزمون t معمولی بدون شاخصهای بلوک، کاهش واریانس مورد نظر مسدودسازی را از بین میبرد و میتواند مقدار p را افزایش دهد.
- مسدودسازی پس از مشاهده نتایج، سوگیری ایجاد میکند و یک طرح مسدود شده معتبر نیست.
- مسدودسازی بیش از حد با متغیرهای مسدودسازی زیاد، اندازههای بلوک کوچک و غیرعملی ایجاد میکند و میتواند مزایای آماری طرح را از بین ببرد.
- اشتباه گرفتن مسدودسازی با نمونهگیری طبقهبندی شده — مسدودسازی یک مکانیزم تخصیص است که بر روی جمعیت ثابت واحدهای آزمایشی اعمال میشود، نه یک استراتژی نمونهگیری.
پرسشهای متداول
تفاوت بین آزمون A/B مسدود شده و آزمون A/B طبقهبندی شده چیست؟
این اصطلاحات اغلب در محیطهای کاربردی به جای یکدیگر استفاده میشوند. به طور دقیق، مسدودسازی یک مفهوم طراحی (تخصیص واحدها در درون گروهها) است در حالی که طبقهبندی میتواند به طراحی یا تجزیه و تحلیل (وزندهی مجدد پس از مشاهده نتایج) اشاره کند. در یک آزمون A/B مسدود شده، تصادفیسازی قبل از مواجهه به طور جداگانه در هر بلوک اتفاق میافتد. در تجزیه و تحلیل طبقهبندی شده، ممکن است بدون مسدودسازی تصادفی کرده باشید اما پس از مشاهده نتایج بر اساس طبقه وزندهی یا تنظیم کنید. مسدودسازی در زمان طراحی به طور کلی قدرتمندتر از طبقهبندی در زمان تجزیه و تحلیل است.
چگونه متغیرهایی را برای مسدودسازی انتخاب کنم؟
متغیرهایی را مسدود کنید که (۱) بتوانید قبل از تخصیص تیمار اندازهگیری کنید، (۲) انتظار میرود با معیار نتیجه اصلی همبستگی داشته باشند، و (۳) خودشان ناشی از تیمار نباشند. انتخابهای رایج در آزمایشهای آنلاین شامل نوع دستگاه، گروه سنی کاربران، و منطقه جغرافیایی است. از مسدودسازی بر روی متغیرهایی با دستهبندیهای زیاد اجتناب کنید مگر اینکه نمونه شما به اندازه کافی بزرگ باشد تا اندازههای بلوک کافی حفظ شود.
آیا مسدودسازی نیاز به حجم نمونه را تغییر میدهد؟
مسدودسازی میتواند حجم نمونه مورد نیاز برای دستیابی به سطح توان معین را کاهش دهد، زیرا واریانس قابل انتساب به متغیر مسدودسازی را از جمله خطای آماری حذف میکند. افزایش بهرهوری به شدت همبستگی متغیر مسدودسازی با نتیجه بستگی دارد. اگر همبستگی کم باشد، مسدودسازی مزایای کمی دارد و یک آزمون A/B ساده ممکن است به منابع تحلیلی کمتری نیاز داشته باشد.
آیا میتوانم از طرح مسدود شده با بیش از دو متغیر استفاده کنم؟
بله. هنگامی که بیش از دو شرط وجود دارد، طرح به عنوان یک آزمایش چند بازوی مسدود شده یا یک طرح بلوک کامل تصادفی با چندین تیمار شناخته میشود. واحدها در هر بلوک به طور تصادفی به یکی از k شرط تخصیص مییابند. تجزیه و تحلیل به ANOVA یا رگرسیون با شاخصهای بلوک و تیمار، و سپس مقایسههای برنامهریزی شده یا پس از مشاهده نتایج تعمیم مییابد.
اگر فراموش کنم شاخصهای بلوک را در تجزیه و تحلیل خود بگنجانم چه اتفاقی میافتد؟
حذف شاخصهای بلوک به این معنی است که کاهش واریانس ناشی از مسدودسازی از دست میرود. بدتر از آن، اگر اندازههای بلوک نابرابر باشند، تخمین ساده ممکن است مغرضانه باشد. همیشه اثرات ثابت بلوک (یا جمله اثر تصادفی) را در مدل آماری بگنجانید تا طرح مسدود شده را رعایت کرده و مزایای بهرهوری را بازیابی کنید.
روشهای مرتبط
منابع
Fisher, R. A. (1926). The arrangement of field experiments. Journal of the Ministry of Agriculture of Great Britain, 33, 503–513.
باز کردن مرجع انتشارکپی شد.Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
شابک: 9781108724265کپی شد.