Skip to content
Назад к результатам поиска

Блокированный A/B-тест — Разделенный тест с блокировкой

Автор метода
R. A. Fisher (blocking principle); adapted to online A/B testing by industry practitioners
Год
1926 (blocking principle); 2000s–2010s (online A/B testing application)
Тип
Randomized controlled experiment with variance reduction
Семейство
Experimental design

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Блокированный A/B-тест — это экспериментальный дизайн, который разделяет единицы наблюдения (пользователей, испытуемых или кластеры) на однородные блоки перед случайным назначением их к условию A или условию B в пределах каждого блока.

Блокирование снижает внутриэкспериментальный шум, обеспечивая балансировку известных источников вариативности — таких как тип устройства, география или стаж пользователя — между условиями, что приводит к более точным оценкам эффекта воздействия по сравнению с простым A/B-тестом без блокировки.

Интуиция метода

Представьте, что вы тестируете новый цвет кнопки оформления заказа на сайте электронной коммерции. Коэффициенты конверсии заметно различаются между пользователями мобильных и настольных устройств, поэтому наивное случайное разделение может случайно назначить одному варианту больше пользователей мобильных устройств. Блокирование решает эту проблему: сначала разделите всех пользователей на блоки мобильных и настольных устройств, затем подбросьте честную монету в пределах каждого блока, чтобы назначить A или B. Теперь оба варианта увидят пропорционально равные доли пользователей мобильных и настольных устройств. Сравнение воздействий проводится в пределах блоков, поэтому вариативность, обусловленная устройством, исключается из члена ошибки, что делает эксперимент более чувствительным к реальному эффекту цвета кнопки.

История

Принцип блокирования в экспериментальном дизайне был формализован Р. А. Фишером в его статье 1926 года об организации полевых экспериментов и далее развит в его книге 1935 года «Дизайн экспериментов». Фишер ввел блокирование как способ изоляции и устранения известных источников неоднородности, тем самым повышая точность сравнения воздействий. Этот подход был впоследствии кодифицирован в рандомизированном полном блочном дизайне (RCBD). В 2000-х и 2010-х годах технологические компании адаптировали блокирование для крупномасштабного онлайн-A/B-тестирования, используя атрибуты пользователей, такие как тип устройства или возраст учетной записи, в качестве переменных блокирования для получения более надежных причинно-следственных оценок из веб-экспериментов.

Когда применять

Используйте блокированный A/B-тест, когда вы заранее знаете, что ковариата (тип устройства, сегмент пользователя, географический регион, временной период) коррелирует с вашей основной метрикой, и вы хотите предотвратить влияние дисбаланса этой ковариаты на оценку ошибки. Это особенно ценно, когда размеры выборки умеренные, и вы не можете позволить себе вариативность, которую оставила бы простая рандомизация. Не используйте блокирование, когда у вас нет значимых прогностических ковариат — накладные расходы излишни, а ограничения размера блока могут снизить мощность. Избегайте его, когда переменную блокирования слишком сложно разделить, чтобы получить блоки с как минимум несколькими единицами наблюдения на условие, или когда принадлежность к блоку не может быть определена до назначения.

Ограничения и замечания

  • Требует предварительного определения переменных блокирования; переменные, которые не известны или не измерены до назначения воздействия, не могут быть использованы для блокирования.
  • Очень малые размеры блоков (например, всего 2–4 единицы наблюдения на блок) снижают надежность внутриблочной рандомизации и могут скорее навредить мощности, чем помочь ей.
  • Анализ сложнее, чем простой двухвыборочный t-критерий; структура блоков должна быть корректно включена в статистическую модель.
  • Блокирование по неправильной переменной (не коррелирующей с результатом) не дает снижения дисперсии и добавляет аналитические накладные расходы.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Снижает дисперсию экспериментальной ошибки, относящуюся к известным прогностическим ковариатам, увеличивая статистическую мощность без увеличения размера выборки.
  • Защищает от случайного дисбаланса ковариат, который мог бы исказить оценки эффекта воздействия в конечных выборках.
  • Оценки блоков сами по себе могут дать полезное представление о гетерогенных эффектах воздействия между сегментами.
  • Широко поддерживается стандартными статистическими пакетами (ANOVA, регрессия с индикаторами, смешанные модели).
  • Прямо аналогичен золотому стандарту блочного дизайна, используемого в клинических и сельскохозяйственных исследованиях, что придает подходу сильную методологическую достоверность.

Применение

  • Онлайн-эксперименты по продуктам с блокированием по типу устройства (мобильное против настольного) или платформе для сравнения вариантов пользовательского интерфейса.
  • Клинические пилотные исследования с блокированием по клиническому центру или исходной степени тяжести для сравнения двух протоколов лечения.
  • Эксперименты в области образовательных технологий с блокированием по школе или классу для оценки влияния нового учебного инструмента.
  • Тесты маркетинговых электронных писем с блокированием по этапу жизненного цикла клиента для измерения влияния вариантов темы письма на коэффициенты открытия.
  • Сельскохозяйственные и экологические исследования с блокированием по местоположению поля или типу почвы для сравнения сортов или методов воздействия на урожай.

Как это работает

Как это работает

1

Сформулируйте гипотезу (например, вариант B увеличивает коэффициент конверсии), выберите основную метрику и определите переменные блокирования — характеристики, которые, как известно или предполагается, влияют на результат. Хорошие переменные блокирования измеримы до назначения воздействия, коррелируют с результатом и не вызваны самим воздействием.

2

Разделите все подходящие единицы наблюдения на взаимоисключающие, исчерпывающие блоки на основе выбранных переменных блокирования. Каждый блок группирует единицы наблюдения, максимально схожие по этим переменным. Количество блоков следует поддерживать управляемым; слишком мелкое блокирование может снизить статистическую мощность, если размеры блоков станут слишком малыми.

3

В пределах каждого блока случайным образом назначьте единицы наблюдения к условию A (контроль) или условию B (воздействие) с равной (или заранее заданной) вероятностью. Эта внутриблочная рандомизация является ключевым шагом, который делает дизайн как справедливым, так и аналитически отслеживаемым. Зафиксируйте принадлежность к блоку для каждой единицы наблюдения до начала воздействия.

4

Предоставьте назначенное условие каждой единице наблюдения на весь экспериментальный период. Поддерживайте разделение между условиями, чтобы предотвратить загрязнение. Собирайте данные о результатах вместе с идентификаторами блоков, чтобы структура блоков сохранялась до этапа анализа.

5

Анализируйте результаты с использованием модели, учитывающей блоки — обычно это двухфакторный дисперсионный анализ (ANOVA) или регрессия с индикаторами блоков в качестве ковариат, либо эквивалент парного сравнения, если блоки содержат ровно одну единицу наблюдения на условие. Блочные члены поглощают вариативность, относящуюся к переменной блокирования, оставляя более чистую оценку эффекта воздействия и более узкий доверительный интервал.

Частые ошибки

  • Игнорирование структуры блоков при анализе — проведение обычного t-критерия без индикаторов блоков — приводит к потере снижения дисперсии, которое должно было обеспечить блокирование, и может увеличить p-значение.
  • Постфактумное блокирование — определение блоков после получения результатов — вносит смещение и не является валидным блокированным дизайном.
  • Чрезмерное блокирование с использованием слишком большого количества переменных блокирования приводит к крошечным, непрактичным размерам блоков и может свести на нет статистические преимущества дизайна.
  • Путаница блокирования со стратифицированной выборкой — блокирование является механизмом назначения, применяемым к фиксированной совокупности экспериментальных единиц, а не стратегией выборки.

Часто задаваемые вопросы

В чем разница между блокированным A/B-тестом и стратифицированным A/B-тестом?

Термины часто используются взаимозаменяемо в прикладных условиях. Строго говоря, блокирование — это концепция дизайна (назначение единиц наблюдения внутри групп), тогда как стратификация может относиться как к дизайну, так и к анализу (постфактумное перевзвешивание). В блокированном A/B-тесте рандомизация происходит отдельно в каждом блоке до воздействия. При стратифицированном анализе вы могли рандомизировать без блокирования, но перевзвесить или скорректировать постфактум по стратам. Блокирование на этапе дизайна, как правило, мощнее стратификации на этапе анализа.

Как выбрать переменные для блокирования?

Блокируйте по переменным, которые (1) вы можете измерить до назначения воздействия, (2) предположительно коррелируют с основной метрикой результата и (3) не вызваны самим воздействием. Распространенные варианты в онлайн-экспериментах включают тип устройства, когорту стажа пользователя и географический регион. Избегайте блокирования по переменным с большим количеством категорий, если только ваша выборка не достаточно велика для поддержания адекватных размеров блоков.

Изменяет ли блокирование требования к размеру выборки?

Блокирование может уменьшить размер выборки, необходимый для достижения заданной мощности, поскольку оно исключает из члена ошибки дисперсию, относящуюся к переменной блокирования. Прирост эффективности зависит от того, насколько сильно переменная блокирования коррелирует с результатом. Если корреляция низкая, блокирование дает небольшую выгоду, а простой A/B-тест может потребовать меньше аналитических ресурсов.

Можно ли использовать дизайн с блокированием для более чем двух вариантов?

Да. Когда существует более двух условий, дизайн называется блокированным многофакторным экспериментом или рандомизированным полным блочным дизайном с несколькими воздействиями. Единицы наблюдения в каждом блоке случайным образом назначаются к одному из k условий. Анализ обобщается до ANOVA или регрессии с индикаторами блоков и воздействий, за которыми следуют запланированные или постфактумные сравнения.

Что произойдет, если я забуду включить индикаторы блоков в свой анализ?

Пропуск индикаторов блоков означает потерю снижения дисперсии от блокирования. Хуже того, если размеры блоков неравны, наивная оценка может быть смещенной. Всегда включайте фиксированные эффекты блоков (или член случайных эффектов) в статистическую модель, чтобы учесть блокированный дизайн и восстановить прирост эффективности.

Похожие методы

Источники

  1. Fisher, R. A. (1926). The arrangement of field experiments. Journal of the Ministry of Agriculture of Great Britain, 33, 503–513.

    Открыть ссылку на публикацию
    Скопировано.
  2. Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.

    ISBN: 9781108724265
    Скопировано.