Skip to content
Назад к результатам поиска

Адаптивный A/B-тест — Адаптивное A/B-тестирование

Автор метода
Herbert Robbins (bandit framework); Thompson Sampling formalized by William R. Thompson
Год
1952 (Robbins); applied to A/B testing from ~2010s onward
Тип
Adaptive experimental design
Семейство
Experimental design

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Адаптивный A/B-тест — это экспериментальный дизайн, который динамически перераспределяет трафик или участников в пользу лучших вариантов в ходе самого эксперимента, вместо того чтобы фиксировать распределение до конца.

Используя алгоритмы многоруких бандитов, такие как выборка Томпсона или верхняя доверительная граница (UCB), он балансирует исследование неопределенных вариантов с использованием тех, которые уже демонстрируют превосходную производительность, обычно приводя к более высоким совокупным результатам, при этом все еще давая действительные выводы.

Интуиция метода

В классическом A/B-тесте вы разделяете посетителей 50/50 между двумя версиями и ждете до конца, чтобы объявить победителя — тем временем половина трафика продолжает попадать на худший вариант. Адаптивный A/B-тест работает больше как обучающаяся система: он начинается примерно с равного распределения, но по мере накопления свидетельств того, что вариант B превосходит вариант A, он постепенно перенаправляет больше трафика на B. Эксперимент продолжает собирать данные для статистического вывода, но стоимость использования худшего варианта активно минимизируется в реальном времени. Аналогия — игрок в игровые автоматы, который отслеживает, какие машины приносят больше выгоды, и соответствующим образом меняет свою игру, при этом продолжая пробовать все машины достаточно, чтобы оставаться уверенным в сравнении.

История

Теоретическая основа адаптивного A/B-тестирования лежит в проблеме многорукого бандита, впервые формализованной Гербертом Роббинсом в 1952 году. Уильям Р. Томпсон ранее предложил байесовскую стратегию выборки для клинических испытаний в 1933 году, позже названную выборкой Томпсона, которая стала одним из наиболее широко применяемых алгоритмов. Академический интерес к рандомизации с адаптацией к ответу в клинических испытаниях рос в 1970-х–1990-х годах. Применение алгоритмов бандитов к онлайн-A/B-тестированию в масштабах интернета стало популярным примерно с 2010 года, чему способствовали технологические компании, стремящиеся сократить издержки упущенных возможностей во время экспериментов, и исследователи, связывающие методы бандитов с фреймворками причинно-следственного вывода.

Когда применять

Адаптивное A/B-тестирование наиболее ценно, когда (1) воздействие худшего варианта несет значительные затраты — в здравоохранении, цифровых продуктах с высоким трафиком или ограниченных по времени кампаниях; (2) эксперимент длится достаточно долго, чтобы алгоритм распределения мог существенно измениться (обычно сотни или тысячи наблюдений); и (3) исходы наблюдаются быстро по сравнению с продолжительностью эксперимента. Оно также хорошо подходит, когда одновременно тестируется несколько вариантов (многорукая установка) и когда цель состоит в максимизации совокупных результатов во время испытания, а не только после него. Не используйте адаптивное A/B-тестирование, когда: исход отложен по сравнению с эпохой принятия решений (отложенная обратная связь делает обновления ненадежными); требуется интерпретируемость коэффициентов распределения для регуляторного надзора (например, в некоторых контекстах клинических испытаний); размер выборки очень мал (менее ~200 общих наблюдений), поскольку у алгоритма недостаточно данных для значимой адаптации; или когда простого сбалансированного дизайна достаточно, и операционная сложность не оправдана.

Ограничения и замечания

  • Требует почти реального времени или низколатентного наблюдения за исходами; отложенная обратная связь (например, исходы, измеренные через недели после лечения) нарушает цикл обновления и подрывает адаптацию.
  • Статистический вывод сложнее, чем в дизайнах с фиксированным распределением — стандартные t-тесты недействительны; требуются специализированные последовательные или байесовские процедуры тестирования.
  • Адаптивное распределение может создавать несбалансированные группы, что снижает мощность для обнаружения малых эффектов и усложняет анализ подгрупп.
  • Реализация требует технической инфраструктуры для сбора данных в реальном времени, обновления апостериорных распределений и маршрутизации трафика — не всегда доступно на стандартных платформах опросов или лабораторных исследований.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Уменьшает совокупное воздействие худших вариантов по сравнению с фиксированным равным распределением, что важно, когда метрика исхода морально или коммерчески значима.
  • Хорошо подходит для многоруких установок, где одновременно тестируется множество вариантов, а фиксированное распределение разделило бы выборку слишком тонко.
  • Дает действительный статистический вывод при сочетании с заранее зарегистрированными правилами остановки, несмотря на нефиксированное распределение.
  • Естественно интегрируется с байесовским обновлением, позволяя прозрачно количественно оценить неопределенность и доказательства в любой точке испытания.
  • Гибко к контексту — применимо в онлайн-экспериментах, клинических испытаниях (рандомизация с адаптацией к ответу) и поведенческих полевых экспериментах.

Применение

  • Онлайн-экспериментирование с продуктами — направление веб-трафика к вариантам веб-страниц с более высокой конверсией во время теста для минимизации потерь дохода от худших дизайнов.
  • Цифровые медицинские вмешательства — адаптивное распределение пациентов по более эффективным группам лечения в удаленных или основанных на приложениях клинических испытаниях.
  • Кампании по электронной почте и push-уведомлениям — динамическое перенаправление доставки сообщений к строкам темы или вариантам контента с более высокими показателями открытия или кликов.
  • Образовательные технологии — назначение студентов более эффективным учебным вариантам в реальном времени на основе сигналов об учебных результатах.
  • Системы ценообразования и рекомендаций — тестирование различных уровней цен или рекомендательных алгоритмов при направлении пользователей к лучшим вариантам во время тестового периода.

Как это работает

Как это работает

1

Исследователь определяет сравниваемые варианты (обычно две или более версии веб-страницы, сообщения, лечения или продукта), основную метрику исхода (например, коэффициент конверсии, кликабельность, завершение задачи), минимальный обнаружимый размер эффекта и правило остановки — либо фиксированный горизонт (максимальный размер выборки), либо последовательную границу (предварительно зарегистрированное правило расходования альфа).

2

Каждому варианту назначается априорное убеждение о его производительности, выраженное в виде распределения вероятностей ожидаемого исхода (например, распределение Бета для бинарных исходов). В частотных подходах UCB начальные доверительные интервалы устанавливаются широко, чтобы отразить равную неопределенность. Все варианты начинают с равным или почти равным распределением, чтобы обеспечить достаточное раннее исследование.

3

На каждом этапе принятия решений — который может быть для каждого нового участника, группы участников или единицы времени — адаптивный алгоритм определяет, как распределить следующую(ие) единицу(ы) трафика. При выборке Томпсона вероятность успеха выбирается из текущего апостериорного распределения каждого варианта, и вариант с наивысшим выборочным значением получает следующую единицу; при UCB выбирается вариант с наивысшей верхней доверительной границей. Этот шаг повторяется непрерывно на протяжении всего эксперимента.

4

После каждого наблюдения регистрируется исход, и распределение убеждений выбранного варианта обновляется (байесовское апостериорное обновление) или пересчитывается его доверительный интервал (частотное обновление). Обновленные убеждения немедленно влияют на следующее решение о распределении, поэтому дизайн инкрементально обучается на основе накапливающихся свидетельств.

5

Эксперимент останавливается при выполнении заранее зарегистрированного критерия: либо достигнут максимальный размер выборки, либо пересечена последовательная граница, либо апостериорная вероятность того, что один вариант является лучшим, превышает заранее заданный порог (например, 95%). Правила остановки должны быть объявлены до сбора данных, чтобы контролировать инфляцию ошибки I рода, возникающую при непрерывном мониторинге.

6

Исследователь сообщает оцененный размер эффекта и неопределенность для каждого варианта, долю участников, распределенных по каждому варианту, и общий прирост метрики по сравнению с контрольным показателем с фиксированным распределением. Выводы делаются с использованием заранее зарегистрированной структуры правила остановки (частотной или байесовской), а не обычных t-тестов по окончании исследования, которые не учитывают адаптивное распределение.

Частые ошибки

  • Подглядывание без правила остановки — непрерывный мониторинг исходов и остановка при первом достижении значимости без заранее зарегистрированного правила расходования альфа значительно увеличивает уровень ошибки I рода; всегда регистрируйте критерий остановки заранее.
  • Игнорирование отложенных исходов — если метрика исхода отстает от лечения (например, 30-дневная удержание, измеренное для варианта, назначенного сегодня), алгоритм обновляется на неполных данных и неправильно распределяет; используйте дизайны, учитывающие отложенную обратную связь, или переключитесь на фиксированный дизайн.
  • Применение анализа с фиксированным распределением — представление стандартных доверительных интервалов или p-значений t-тестов по окончании исследования после адаптивного распределения дает смещенные оценки; используйте последовательные тесты отношения правдоподобия, апостериорные доверительные интервалы или оценщики коррекции вне политики.
  • Слишком мало наблюдений для значимой адаптации — при очень малой общей выборке алгоритм едва ли меняет распределение до конца эксперимента; в условиях малой выборки сбалансированный рандомизированный дизайн более эффективен.
  • Смешение цели исследования с целью вывода — адаптивное распределение оптимизирует совокупные результаты во время испытания; если единственная цель — точная оценка эффекта каждого варианта, фиксированный сбалансированный дизайн обеспечивает более узкие стандартные ошибки.

Часто задаваемые вопросы

Является ли адаптивный A/B-тест статистически обоснованным?

Да, при условии, что правило остановки и метод анализа предварительно зарегистрированы и соответствуют адаптивному дизайну. Стандартные t-тесты и доверительные интервалы фиксированной выборки недействительны после адаптивного распределения. Действительные альтернативы включают последовательные тесты с расходованием альфа (например, границы О'Брайена-Флеминга), выборку Томпсона с байесовскими доверительными интервалами или оценщики коррекции вне политики, такие как взвешивание по обратной вероятности. Ключевая дисциплина — приверженность правилу остановки до начала сбора данных.

Чем это отличается от стандартного многорукого эксперимента?

Стандартный многорукий эксперимент назначает участников к вариантам в фиксированных пропорциях (часто равных) на протяжении всего испытания и анализирует все данные в конце. Адаптивный A/B-тест непрерывно обновляет коэффициенты распределения во время испытания на основе накапливающихся данных о результатах, поэтому лучшие варианты получают больше участников со временем. Инференциальный аппарат должен учитывать это нефиксированное распределение, тогда как стандартный многорукий анализ предполагает фиксированную рандомизацию.

Что такое выборка Томпсона и почему она популярна?

Выборка Томпсона — это байесовский алгоритм, который на каждом шаге принятия решений выбирает оценку производительности из апостериорного распределения каждого варианта и назначает следующую единицу варианту с наивысшим выборочным значением. Она популярна, потому что ее просто реализовать, она естественным образом балансирует исследование и использование, и было доказано теоретически и эмпирически, что она достигает почти оптимальных совокупных результатов. Для бинарных исходов она использует сопряженные распределения Бета, что делает апостериорное обновление однострочным вычислением.

Когда мне следует придерживаться классического A/B-теста с фиксированным распределением?

Используйте фиксированный дизайн, когда: исходы существенно отложены (задержка обратной связи превышает интервал между решениями); выборка мала, и алгоритм не может значимо адаптироваться; регуляторные требования предписывают сбалансированное распределение (например, некоторые клинические испытания Фазы III); или единственная цель — точная оценка эффекта, а не максимизация результатов во время испытания. В этих ситуациях сбалансированный рандомизированный контролируемый дизайн обеспечивает более чистый вывод с более простым анализом.

Можно ли использовать адаптивное A/B-тестирование для более чем двух вариантов?

Да. Фреймворк многорукого бандита естественным образом расширяется на любое количество рук (вариантов). При большом количестве вариантов адаптивное распределение особенно ценно, поскольку фиксированное равное распределение в многорукой установке слишком сильно разбрасывает выборку по плохо работающим вариантам. Алгоритмы, такие как выборка Томпсона, UCB и Successive Rejects, масштабируются напрямую до многоруких установок.

Похожие методы

Источники

  1. Russo, D., Van Roy, B., Kazerouni, A., Osband, I., & Wen, Z. (2018). A Tutorial on Thompson Sampling. Foundations and Trends in Machine Learning, 11(1), 1–96.

    Открыть ссылку DOI
    Скопировано.
  2. Offer-Westort, M., Coppock, A., & Green, D. P. (2021). Adaptive Experimental Design: Prospects and Applications in Political Science. American Journal of Political Science, 65(4), 826–844.

    Открыть ссылку DOI
    Скопировано.