Skip to content
Назад к результатам поиска

Факториальный A/B-тест — многофакторный онлайн-контролируемый эксперимент

Автор метода
Ronald A. Fisher (factorial design); digital A/B testing popularized by Google, Microsoft, and Amazon in the 2000s
Год
Factorial design: 1920s–1930s; applied online as factorial A/B test: 2000s–2010s
Тип
Controlled online/field experiment
Семейство
Experimental design

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Факториальный A/B-тест — это контролируемый онлайн-эксперимент, который одновременно манипулирует двумя или более независимыми факторами, каждый на двух или более уровнях, предоставляя различным группам пользователей каждую комбинацию уровней факторов.

Основанный на факториальном дизайне Фишера и реализованный в масштабе технологическими компаниями, он позволяет исследователям оценить как независимый основной эффект каждого фактора, так и эффекты взаимодействия между факторами — всё в рамках одного эксперимента.

Интуиция метода

Предположим, вы хотите узнать, улучшает ли новый заголовок конверсии, а также помогает ли новый цвет кнопки — но вы также подозреваете, что эти два изменения могут взаимодействовать. Простой A/B-тест может ответить на один вопрос за раз; факториальный A/B-тест запускает все комбинации одновременно (старый заголовок + старая кнопка, старый заголовок + новая кнопка, новый заголовок + старая кнопка, новый заголовок + новая кнопка) и сообщает вам не только, какие факторы важны, но и усиливают или компенсируют ли их эффекты друг друга. Вы получаете больше ответов при том же трафике и избегаете ловушки развертывания двух изменений, индивидуальные преимущества которых исчезают при объединении.

История

Математические основы факториального экспериментирования были заложены Рональдом А. Фишером и Фрэнком Йейтсом на экспериментальной станции Ротамстед в 1920-х и 1930-х годах, кодифицированы в книге Фишера «Дизайн экспериментов» (1935). Десятилетиями метод использовался в основном в сельском хозяйстве, производстве и клинических испытаниях. С ростом крупномасштабных онлайн-платформ в 2000-х годах Google, Microsoft и Amazon индустриализировали этот подход как факториальное A/B-тестирование, что позволило быстро одновременно оценивать множественные изменения продукта на миллионах пользователей. Справочник Кохави и др. 2020 года систематизировал текущую практику отрасли.

Когда применять

Используйте факториальный A/B-тест, когда вам необходимо оценить два или более независимых изменения в одном эксперименте и когда есть основания подозревать, что эти факторы могут взаимодействовать. Это правильный выбор, когда трафика достаточно для одновременной поддержки всех ячеек — грубое правило заключается в том, что вам нужен такой же размер выборки на ячейку, как и для стандартного A/B-теста, умноженный на количество ячеек. Не используйте его, когда трафика мало и вы не можете обеспечить поддержку всех ячеек; в этом случае вместо этого проводите последовательные A/B-тесты. Избегайте его, когда факторы заведомо полностью независимы и эффекты взаимодействия теоретически маловероятны — в этом случае отдельные A/B-тесты проще для понимания. Также избегайте его, когда задействовано более четырех или пяти факторов без дробной факториальной стратегии, поскольку количество ячеек и сложность интерпретации растут комбинаторно.

Ограничения и замечания

  • Требования к размеру выборки масштабируются с количеством ячеек; дизайн 2×2×2 требует в восемь раз больше N на ячейку, чем простой двухсторонний тест, что может быть неосуществимо для продуктов с низким трафиком.
  • Взаимодействия высокого порядка (трехсторонние, четырехсторонние) трудно интерпретировать и часто недостаточно мощны даже в крупных экспериментах.
  • Результаты специфичны для популяции пользователей и контекста эксперимента и могут не обобщаться на другие платформы, сезоны или рынки.
  • Анализ и коммуникация эффектов взаимодействия требуют статистической изощренности, которой может не обладать заинтересованные стороны.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Тестирует несколько факторов в одном эксперименте, сокращая общее календарное время и стоимость трафика по сравнению с последовательными A/B-тестами.
  • Обнаруживает и количественно оценивает эффекты взаимодействия, которые не может выявить последовательное тестирование, предотвращая развертывание комбинаций, преимущества которых не суммируются.
  • Полные факториальные дизайны статистически эффективны — ортогональное назначение факторов означает, что основные эффекты и взаимодействия оцениваются независимо.
  • Поддерживает четкие, заранее определенные планы анализа и совместим со стандартными частотными (ANOVA, регрессия) и байесовскими фреймворками вывода.
  • Широко применяется в индустрии (технологии, электронная коммерция, фармацевтика) и подкреплен обширной литературой по дизайну и анализу.

Применение

  • Одновременное тестирование текста заголовка и основного изображения на целевой странице для выявления выигрышной комбинации, максимизирующей коэффициент регистрации.
  • Оценка двух вариантов темы электронного письма, сопоставленных с двумя вариантами времени отправки, чтобы определить, взаимодействует ли время с сообщением при увеличении коэффициента открытия.
  • Проведение клинического испытания 2×2, которое одновременно рандомизирует участников в группу препарата против плацебо и в группу поведенческого вмешательства против стандартного ухода.
  • Оптимизация процесса оформления заказа путем одновременного изменения размещения кнопки и длины формы для поиска ячейки с наименьшим показателем отказа от корзины.
  • Оценка совместного влияния алгоритма рекомендаций и макета отображения на время просмотра на стриминговой платформе.
  • Исследования дозозависимого эффекта в фармацевтике, которые сопоставляют уровень дозы с путем введения для оценки основных эффектов и взаимодействия в одном протоколе.

Как это работает

Как это работает

1

Определите независимые факторы (переменные), которые будут тестироваться, и укажите дискретные уровни, которые примет каждый фактор. В факториальном A/B-тесте 2×2 есть два фактора, каждый на двух уровнях, что дает четыре экспериментальные ячейки. Возможны более крупные дизайны (2×2×2, 3×2 и т. д.), но они пропорционально увеличивают требования к размеру выборки.

2

Перечислите все комбинации уровней факторов — это экспериментальные ячейки или ветви. Для полного факториального дизайна включена каждая комбинация; если количество ячеек непомерно велико, может использоваться дробный факториальный дизайн, жертвуя возможностью оценить взаимодействия высокого порядка в обмен на меньший эксперимент.

3

Пользователи (или сессии) случайным образом назначаются ровно в одну ячейку, обычно с использованием хеша стабильного идентификатора пользователя по модулю количества ячеек, обеспечивая сбалансированное и независимое распределение. Рандомизация устраняет систематическую ошибку отбора и является особенностью, отличающей факториальный A/B-тест от наблюдательного многомерного анализа.

4

Эксперимент проводится в течение предопределенного периода — достаточно долгого, чтобы достичь целевого размера выборки для каждой ячейки и учесть эффекты сезонности (обычно не менее одной полной недели). Метрики результатов (коэффициент конверсии, доход на пользователя, время вовлеченности и т. д.) регистрируются на уровне пользователя или сессии для каждой ячейки в течение всего окна воздействия.

5

Первичный анализ использует факториальный дисперсионный анализ (ANOVA) или регрессионную модель, которая разделяет дисперсию на основные эффекты (по одному на фактор) и эффекты взаимодействия (по одному на пару факторов и члены более высокого порядка, если дизайн является полным факториальным). Размеры эффектов, доверительные интервалы и p-значения с поправкой на множественность (например, Бонферрони или Бенджамини-Хохберг) сообщаются для каждого оцененного эффекта.

6

Интерпретируйте закономерность основных эффектов и взаимодействий. Если существует значимое взаимодействие, одни только основные эффекты могут вводить в заблуждение — выигрышная комбинация должна быть определена по средним значениям ячеек, а не по средним значениям каждого фактора. Выигрышная ячейка (или ячейки) затем развертывается для 100% пользователей.

Частые ошибки

  • Игнорирование значимых взаимодействий — сообщение только основных эффектов при наличии взаимодействия приводит к неверным рекомендациям; всегда проверяйте графики взаимодействия перед интерпретацией эффектов отдельных факторов.
  • Недостаточная мощность отдельных ячеек — дизайнеры иногда рассчитывают мощность для всего эксперимента, а не для каждой ячейки, что приводит к экспериментам, которые не могут надежно выявить интересующие эффекты в каждой ветви.
  • Независимость факторов — если реализация одного уровня фактора изменяет смысл другого (например, изменение макета, скрывающее тестируемую кнопку), предположение факториального дизайна об ортогональности нарушается, и оценки взаимодействия бессмысленны.
  • Запуск слишком большого количества факторов без дробной факториальной стратегии — незапланированный полный факториальный дизайн с множеством факторов создает громоздкое количество ячеек и увеличивает частоту ложных открытий при тестировании множества эффектов.
  • Эффекты новизны — в краткосрочных онлайн-экспериментах поведение пользователей может отражать любопытство к изменению, а не стабильные предпочтения, раздувая оценки эффектов, которые не сохраняются после полного развертывания.

Часто задаваемые вопросы

Чем факториальный A/B-тест отличается от проведения нескольких отдельных A/B-тестов?

Последовательные A/B-тесты не могут выявить, взаимодействуют ли два фактора — вы можете обнаружить, что каждое изменение улучшает конверсию по отдельности, но развертывание обоих фактически ухудшает производительность. Факториальный A/B-тест запускает все комбинации одновременно, поэтому он напрямую оценивает эффекты взаимодействия. Он также заканчивается быстрее, если у вас достаточно трафика, поскольку вы тестируете все в одном эксперименте, а не последовательно.

Когда следует использовать дробный, а не полный факториальный дизайн?

Полный факториальный дизайн тестирует каждую комбинацию каждого уровня фактора. Когда количество факторов велико (обычно пять или более), количество ячеек становится непрактично большим. Дробный факториальный дизайн тестирует только стратегически выбранное подмножество ячеек — достаточное для оценки основных эффектов и взаимодействий низкого порядка, жертвуя информацией о взаимодействиях высокого порядка, которые редко имеют практическое значение. Если у вас много факторов и ограниченный трафик, рассмотрите дробный факториальный дизайн или стратегию последовательного тестирования.

Как обрабатывать множественные сравнения в факториальном A/B-тесте?

Каждый основной эффект и каждый член взаимодействия являются отдельной гипотезой. Без корректировки семейная частота ложных открытий увеличивается с количеством тестов. Распространенные подходы включают коррекцию Бонферрони (консервативная, контролирует семейную ошибку), процедуру Бенджамини-Хохберга (контролирует частоту ложных открытий, большая мощность) или байесовский фреймворк, который естественным образом распространяет неопределенность на все эффекты. Метод коррекции должен быть заранее определен в плане анализа.

Какой размер выборки мне нужен?

Стандартное правило — обеспечить мощность для каждой ячейки так же, как для двухстороннего A/B-теста — рассчитайте требуемое N для ожидаемого размера эффекта и желаемой мощности, затем умножьте на общее количество ячеек. Для дизайна 2×2 это означает в четыре раза больше N на ветвь, чем в стандартном A/B-тесте. Если обеспечение мощности для всех ячеек неосуществимо, рассмотрите дробный факториальный дизайн или уменьшение количества факторов.

Можно ли анализировать факториальный A/B-тест с помощью простого t-критерия для каждой пары?

Нет. Попарные t-критерии между ячейками игнорируют факториальную структуру, увеличивают частоту ложных открытий и, что наиболее важно, не оценивают эффекты взаимодействия. Правильный анализ — это факториальный ANOVA или эквивалентная регрессионная модель с индикаторными переменными для каждого фактора и их произведениями (члены взаимодействия). Только этот подход правильно разделяет дисперсию на основные эффекты и взаимодействия.

Похожие методы

Источники

  1. Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.

    ISBN: 978-1108724265
    Скопировано.
  2. Montgomery, D. C. (2017). Design and Analysis of Experiments (9th ed.). Wiley.

    ISBN: 978-1119113478
    Скопировано.