Skip to content
Назад к результатам поиска

Адаптивный эксперимент — Адаптивный дизайн эксперимента

Автор метода
Abraham Wald (sequential analysis foundation); expanded by Robbins, Armitage, and others
Год
1940s–1970s (sequential foundations); formalised in clinical and behavioural research by 1980s–2000s
Тип
Experimental research design
Семейство
Experimental design

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Адаптивный эксперимент — это дизайн эксперимента, в котором заранее определенные правила позволяют изменять протокол — например, перераспределять участников в более эффективные группы, досрочно прекращать исследование при наличии доказанной эффективности или бесперспективности, или изменять размер выборки — на основе накапливающихся промежуточных данных, сохраняя при этом статистическую достоверность.

Адаптивные дизайны широко используются в клинических испытаниях, поведенческой экономике и тестировании онлайн-платформ для повышения эффективности и этичности без ущерба для строгости выводов.

Интуиция метода

Представьте себе одновременное тестирование четырех методов обучения. Традиционный эксперимент проводит все четыре до завершения, независимо от ранних результатов. Адаптивный эксперимент отслеживает результаты по мере их накопления: если одна группа явно показывает низкие результаты после включения 30% участников, дизайн может перенаправить ресурсы от нее, продолжая сравнивать оставшиеся группы. Это не импровизация — правила принятия решений (когда адаптироваться и как) фиксируются до начала исследования, поэтому окончательный статистический анализ остается достоверным. Результат — более быстрые ответы, меньшее воздействие на участников неоптимальных условий и более разумное использование ресурсов.

История

Статистические основы адаптивного экспериментирования восходят к последовательному анализу Абрахама Вальда (1947) и работе Кифера-Вольфовица по стохастической аппроксимации (1952). Герберт Роббинс формализовал задачу многорукого бандита в 1952 году, предоставив основу для рандомизации, адаптированной к отклику. Питер Армитаж разработал последовательные методы для клинических испытаний в 1950-х-60-х годах. Структура групповых последовательных испытаний была формализована Пококом (1977) и О'Брайеном и Флемингом (1979). Регуляторный интерес ускорился в 2000-х годах, кульминацией чего стали руководства FDA (2010, 2019), установившие основу для адаптивных клинических испытаний. Адаптивные дизайны теперь также являются центральными для платформ онлайн-экспериментирования в технологических компаниях.

Когда применять

Используйте адаптивный эксперимент, когда: (1) промежуточные данные наблюдаемы до окончания исследования и могут информировать о корректировках дизайна; (2) существует реальная неопределенность относительно того, какие группы лечения являются наиболее перспективными, что делает фиксированное равное распределение на протяжении всего исследования расточительным или неэтичным; (3) предположения о размере выборки неопределенны, и переоценка в середине исследования повысит мощность. Наиболее часто встречается в клинических испытаниях, но все чаще используется в онлайн-тестировании A/B, поведенческой науке и оценке политики. НЕ используйте адаптивный дизайн, когда: результат наблюдается только после окончания исследования (нет значимых промежуточных данных); правила адаптации не могут быть предварительно определены; или нормативный или институциональный контекст требует подхода с фиксированным дизайном. Адаптивные дизайны требуют большей предварительной статистической экспертизы, чем фиксированные дизайны — если команда не может зафиксировать правила адаптации в предварительно зарегистрированном протоколе, более подходящим будет обычное РКИ.

Ограничения и замечания

  • Требует предварительного определения всех правил адаптации до сбора данных — любое отклонение компрометирует контроль ошибки I рода.
  • Статистический анализ значительно сложнее, чем для фиксированных дизайнов; требуются специализированное программное обеспечение и экспертиза.
  • Рандомизация, адаптированная к отклику, может привести к операционному смещению, если ослепление неполное или если адаптация наблюдаема участниками или персоналом.
  • Регуляторное принятие варьируется; в клинических контекстах план адаптации должен быть согласован с регуляторами до начала испытания.
  • Логистическая сложность возрастает — очистка промежуточных данных, независимый мониторинг и быстрое обновление протоколов требуют инфраструктуры.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Повышает эффективность — может потребовать меньше участников, чем фиксированный дизайн, для достижения того же вывода, когда ранние результаты информативны.
  • Этическое преимущество — снижает воздействие на участников неоптимальных условий путем перераспределения ресурсов от групп с низкими показателями.
  • Гибкость — переоценка размера выборки защищает от исследований с недостаточной мощностью или чрезмерной продолжительностью, вызванных неопределенными первоначальными предположениями.
  • Возможность работы с несколькими группами — поддерживает бесшовные фазы II/III или платформенные структуры испытаний, которые добавляют или исключают группы по мере накопления доказательств.
  • Возможность досрочного прекращения при подавляющей эффективности или бесперспективности, экономя время и ресурсы.

Применение

  • Клинические испытания, сравнивающие несколько дозировок лекарств или групп лечения, с использованием рандомизации, адаптированной к отклику, для смещения распределения в сторону более эффективных групп.
  • Онлайн-тестирование A/B и многогрупповое тестирование, где веса распределения обновляются практически в реальном времени на основе результатов конверсии или вовлеченности.
  • Исследования по определению дозы в онкологических испытаниях Фазы I/II, где дизайн увеличивает или уменьшает дозу на основе наблюдаемых данных о токсичности и эффективности.
  • Полевые эксперименты в поведенческой экономике, где перспективное политическое вмешательство получает все большее распределение по мере накопления ранних данных о результатах.
  • Исследования образовательных вмешательств, переоценивающие размер выборки на промежуточном этапе, когда оценки размера эффекта на исходном уровне были неопределенными.
  • Платформенные испытания в условиях чрезвычайных ситуаций в области общественного здравоохранения (например, испытания лечения COVID-19), добавляющие новые группы по мере появления новых кандидатов на лечение.

Как это работает

Как это работает

1

До сбора каких-либо данных исследователь определяет: основную оцениваемую величину, правила адаптации (например, веса рандомизации, адаптированные к отклику, график промежуточных анализов, границы прекращения при наличии эффективности или бесперспективности) и метод контроля ошибки I рода для всех промежуточных анализов. Предварительное определение является обязательным — незапланированные изменения в середине исследования делают гарантии выводов недействительными.

2

В один или несколько заранее определенных промежуточных моментов времени накапливающиеся данные о результатах анализируются независимым комитетом по мониторингу данных или автоматизированным правилом. Промежуточный анализ точно следует заранее определенным правилам принятия решений — он не предполагает усмотрения исследователя сверх того, что было запланировано заранее.

3

На основе промежуточных результатов применяются разрешенные адаптации: вероятности распределения по группам могут быть обновлены (рандомизация, адаптированная к отклику), группа с низкими показателями может быть исключена, размер выборки может быть переоценен, или испытание может быть досрочно прекращено при явной эффективности или бесперспективности. Все адаптации должны соответствовать объему, заранее определенному в протоколе.

4

Исследование продолжается с адаптированным дизайном — возможно, с измененными весами групп, скорректированным размером выборки или сокращенным набором групп — при сохранении ослепления и целостности рандомизации. Участники, уже включенные в исследование, обычно остаются под первоначальным распределением.

5

После окончательного наблюдения основной анализ использует методы, учитывающие адаптивный характер дизайна (например, методы условной ошибки, байесовские апостериорные сводки или групповые последовательные статистические критерии). Точечные оценки и доверительные интервалы должны быть скорректированы с учетом пути адаптивной выборки, чтобы избежать смещения из-за игнорирования последовательного характера данных.

Частые ошибки

  • Незапланированные адаптации — изменение дизайна в середине исследования способами, не предусмотренными заранее определенным протоколом, делает недействительным контроль ошибки I рода и может рассматриваться как нарушение протокола.
  • Игнорирование адаптивного пути в окончательном анализе — применение стандартного критерия фиксированного дизайна после последовательных адаптаций увеличивает частоту ошибки I рода; всегда используйте методы анализа, учитывающие адаптивную структуру.
  • Операционное раскрытие ослепления — если накапливающиеся вероятности распределения становятся видимыми для участников или не ослепленного персонала, возникает смещение; надежные операционные процедуры должны ограждать решения об адаптации от исследовательской группы.
  • Переоценка прироста эффективности — адаптивные дизайны наиболее полезны, когда промежуточная информация сильна, а правила адаптации хорошо откалиброваны; при слабых промежуточных сигналах дополнительная сложность может быть нецелесообразной.
  • Предположение, что адаптивность заменяет адекватный первоначальный дизайн — плохо определенный первичный исход или оцениваемая величина не исправляются добавлением адаптивных функций.

Часто задаваемые вопросы

Является ли адаптивный эксперимент тем же, что и последовательное испытание?

Последовательный анализ является основополагающей статистической основой; адаптивные эксперименты — это более широкий класс, который включает правила последовательного прекращения, но также охватывает рандомизацию, адаптированную к отклику, исключение групп и переоценку размера выборки. Все последовательные испытания в минимальном смысле являются адаптивными, но не все адаптивные дизайны ограничиваются досрочным прекращением.

Как контролировать частоту ошибки I рода при множественных промежуточных анализах?

Предварительно определите график промежуточных анализов и используйте метод границ прекращения с поправкой на множественность, такой как границы О'Брайена-Флеминга или Покока, или подход с функцией распределения альфа (Лан-ДеМетс). Для байесовских адаптивных дизайнов калибруйте пороговые значения принятия решений с помощью симуляции для достижения желаемых частотных операционных характеристик до начала испытания.

Можно ли использовать адаптивные дизайны в социальных науках за пределами клинических испытаний?

Да. Рандомизация, адаптированная к отклику, алгоритмы многорукого бандита и правила группового последовательного прекращения применялись в образовательных исследованиях, поведенческой экономике и онлайн-экспериментировании. Ключевое требование остается прежним: правила адаптации должны быть предварительно определены, а окончательный анализ должен учитывать путь адаптивной выборки.

Какой размер выборки мне нужен?

Размер выборки зависит от конкретной стратегии адаптации, основной оцениваемой величины, графика промежуточных анализов и желаемой мощности. Поскольку окончательный размер выборки сам по себе может быть адаптивной величиной (в дизайнах с переоценкой размера выборки), для анализа мощности обычно требуется симуляционное моделирование, а не стандартная формула в замкнутой форме.

Требует ли адаптивный дизайн предварительного одобрения регулирующих органов?

В регулируемых клинических испытаниях (лекарства, устройства, биологические препараты) — да, план адаптивного дизайна должен быть согласован с соответствующим регулирующим органом (FDA, EMA и т. д.) до начала исследования. В нерегулируемых исследовательских контекстах формального требования одобрения нет, но настоятельно рекомендуется предварительная регистрация правил адаптации в общедоступном реестре (например, ClinicalTrials.gov, AsPredicted, OSF) для обеспечения прозрачности и воспроизводимости.

Похожие методы

Источники

  1. Chow, S. C., & Chang, M. (2008). Adaptive Design Methods in Clinical Trials. Chapman and Hall/CRC.

    ISBN: 978-1584886761
    Скопировано.
  2. U.S. Food and Drug Administration. (2019). Adaptive Designs for Clinical Trials of Drugs and Biologics: Guidance for Industry. FDA.

    Открыть ссылку на публикацию
    Скопировано.