Skip to content
Назад к результатам поиска

Многорукавный эксперимент — Экспериментальный дизайн с несколькими группами

Автор метода
Developed within clinical trials methodology; formalized by Parmar, Royston and colleagues (UK MRC CTU, early 2000s)
Год
1990s–2000s (clinical formalization); multi-arm concept implicit in ANOVA-era factorial designs
Тип
Experimental design
Семейство
Experimental design

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Многорукавный эксперимент одновременно сравнивает три или более условий лечения или вмешательства (каждое из которых называется «рукавом») с общей контрольной группой или друг с другом.

Тестирование нескольких альтернатив в одном исследовании дает больше информации на одного участника, чем последовательное проведение отдельных двухгрупповых экспериментов, при этом контролируя общую частоту ошибок первого рода посредством заранее определенных стратегий сравнения.

Интуиция метода

Представьте себе фармацевтическое испытание, в котором необходимо проверить четыре дозы препарата-кандидата по сравнению с плацебо. Проведение четырех отдельных двухрукавных испытаний приводит к растрате ресурсов и увеличивает вероятность ложноположительных результатов. Многорукавный дизайн включает все пять групп одновременно, использует общую контрольную группу для всех сравнений и устанавливает порог значимости таким образом, чтобы общая вероятность ложного обнаружения оставалась на приемлемом уровне. Та же логика применима в образовании (сравнение трех методов обучения), технологиях (тестирование нескольких вариантов интерфейса) или оценке политики (оценка нескольких вариантов программы по сравнению со статус-кво). Ключевая идея — эффективность: один хорошо спланированный эксперимент заменяет несколько более мелких.

История

Логика одновременного тестирования нескольких групп неявно присутствует в дисперсионном анализе, разработанном Рональдом А. Фишером в 1920-х–1930-х годах. Современная многорукавная структура в клинических испытаниях была систематически сформулирована в конце 1990-х и 2000-х годах, что было обусловлено необходимостью ускорения разработки лекарств. Пармар, Ройстон и коллеги из Отдела клинических испытаний Медицинского исследовательского совета Великобритании формализовали многорукавные многостадийные (MAMS) дизайны в серии работ с 2003 года, демонстрируя, как промежуточное исключение рукавов может поддерживать контроль ошибок, сокращая время набора в некоторых условиях вдвое.

Когда применять

Используйте многорукавный эксперимент, когда вам необходимо оценить три или более вмешательств, доз или условий в одном эксперименте и вы хотите использовать общую группу сравнения, а не проводить несколько отдельных исследований. Это особенно эффективно, когда набор участников является ограничивающим ресурсом. Он хорошо подходит для клинических испытаний, поведенческих вмешательств, исследований в области образования и онлайн-тестирования продуктов. Не используйте его, когда вы не можете поддерживать операционное разделение между рукавами (риск контаминации), когда количество запланированных сравнений настолько велико, что мощность на сравнение становится неприемлемо низкой, или когда рукава вмешательства взаимодействуют друг с другом таким образом, что нарушается предположение о независимости.

Ограничения и замечания

  • Мощность для каждого отдельного сравнения «рукав против контроля» ниже, чем в двухрукавном испытании с тем же общим размером выборки, если дизайн не оптимизирован.
  • Операционная сложность увеличивается с числом рукавов: цепочки поставок, обучение, мониторинг и отклонения от протокола умножаются.
  • Корректировки на множественность становятся консервативными при тестировании многих рукавов, потенциально маскируя действительно эффективные вмешательства.
  • Исключение рукавов на промежуточных анализах в MAMS-дизайнах требует заранее определенных правил остановки; ситуативное исключение неприемлемо.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Эффективно проверяет несколько гипотез в рамках одного исследования, сокращая общий размер выборки по сравнению с множеством независимых экспериментов.
  • Общая контрольная группа подвергается тем же светским тенденциям и условиям набора, что и все активные группы, что улучшает сопоставимость.
  • Частота ошибок на семейство может строго контролироваться с помощью заранее определенных методов корректировки (Даннетт, Бонферрони, гейткипинг).
  • Многорукавные многостадийные расширения позволяют исключать худшие рукава на промежуточных анализах, делая дизайн адаптивным без увеличения ошибки.
  • Прозрачная предварительная регистрация всех рукавов и сравнений ограничивает переключение результатов и систематическую ошибку публикации.

Применение

  • Клинические испытания, сравнивающие несколько доз препарата или кандидатных методов лечения с плацебо в рамках одного протокола.
  • Образовательные исследования, оценивающие три или более педагогических подхода — традиционная лекция, перевернутый класс, взаимное обучение — по сравнению с контрольным условием.
  • Тестирование цифровых продуктов, сравнивающее несколько вариантов интерфейса или ценообразования с базовым уровнем в контролируемом онлайн-эксперименте.
  • Исследования вмешательств в области общественного здравоохранения, одновременно оценивающие несколько стратегий изменения поведения (сообщения, стимулы, напоминания).
  • Сельскохозяйственные испытания, тестирующие несколько составов удобрений или графиков посадки по сравнению со стандартной практикой.

Как это работает

Как это работает

1

До начала эксперимента исследователь определяет количество рукавов (минимум три: обычно один контроль плюс два или более активных условия), основной результат, структуру сравнения (каждый рукав против контроля, все попарные или иерархическая последовательность) и стратегию контроля частоты ошибок на семейство — чаще всего это поправка Бонферрони, критерий Даннетта для сравнений рукав-против-контроля или процедура гейткипинга для упорядоченных гипотез.

2

Подходящие участники (или кластеры, или единицы) случайным образом распределяются в один из рукавов с использованием заранее определенного коэффициента распределения. Равное распределение по рукавам максимизирует мощность на рукав; неравное распределение (больше участников в контрольной группе) может быть более эффективным, когда данные контрольной группы служат для нескольких сравнений. Для балансировки прогностических факторов часто используется стратифицированная или блочная рандомизация.

3

Каждый рукав получает назначенное вмешательство или условие в течение всего исследования. Ослепление участников, лиц, оказывающих помощь, и оценщиков результатов применяется там, где это возможно, для предотвращения дифференциального смещения. Проверки операционной точности подтверждают, что каждый рукав реализуется в соответствии с указаниями на протяжении всего периода испытания.

4

Первичный результат и любые заранее определенные вторичные результаты измеряются в назначенные моменты времени для всех участников. Все данные, включая данные участников, которые отклоняются от протокола или выбывают, записываются; принципы «намерения лечить» (intention-to-treat) применяются в первичном анализе для сохранения целостности рандомизации.

5

Результаты в каждом активном рукаве сравниваются с контролем (или друг с другом) с использованием заранее определенных статистических тестов и скорректированных порогов значимости. Для каждого сравнения сообщаются размеры эффекта и доверительные интервалы. Если дизайн соответствует многорукавной многостадийной (MAMS) схеме, промежуточные анализы могут исключать неэффективные рукава до финальной стадии, экономя ресурсы без ущерба для контроля ошибок.

Частые ошибки

  • Пренебрежение коррекцией на множественность — проведение попарных сравнений на нескорректированном уровне альфа увеличивает частоту ложноположительных результатов пропорционально числу сравнений; всегда заранее определяйте стратегию корректировки.
  • Недостаточная мощность отдельных рукавов — расчет размера выборки для двухрукавного испытания с последующим распределением участников по большему числу рукавов приводит к недостаточной мощности каждого сравнения; мощность должна быть рассчитана для каждого запланированного контраста при скорректированном уровне альфа.
  • Контаминация рукавов — если участники в разных рукавах взаимодействуют (например, в классе или на рабочем месте), эффекты лечения распространяются между рукавами; необходима рандомизация на уровне кластеров или физическое разделение.
  • Добавление рукавов после рандомизации — введение нового рукава после начала набора разрушает баланс рандомизации и сопоставимость с контрольной группой, накопленной до открытия нового рукава; все рукава должны быть определены и открыты одновременно.
  • Путаница многорукавного с факторным — многорукавный дизайн тестирует взаимоисключающие условия; факторный дизайн допускает комбинации; ошибочное принятие одного за другое приводит к неправильно специфицированным моделям и неинтерпретируемым результатам.

Часто задаваемые вопросы

Чем многорукавный эксперимент отличается от факторного эксперимента?

В многорукавном эксперименте участники получают ровно одно из определенных условий; рукава являются взаимоисключающими. В факторном эксперименте участники могут получать комбинации уровней факторов — например, как лекарство, так и диетическое вмешательство. Если вы хотите изучить взаимодействия между факторами, используйте факторный дизайн; если вы хотите сравнить различные, некомбинируемые альтернативы, используйте многорукавный дизайн.

Как следует корректировать на множественные сравнения?

Наиболее распространенный подход для сравнений «рукав против контроля» — это критерий Даннетта, который более мощный, чем Бонферрони, когда все рукава используют один и тот же контроль. Для всех попарных сравнений стандартным является HSD Тьюки. Для иерархически упорядоченных гипотез (первичных, вторичных и т. д.) процедура гейткипинга сохраняет мощность для первичного сравнения. Стратегия корректировки должна быть заранее определена в протоколе до сбора данных.

Могу ли я добавить новый рукав после начала исследования?

В принципе, дизайны платформенных или мастер-протоколов позволяют добавлять рукава, но только в соответствии со строгими заранее определенными правилами и со статистическими штрафами для поддержания контроля ошибок. В стандартном многорукавном эксперименте добавление рукава в середине испытания подрывает баланс рандомизации и сопоставимость с контрольной группой, накопленной до открытия нового рукава. Это должно быть сделано только в рамках предварительно зарегистрированного адаптивного протокола, рассмотренного независимым комитетом по мониторингу данных.

Какой размер выборки мне нужен?

Рассчитайте мощность для каждого запланированного сравнения на скорректированном уровне значимости (например, альфа / количество сравнений для Бонферрони или скорректированное критическое значение Даннетта). Требуемый размер выборки на рукав больше, чем для нескорректированного двухрукавного испытания. Программное обеспечение, такое как R (пакеты multcomp, mvtnorm) или специализированные калькуляторы клинических испытаний, напрямую поддерживают анализ мощности многорукавных дизайнов.

Что такое многорукавный многостадийный (MAMS) дизайн?

MAMS — это расширение, которое включает запланированные промежуточные анализы в многорукавный дизайн. На каждом промежуточном этапе рукава, которые не соответствуют заранее определенному порогу активности, исключаются, и набор продолжается в оставшиеся рукава. Это повышает эффективность — меньше участников подвергаются неэффективным методам лечения — при сохранении общего контроля ошибок посредством заранее определенных границ остановки.

Похожие методы

Источники

  1. Royston, P., Parmar, M. K. B., & Qian, W. (2003). Novel designs for multi-arm clinical trials with survival outcomes with an application in ovarian cancer. Statistics in Medicine, 22(14), 2239–2256.

    Открыть ссылку DOI
    Скопировано.
  2. Multi-arm bandit. Wikipedia.

    Открыть ссылку на публикацию
    Скопировано.