Eksperyment wieloramiowy — Projektowanie eksperymentów wieloramiowych
- Autor metody
- Developed within clinical trials methodology; formalized by Parmar, Royston and colleagues (UK MRC CTU, early 2000s)
- Rok
- 1990s–2000s (clinical formalization); multi-arm concept implicit in ANOVA-era factorial designs
- Typ
- Experimental design
- Rodzina
- Experimental design
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Eksperyment wieloramiowy jednocześnie porównuje trzy lub więcej warunków leczenia lub interwencji — z których każdy nazywany jest ramieniem — ze wspólnym ramieniem kontrolnym lub między sobą.
Testując wiele alternatyw w jednym badaniu, dostarcza więcej informacji na uczestnika niż sekwencyjne przeprowadzanie oddzielnych badań dwuramieniowych, przy jednoczesnej kontroli ogólnego błędu pierwszego rodzaju poprzez z góry określone strategie porównawcze.
Intuicja stojąca za metodą
Proszę sobie wyobrazić próbę farmaceutyczną, która musi przetestować cztery kandydackie dawki leku w porównaniu z placebo. Prowadzenie czterech oddzielnych badań dwuramieniowych marnuje zasoby i zwiększa prawdopodobieństwo fałszywych wyników pozytywnych. Projekt wieloramiowy rekrutuje wszystkie pięć grup jednocześnie, dzieli ramię kontrolne między porównania i ustala próg istotności tak, aby ogólne prawdopodobieństwo fałszywego odkrycia pozostało na akceptowalnym poziomie. Ta sama logika dotyczy edukacji (porównanie trzech metod nauczania), technologii (testowanie wielu wariantów interfejsu) lub oceny polityki (ocena kilku wariantów programu w porównaniu ze stanem obecnym). Kluczowym wnioskiem jest efektywność: jedno dobrze ustalone badanie zastępuje kilka mniejszych.
Historia
Logika testowania wielu grup jednocześnie jest zawarta w analizie wariancji opracowanej przez Ronalda A. Fishera w latach 20. i 30. XX wieku. Nowoczesne ramy wieloramiowe w badaniach klinicznych zostały systematycznie sformułowane pod koniec lat 90. i w latach 2000., napędzane potrzebą przyspieszenia rozwoju leków. Parmar, Royston i współpracownicy z UK Medical Research Council Clinical Trials Unit sformalizowali projekty wieloramiowe wieloetapowe (MAMS) w serii artykułów od 2003 roku, pokazując, jak eliminacja ramion w analizach pośrednich mogła utrzymać kontrolę błędów, jednocześnie skracając czas rekrutacji o połowę w niektórych sytuacjach.
Kiedy stosować
Należy stosować eksperyment wieloramiowy, gdy trzeba ocenić trzy lub więcej interwencji, dawek lub warunków w jednym eksperymencie i chcemy dzielić wspólny komparator, zamiast prowadzić wiele oddzielnych badań. Jest to szczególnie efektywne, gdy rekrutacja uczestników jest zasobem ograniczającym. Dobrze nadaje się do badań klinicznych, interwencji behawioralnych, badań edukacyjnych i testowania produktów online. Nie należy go stosować, gdy nie można utrzymać separacji operacyjnej między ramionami (ryzyko zanieczyszczenia), gdy liczba planowanych porównań jest tak duża, że moc każdego porównania staje się nieakceptowalnie niska, lub gdy ramiona interwencyjne oddziałują na siebie w sposób naruszający założenie o niezależności.
Ograniczenia i uwagi
- Moc każdego indywidualnego porównania ramię-vs-kontrola jest niższa niż w badaniu dwuramieniowym o tej samej całkowitej wielkości próby, chyba że projekt jest zoptymalizowany.
- Złożoność operacyjna rośnie wraz z liczbą ramion: łańcuchy dostaw, szkolenia, monitorowanie i odchylenia od protokołu mnożą się.
- Korekty wielokrotności stają się konserwatywne przy testowaniu wielu ramion, potencjalnie maskując rzeczywiste interwencje skuteczne.
- Eliminacja ramion w analizach pośrednich w projektach MAMS wymaga z góry określonych zasad zatrzymania; eliminacja ad hoc nie jest akceptowalna.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Efektywne testowanie wielu hipotez w ramach jednego badania, zmniejszające całkowitą wielkość próby w porównaniu z wieloma niezależnymi eksperymentami.
- Wspólne ramię kontrolne jest poddawane tym samym trendom sekularnym i warunkom rekrutacji co wszystkie ramiona aktywne, poprawiając porównywalność.
- Błąd rodzinny można rygorystycznie kontrolować za pomocą z góry określonych metod korekty (Dunnett, Bonferroni, bramkowanie).
- Rozszerzenia wieloramiowe wieloetapowe pozwalają na eliminację słabszych ramion w analizach pośrednich, czyniąc projekt adaptacyjnym bez zwiększania błędu.
- Przejrzysta wstępna rejestracja wszystkich ramion i porównań ogranicza przełączanie wyników i błąd publikacji.
Zastosowania
- Badania kliniczne porównujące wiele dawek leków lub kandydatów na leczenie z placebo w ramach jednego protokołu.
- Badania edukacyjne oceniające trzy lub więcej podejść pedagogicznych — tradycyjny wykład, odwrócona klasa, instruktaż koleżeński — w porównaniu z warunkiem kontrolnym.
- Testowanie produktów cyfrowych porównujące wiele wariantów interfejsu lub cen z bazowym w kontrolowanym eksperymencie online.
- Badania interwencji w zakresie zdrowia publicznego oceniające jednocześnie kilka strategii zmiany zachowań (komunikaty, zachęty, przypomnienia).
- Badania rolnicze testujące wiele formulacji nawozów lub harmonogramów sadzenia w porównaniu ze standardową praktyką.
Jak to działa
Jak to działa
Przed rozpoczęciem eksperymentu badacz określa liczbę ramion (minimum trzy: zazwyczaj jedno kontrolne plus dwa lub więcej aktywnych warunków), główny wynik, strukturę porównania (każde ramię vs. kontrolne, wszystkie porównania parami lub hierarchiczna sekwencja) oraz strategię kontroli błędu rodzinnego — najczęściej poprawkę Bonferroniego, test Dunnetta dla porównań ramienia z kontrolnym lub procedurę bramkowania dla uporządkowanych hipotez.
Kwalifikujący się uczestnicy (lub klastry, lub jednostki) są losowo przydzielani do jednego z ramion przy użyciu z góry ustalonego stosunku alokacji. Równa alokacja między ramiona maksymalizuje moc na ramię; nierówna alokacja — więcej uczestników w ramieniu kontrolnym — może być bardziej efektywna, gdy dane z ramienia kontrolnego służą wielu porównaniom. Randomizacja stratyfikowana lub blokowa jest często stosowana w celu zrównoważenia czynników prognostycznych.
Każde ramię otrzymuje przydzieloną interwencję lub warunek przez cały okres trwania badania. Ślepą próbę uczestników, opiekunów i oceniających wyniki stosuje się tam, gdzie jest to możliwe, aby zapobiec zróżnicowanym błędom. Kontrole wierności operacyjnej potwierdzają, że każde ramię jest realizowane zgodnie ze specyfikacją przez cały okres trwania badania.
Główny wynik i wszelkie z góry określone wyniki drugorzędne są mierzone w wyznaczonych punktach czasowych dla wszystkich uczestników. Zapisywane są wszystkie dane, w tym dane od uczestników, którzy odbiegają od protokołu lub wypadają z badania; zasady zamiaru leczenia (intention-to-treat) są stosowane w analizie głównej w celu zachowania integralności randomizacji.
Wyniki w każdym aktywnym ramieniu są porównywane z kontrolnym (lub między sobą) przy użyciu z góry określonych testów statystycznych i skorygowanych progów istotności. Wielkości efektów i przedziały ufności są raportowane dla każdego porównania. Jeśli projekt jest zgodny z ramami wieloramiowymi wieloetapowymi (MAMS), analizy pośrednie mogą eliminować słabo działające ramiona przed ostatnim etapem, oszczędzając zasoby bez naruszania kontroli błędów.
Częste pułapki
- Niedostateczna korekta wielokrotności — przeprowadzanie porównań parami na nieskorygowanym poziomie alfa zwiększa wskaźnik fałszywie pozytywnych proporcjonalnie do liczby porównań; zawsze należy z góry określić strategię korekty.
- Niedostateczna moc poszczególnych ramion — obliczenie wielkości próby dla badania dwuramieniowego, a następnie podzielenie uczestników na więcej ramion, pozostawia każde porównanie z niedostateczną mocą; moc musi być obliczona dla każdego zaplanowanego kontrastu przy skorygowanym alfa.
- Zanieczyszczenie ramion — jeśli uczestnicy w różnych ramionach wchodzą w interakcje (np. w sali lekcyjnej lub miejscu pracy), efekty leczenia przenikają się między ramionami; wymagana jest randomizacja na poziomie klastra lub fizyczna separacja.
- Dodawanie ramion po randomizacji — wprowadzenie nowego ramienia po rozpoczęciu rekrutacji niszczy równowagę randomizacji i porównywalność; wszystkie ramiona muszą być określone i otwarte jednocześnie.
- Mylenie eksperymentu wieloramiowego z czynnikowym — eksperyment wieloramiowy testuje wzajemnie wykluczające się warunki; eksperyment czynnikowy pozwala na kombinacje; mylenie jednego z drugim prowadzi do błędnie określonych modeli i nieinterpretowalnych wyników.
Najczęściej zadawane pytania
Czym eksperyment wieloramiowy różni się od eksperymentu czynnikowego?
W eksperymencie wieloramiowym uczestnicy otrzymują dokładnie jeden z określonych warunków; ramiona są wzajemnie wykluczające się. W eksperymencie czynnikowym uczestnicy mogą otrzymywać kombinacje poziomów czynników — na przykład zarówno lek, jak i interwencję dietetyczną. Jeśli chcesz badać interakcje między czynnikami, użyj projektu czynnikowego; jeśli chcesz porównać odrębne, niekombinowalne alternatywy, użyj projektu wieloramiowego.
Jak należy korygować wielokrotne porównania?
Najczęstszym podejściem do porównań ramię-vs-kontrola jest test Dunnetta, który jest mocniejszy niż Bonferroni, gdy wszystkie ramiona dzielą ten sam kontrolny. Dla wszystkich porównań parami standardem jest HSD Tukeya. Dla hierarchicznie uporządkowanych hipotez (pierwszorzędnych, drugorzędnych itp.) procedura bramkowania zachowuje moc dla porównania pierwszorzędnego. Strategia korekty musi być z góry określona w protokole przed zebraniem danych.
Czy mogę dodać nowe ramię po rozpoczęciu badania?
Zasadniczo projekty platformowe lub protokoły nadrzędne pozwalają na dodawanie ramion, ale tylko na ściśle określonych zasadach i z karami statystycznymi w celu utrzymania kontroli błędów. W standardowym eksperymencie wieloramiowym dodanie ramienia w połowie badania podważa równowagę randomizacji i porównywalność z ramieniem kontrolnym zgromadzonym przed otwarciem nowego ramienia. Powinno się to robić tylko w ramach z góry zarejestrowanego protokołu adaptacyjnego przeglądanego przez niezależny komitet ds. monitorowania danych.
Jaka jest potrzebna wielkość próby?
Oblicz moc dla każdego zaplanowanego porównania przy skorygowanym poziomie istotności (np. alfa / liczba porównań dla Bonferroniego lub skorygowana wartość krytyczna Dunnetta). Wymagana wielkość próby na ramię jest większa niż w przypadku nieskorygowanego badania dwuramieniowego. Oprogramowanie takie jak R (pakiety multcomp, mvtnorm) lub dedykowane kalkulatory badań klinicznych bezpośrednio wspierają analizę mocy dla badań wieloramiowych.
Czym jest projekt wieloramiowy wieloetapowy (MAMS)?
MAMS to rozszerzenie, które włącza zaplanowane analizy pośrednie do projektu wieloramiowego. Na każdym etapie pośrednim eliminowane są ramiona, które nie osiągają z góry określonego progu aktywności, a rekrutacja jest kontynuowana do pozostałych ramion. Zwiększa to efektywność — mniej uczestników jest narażonych na nieskuteczne leczenie — przy jednoczesnym zachowaniu ogólnej kontroli błędów poprzez z góry określone granice zatrzymania.
Pokrewne metody
Źródła
Royston, P., Parmar, M. K. B., & Qian, W. (2003). Novel designs for multi-arm clinical trials with survival outcomes with an application in ovarian cancer. Statistics in Medicine, 22(14), 2239–2256.
Otwórz odnośnik DOISkopiowano.Multi-arm bandit. Wikipedia.
Otwórz odnośnik do publikacjiSkopiowano.