Metaanalityczne badanie dokładności diagnostycznej
- Autor metody
- Moses, Shapiro & Littenberg (SROC framework, 1993); Reitsma et al. (bivariate model, 2005)
- Rok
- 1993–2005 (foundational models)
- Typ
- Quantitative systematic synthesis
- Rodzina
- Clinical / epidemiology
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Metaanalityczne badanie dokładności diagnostycznej systematycznie identyfikuje i agreguje dane dotyczące czułości i swoistości z wielu pierwotnych badań dokładności diagnostycznej.
Wykorzystując model dwuwymiarowy lub hierarchiczny model podsumowujący krzywej ROC (HSROC), generuje wspólne podsumowanie zdolności testu do prawidłowej klasyfikacji osób chorych i zdrowych w różnych ustawieniach klinicznych, uwzględniając nieodłączny kompromis między czułością a swoistością.
Intuicja stojąca za metodą
Kiedy pojedyncze badanie zadaje pytanie „jak dobrze ten test krwi wykrywa raka?”, odpowiedź zależy od wybranego progu, populacji pacjentów i losowych wahań. Metaanalityczne badanie dokładności diagnostycznej gromadzi wszystkie porównywalne badania pierwotne, ekstrahuje ich tabele kontyngencji 2×2 i dopasowuje model statystyczny, który wspólnie szacuje czułość i swoistość, jednocześnie uznając, że badania nieuchronnie różnią się progiem i populacją. Wynikiem jest podsumowująca krzywa ROC i zagregowany punkt pracy – dostarczając klinicystom i twórcom wytycznych najlepszych dostępnych dowodów na temat rzeczywistej wartości diagnostycznej testu.
Historia
Statystyczne agregowanie danych dotyczących dokładności testów diagnostycznych rozpoczęło się na dobre od metody podsumowującej krzywej ROC (SROC) Mosesa, Shapiro i Littenberga z 1993 r., która dopasowywała linię regresji w przestrzeni diagnostycznego wskaźnika szans. Irwig i in. (1994) oraz Lijmer i in. (1999) udokumentowali wpływ wad projektowych badań na oszacowania dokładności. Rutter i Gatsonis (2001) zaproponowali hierarchiczny model SROC. Przełom nastąpił wraz z Reitsma i in. (2005), których dwuwymiarowy model efektów losowych stał się standardowym podejściem. Cochrane Collaboration utworzyła dedykowaną grupę roboczą ds. dokładności testów diagnostycznych i opublikowała pierwszy rozdział podręcznika w 2010 r. Wytyczne dotyczące raportowania PRISMA-DTA zostały opublikowane w 2018 r., dalsze standaryzując dziedzinę.
Kiedy stosować
Użyj metaanalitycznego badania dokładności diagnostycznej, gdy istnieje wiele pierwotnych badań dokładności diagnostycznej tego samego testu indeksowego i stanu docelowego, a oszacowanie zbiorcze wydajności testu jest potrzebne do wytycznych klinicznych, oceny technologii medycznych lub zaleceń dotyczących praktyki opartej na dowodach. Metoda wymaga dostępu do danych tabeli kontyngencji 2×2 (lub wystarczających informacji do jej odtworzenia) z co najmniej trzech do pięciu badań pierwotnych; mniejsza liczba badań sprawia, że model dwuwymiarowy jest niestabilny. Nie należy stosować tego podejścia, gdy badania pierwotne są zbyt heterogeniczne pod względem populacji pacjentów, standardu referencyjnego lub kontekstu klinicznego, aby uzasadnić agregację – zamiast tego należy przeprowadzić narracyjną przegląd systematyczny. Unikaj prostszego agregowania jednowymiarowego czułości i swoistości oddzielnie, ponieważ ignoruje to krytyczną korelację między tymi dwoma miarami, napędzaną przez próg.
Ograniczenia i uwagi
- Wymaga co najmniej 5–10 badań pierwotnych z danymi 2×2 możliwymi do ekstrakcji; model dwuwymiarowy staje się niestabilny przy mniejszej liczbie badań.
- Wyniki są tak samo ważne, jak uwzględnione badania pierwotne – wysokie ryzyko błędu w badaniach pierwotnych (np. projekt z przypadkami i grupą kontrolną, niedoskonały standard referencyjny) zawyża szacowaną dokładność.
- Znaczna heterogeniczność między badaniami, często spowodowana różnicami w spektrum pacjentów i progu, często sprawia, że pojedyncze zagregowane oszacowanie jest mylące.
- Nie można dostosować do kowariatów wewnątrz badania; metaregresja jest ograniczona do zmiennych na poziomie badania i jest podatna na błąd ekologiczny.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Zapewnia najwyższy poziom dowodów na dokładność testu diagnostycznego poprzez połączenie danych z wielu niezależnych badań.
- Modele dwuwymiarowy i HSROC prawidłowo uwzględniają kompromis między czułością a swoistością wynikający ze zmienności progu między badaniami.
- Kwantyfikuje heterogeniczność między badaniami i pozwala na badanie jej źródeł poprzez analizy podgrup i metaregresję.
- Generuje region predykcji, który przekazuje, jakiej dokładności można oczekiwać w nowym ustawieniu klinicznym – bardziej użyteczny w praktyce niż sam region ufności.
- Zgodność z ustalonymi standardami raportowania (PRISMA-DTA) i wymaganą metodologią dla przeglądów Cochrane DTA.
Zastosowania
- Ocena dokładności testów punktu opieki (point-of-care tests) dla chorób zakaźnych (np. szybkich testów antygenowych na grypę, SARS-CoV-2 lub malarię).
- Ocena modalności obrazowania (CT, MRI, ultrasonografia) w wykrywaniu raka, chorób naczyniowych lub patologii narządów.
- Porównanie progów biomarkerów do potwierdzania lub wykluczania stanów, takich jak sepsa, ostry zawał mięśnia sercowego lub zatorowość płucna.
- Dostarczanie dowodów do zaleceń wytycznych klinicznych dotyczących wyboru testu do stosowania przy różnych poziomach częstości występowania lub w różnych grupach ryzyka klinicznego.
- Oceny technologii medycznych wymagające oszacowania czułości i swoistości do wypełnienia modeli decyzyjnych.
- Identyfikacja luk w pierwotnych badaniach dokładności diagnostycznej, gdzie ograniczenia metodologiczne lub brakujące populacje uzasadniają dalsze badania.
Jak to działa
Jak to działa
Przeprowadzane jest kompleksowe przeszukiwanie literatury w wielu bazach danych (MEDLINE, Embase itp.) przy użyciu ustrukturyzowanej strategii łączącej terminy dotyczące testu indeksowego, stanu docelowego i projektu badania. Badania są przesiewane pod kątem wstępnie określonych kryteriów kwalifikowalności, które definiują populację pacjentów, standard referencyjny i dopuszczalne projekty badań. QUADAS-2 jest zazwyczaj stosowany do oceny ryzyka błędu i stosowalności każdego uwzględnionego badania.
Z każdego kwalifikującego się badania recenzenci ekstrahują tabelę 2×2 (wyniki prawdziwie dodatnie, fałszywie dodatnie, fałszywie ujemne, wyniki prawdziwie ujemne) przy zgłoszonym progu. Gdy zgłoszono wiele progów, wybiera się najbardziej klinicznie istotny lub próg najbliższy predefiniowanemu celowi. Rejestrowane są również kowariaty na poziomie badania – takie jak projekt badania (prospektywne vs. retrospektywne), spektrum pacjentów i standard referencyjny – do potencjalnych analiz podgrup lub metaregresji.
Z każdej tabeli 2×2 oblicza się czułość (TP/(TP+FN)) i swoistość (TN/(TN+FP) wraz z ich przedziałami ufności. Stosuje się transformacje logitowe w celu stabilizacji wariancji przed agregacją. Pozytywne i negatywne wskaźniki prawdopodobieństwa oraz diagnostyczne wskaźniki szans mogą być również obliczane jako wtórne wskaźniki.
Wzór
\text{Sensitivity} = TP/(TP+FN),\quad \text{Specificity} = TN/(TN+FP)Dwuwymiarowy model efektów losowych (Reitsma i in., 2005) wspólnie modeluje logit-czułość i logit-swoistość w badaniach, jawnie uwzględniając ich korelację (wynikającą ze zmienności progu). Alternatywna parametryzacja – model HSROC (Rutter i Gatsonis, 2001) – bezpośrednio szacuje podsumowującą krzywą ROC. Oba modele są równoważne w pewnych warunkach; model dwuwymiarowy jest preferowany, gdy celem jest podsumowujący punkt pracy.
Zagregowane oszacowania z modelu dwuwymiarowego są odwracane do skali czułości/swoistości i naniesione jako punkt podsumowujący wraz z jego 95% regionem ufności i 95% regionem predykcji w przestrzeni ROC. Krzywa HSROC jest nakładana, aby przekazać, jak dokładność zmienia się w zależności od progów. Ta grafika jest centralnym narzędziem komunikacji dla twórców wytycznych oceniających test.
Heterogeniczność czułości i swoistości jest kwantyfikowana przy użyciu komponentów wariancji z modelu dwuwymiarowego. Źródła heterogeniczności są badane poprzez wstępnie określone analizy podgrup (np. według projektu badania, spektrum pacjentów, standardu referencyjnego) lub metaregresję na kowariatach na poziomie badania. Błąd publikacji, choć trudniejszy do oceny w badaniach diagnostycznych niż w interwencyjnych, może być badany za pomocą wykresów lejkowych diagnostycznego wskaźnika szans.
Częste pułapki
- Agregowanie czułości i swoistości oddzielnie, jakby były niezależne – ignoruje to negatywną korelację wywołaną zmiennością progu i prowadzi do obciążonych oszacowań zbiorczych; zawsze używaj modelu dwuwymiarowego lub HSROC.
- Uwzględnianie pierwotnych badań o projekcie z przypadkami i grupą kontrolną bez analizy wrażliwości – te badania zawyżają czułość i swoistość w porównaniu z projektami kohortowymi i powinny być oceniane oddzielnie.
- Raportowanie tylko regionu ufności wokół punktu zbiorczego bez regionu predykcji – region predykcji pokazuje, gdzie prawdopodobnie znajdzie się nowe badanie i jest klinicznie istotną miarą niepewności.
- Ignorowanie roli standardu referencyjnego – niedoskonałe standardy referencyjne mogą w znaczący sposób obciążać zarówno czułość, jak i swoistość; oceniaj jakość standardu referencyjnego w ocenie ryzyka błędu i omawiaj jego wpływ.
- Nierejestrowanie protokołu prospektywnie – bez wstępnej rejestracji, decyzje dotyczące podgrup podejmowane post-hoc stwarzają ryzyko zawyżonych wyników fałszywie dodatnich.
Najczęściej zadawane pytania
Jaka jest różnica między modelem dwuwymiarowym a modelem HSROC?
Oba modele uwzględniają korelację między czułością a swoistością. Model dwuwymiarowy (Reitsma 2005) parametryzuje bezpośrednio w kategoriach logit-czułości i logit-swoistości i jest preferowany, gdy głównym celem jest podsumowujący punkt pracy. Model HSROC (Rutter i Gatsonis 2001) parametryzuje w kategoriach dokładności i progu i naturalnie generuje krzywą ROC. Przy założeniu braku kowariatów oba modele są matematycznie równoważne, więc wybór jest głównie kwestią nacisku i dostępności oprogramowania.
Ile badań potrzebuję, aby dopasować model dwuwymiarowy?
Często podaje się minimum około 5 badań, ale model dwuwymiarowy ma 5 parametrów i może być niestabilny przy mniejszej liczbie niż 10 badań, zwłaszcza gdy heterogeniczność jest wysoka. Przy bardzo małej liczbie badań bardziej uczciwe jest prostsze podejście, takie jak raportowanie mediany czułości i swoistości z zakresami, lub dopasowanie modelu jednowymiarowego dla każdej miary oddzielnie, przy jednoczesnym uznaniu ograniczenia.
Czy powinienem uwzględniać badania, które wykorzystują projekt z przypadkami i grupą kontrolną?
Badania dokładności diagnostycznej oparte na projekcie z przypadkami i grupą kontrolną – gdzie przypadki są rekrutowane z populacji z potwierdzoną chorobą, a kontrole z populacji bez potwierdzonej choroby – zazwyczaj zawyżają dokładność, ponieważ wykluczają trudne diagnostycznie pacjentów pośrednich, których spotyka się w praktyce klinicznej. QUADAS-2 oznacza to jako wysokie ryzyko błędu selekcji pacjentów. Najlepszą praktyką jest przeprowadzenie analizy wrażliwości wykluczającej takie badania, zamiast agregowania wszystkich projektów bez rozróżnienia.
Jak radzić sobie z badaniami, które zgłaszają wiele progów?
Jeśli badania zgłaszają dane dla wielu progów, możesz albo wybrać jeden próg na badanie (najlepiej z góry określony w protokole), albo użyć rozszerzeń wieloprogowego modelu dwuwymiarowego, które uwzględniają wszystkie punkty progowe. Mieszanie podejść z jednym progiem i wieloma progami bez zasadniczej reguły wprowadza niespójność i powinno być unikane.
Jakich wytycznych dotyczących raportowania powinienem przestrzegać?
Oświadczenie PRISMA-DTA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses of Diagnostic Test Accuracy Studies), opublikowane w 2018 r. przez McInnes i in. w JAMA, jest standardową ramą raportowania. Rozszerza ono ogólną listę kontrolną PRISMA o pozycje specyficzne dla przeglądów dokładności diagnostycznej, w tym opis stanu docelowego, testu indeksowego, standardu referencyjnego oraz oceny ryzyka błędu QUADAS-2.
Pokrewne metody
Źródła
Reitsma, J. B., Glas, A. S., Rutjes, A. W., Scholten, R. J., Bossuyt, P. M., & Zwinderman, A. H. (2005). Bivariate analysis of sensitivity and specificity produces informative summary measures in diagnostic reviews. Journal of Clinical Epidemiology, 58(10), 982–990.
Otwórz odnośnik DOISkopiowano.Macaskill, P., Gatsonis, C., Deeks, J. J., Harbord, R. M., & Takwoingi, Y. (2010). Analysing and Presenting Results. In J. J. Deeks, P. M. Bossuyt, & C. Gatsonis (Eds.), Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy. The Cochrane Collaboration.
Otwórz odnośnik do publikacjiSkopiowano.