Skip to content
Назад к результатам поиска

Мета-аналитическое исследование диагностической точности

Автор метода
Moses, Shapiro & Littenberg (SROC framework, 1993); Reitsma et al. (bivariate model, 2005)
Год
1993–2005 (foundational models)
Тип
Quantitative systematic synthesis
Семейство
Clinical / epidemiology

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Мета-аналитическое исследование диагностической точности систематически выявляет и объединяет данные чувствительности и специфичности из множества первичных исследований точности диагностических тестов.

Используя бивариантную или иерархическую сводную ROC-модель (HSROC), оно дает совместную оценку способности теста правильно классифицировать больных и здоровых лиц в различных клинических условиях, учитывая присущий компромисс между чувствительностью и специфичностью.

Интуиция метода

Когда одно исследование задает вопрос «насколько хорошо этот анализ крови выявляет рак?», ответ зависит от выбранного порога, популяции пациентов и случайных вариаций. Мета-аналитическое исследование диагностической точности собирает все сопоставимые первичные исследования, извлекает их таблицы 2×2 и подгоняет статистическую модель, которая совместно оценивает чувствительность и специфичность, признавая при этом, что исследования неизбежно различаются по порогу и популяции. Результатом является сводная ROC-кривая и объединенная рабочая точка — предоставляющая клиницистам и разработчикам руководств наилучшие доступные доказательства истинной диагностической ценности теста.

История

Статистическое объединение данных о точности диагностических тестов началось всерьез с метода сводной ROC-кривой (SROC) Moses, Shapiro и Littenberg (1993), который подгонял регрессионную линию в пространстве отношения диагностических шансов. Irwig et al. (1994) и Lijmer et al. (1999) задокументировали влияние недостатков дизайна исследования на оценки точности. Rutter и Gatsonis (2001) предложили иерархическую модель SROC. Важным достижением стала работа Reitsma et al. (2005), чья бивариантная модель случайных эффектов стала стандартным подходом. Кокрейновское сотрудничество учредило специальную рабочую группу по диагностической точности тестов и опубликовало первую главу своего руководства в 2010 году. Руководство по отчетности PRISMA-DTA было опубликовано в 2018 году, далее стандартизируя область.

Когда применять

Используйте мета-аналитическое исследование диагностической точности, когда существует несколько первичных исследований диагностической точности одного и того же индексного теста и целевого состояния, и требуется сводная оценка эффективности теста для клинических руководств, оценки медицинских технологий или рекомендаций по доказательной практике. Метод требует доступа к данным таблицы 2×2 (или достаточной информации для ее реконструкции) как минимум из трех-пяти первичных исследований; меньшее количество исследований делает бивариантную модель нестабильной. Не используйте этот подход, когда первичные исследования слишком гетерогенны по популяции пациентов, эталонному стандарту или клиническому контексту, чтобы оправдать объединение — вместо этого проведите нарративный систематический обзор. Избегайте более простого унивариантного объединения чувствительности и специфичности по отдельности, поскольку это игнорирует критическую корреляцию между двумя показателями, обусловленную порогом.

Ограничения и замечания

  • Требуется как минимум 5–10 первичных исследований с извлекаемыми данными 2×2; бивариантная модель становится нестабильной при меньшем количестве исследований.
  • Результаты действительны только настолько, насколько действительны включенные первичные исследования — высокий риск систематической ошибки в первичных исследованиях (например, дизайн случай-контроль, несовершенный эталонный стандарт) завышает оцененную точность.
  • Существенная гетерогенность между исследованиями, часто обусловленная различиями в спектре пациентов и порогах, часто делает единую объединенную оценку вводящей в заблуждение.
  • Невозможно скорректировать ковариаты внутри исследования; метарегрессия ограничена переменными на уровне исследования и подвержена экологической ошибке.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Предоставляет наивысший уровень доказательств точности диагностического теста путем объединения данных из множества независимых исследований.
  • Бивариантная и HSROC-модели корректно учитывают компромисс между чувствительностью и специфичностью, возникающий из-за вариации порогов между исследованиями.
  • Количественно оценивает гетерогенность между исследованиями и позволяет исследовать ее источники посредством анализов подгрупп и метарегрессии.
  • Создает прогнозный интервал, который показывает, какую точность ожидать в новой клинической ситуации — более полезный для практики, чем просто доверительный интервал.
  • Соответствует установленным стандартам отчетности (PRISMA-DTA) и требуемой методологии для обзоров Cochrane DTA.

Применение

  • Оценка точности экспресс-тестов для инфекционных заболеваний (например, экспресс-тестов на антигены гриппа, SARS-CoV-2 или малярии).
  • Оценка методов визуализации (КТ, МРТ, УЗИ) для выявления рака, сосудистых заболеваний или патологий органов.
  • Сравнение пороговых значений биомаркеров для подтверждения или исключения состояний, таких как сепсис, острый инфаркт миокарда или тромбоэмболия легочной артерии.
  • Предоставление доказательств для рекомендаций клинических руководств о том, какой тест использовать при различных уровнях распространенности или клинических стратах риска.
  • Оценки медицинских технологий, требующие оценки чувствительности и специфичности для заполнения моделей принятия решений.
  • Выявление пробелов в первичных исследованиях диагностической точности, где методологические ограничения или отсутствующие популяции оправдывают дальнейшие исследования.

Как это работает

Как это работает

1

Проводится всесторонний поиск литературы в нескольких базах данных (MEDLINE, Embase и т. д.) с использованием структурированной стратегии, объединяющей термины для индексного теста, целевого состояния и дизайна исследования. Исследования отбираются по заранее заданным критериям соответствия, определяющим популяцию пациентов, эталонный стандарт и допустимые дизайны исследований. Для оценки риска систематической ошибки и применимости каждого включенного исследования обычно применяется QUADAS-2.

2

Из каждого подходящего исследования рецензенты извлекают таблицу 2×2 (истинно положительные, ложноположительные, ложноотрицательные, истинноотрицательные) при сообщенном пороге. Когда сообщается несколько порогов, выбирается наиболее клинически значимый или порог, ближайший к заранее заданному. Также записываются ковариаты на уровне исследования — такие как дизайн исследования (проспективный против ретроспективного), спектр пациентов и эталонный стандарт — для возможного анализа подгрупп или метарегрессионного анализа.

3

Из каждой таблицы 2×2 рассчитываются чувствительность (TP/(TP+FN)) и специфичность (TN/(TN+FP)) вместе с их доверительными интервалами. Для стабилизации дисперсии перед объединением применяются логит-преобразования. В качестве вторичных показателей также могут быть рассчитаны положительные и отрицательные отношения правдоподобия и отношения диагностических шансов.

Формула
\text{Sensitivity} = TP/(TP+FN),\quad \text{Specificity} = TN/(TN+FP)
4

Бивариантная модель случайных эффектов (Reitsma et al., 2005) совместно моделирует логит-чувствительность и логит-специфичность в различных исследованиях, явно учитывая их корреляцию (возникающую из-за вариации порогов). Альтернативная параметризация — модель HSROC (Rutter and Gatsonis, 2001) — напрямую оценивает сводную ROC-кривую. Обе модели эквивалентны при определенных условиях; бивариантная модель предпочтительнее, когда целью является сводная рабочая точка.

5

Объединенные оценки из бивариантной модели преобразуются обратно в шкалу чувствительности/специфичности и отображаются как сводная точка с 95% доверительным интервалом и 95% прогнозным интервалом в пространстве ROC. Кривая HSROC накладывается для отображения того, как точность изменяется в зависимости от порогов. Эта графика является основным инструментом коммуникации для разработчиков руководств, оценивающих тест.

6

Гетерогенность чувствительности и специфичности количественно оценивается с использованием компонент дисперсии из бивариантной модели. Источники гетерогенности исследуются посредством заранее определенных анализов подгрупп (например, по дизайну исследования, спектру пациентов, эталонному стандарту) или метарегрессии по ковариатам на уровне исследования. Систематическая ошибка публикации, хотя ее труднее оценить для диагностических исследований, чем для вмешательств, может быть исследована с помощью воронкообразных диаграмм отношения диагностических шансов.

Частые ошибки

  • Объединение чувствительности и специфичности по отдельности, как если бы они были независимыми — это игнорирует отрицательную корреляцию, вызванную вариацией порогов, и дает смещенные сводные оценки; всегда используйте бивариантную или HSROC-модель.
  • Включение первичных исследований дизайна случай-контроль без анализа чувствительности — они завышают чувствительность и специфичность по сравнению с когортными дизайнами и должны оцениваться отдельно.
  • Представление только доверительного интервала вокруг сводной точки без прогнозного интервала — прогнозный интервал показывает, где, вероятно, окажется новое исследование, и является клинически значимым показателем неопределенности.
  • Игнорирование роли эталонного стандарта — несовершенные эталонные стандарты могут нетривиально смещать как чувствительность, так и специфичность; оценивайте качество эталонного стандарта при оценке риска систематической ошибки и обсуждайте его влияние.
  • Невозможность заблаговременно зарегистрировать протокол — без предварительной регистрации решения о подгруппах постфактум создают риск завышенных ложноположительных результатов.

Часто задаваемые вопросы

В чем разница между бивариантной моделью и моделью HSROC?

Обе модели учитывают корреляцию между чувствительностью и специфичностью. Бивариантная модель (Reitsma 2005) параметризуется непосредственно в терминах логит-чувствительности и логит-специфичности и предпочтительна, когда основной целью является сводная рабочая точка. Модель HSROC (Rutter and Gatsonis, 2001) параметризуется в терминах точности и порога и естественным образом создает ROC-кривую. При предположении отсутствия ковариат обе модели математически эквивалентны, поэтому выбор в основном зависит от акцента и доступности программного обеспечения.

Сколько исследований мне нужно для подгонки бивариантной модели?

Часто упоминается минимум около 5 исследований, но бивариантная модель имеет 5 параметров и может быть нестабильной при менее чем 10 исследованиях, особенно при высокой гетерогенности. При очень малом количестве исследований более честным подходом является представление медианной чувствительности и специфичности с диапазонами или подгонка унивариантной модели для каждого показателя отдельно, признавая ограничения.

Следует ли мне включать исследования, использующие дизайн случай-контроль?

Диагностические исследования точности дизайна случай-контроль — где случаи набираются из популяций с подтвержденным заболеванием, а контрольные группы — из популяций без подтвержденного заболевания — обычно завышают точность, поскольку они исключают диагностически сложные промежуточные пациенты, встречающиеся в клинической практике. QUADAS-2 отмечает это как высокий риск ошибки отбора пациентов. Лучшей практикой является проведение анализа чувствительности, исключающего такие исследования, а не объединение всех дизайнов без разбора.

Как мне обрабатывать исследования, сообщающие о нескольких порогах?

Если исследования сообщают данные при нескольких порогах, вы можете либо выбрать один порог на исследование (в идеале заранее определенный в вашем протоколе), либо использовать расширения бивариантной модели для нескольких порогов, которые включают все точки порогов. Смешивание подходов с одним порогом и несколькими порогами без принципиального правила вносит несогласованность и должно быть избегаемо.

Какого руководства по отчетности мне следует придерживаться?

Стандартом отчетности является заявление PRISMA-DTA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses of Diagnostic Test Accuracy Studies), опубликованное в 2018 году McInnes et al. в JAMA. Оно расширяет общий контрольный список PRISMA пунктами, специфичными для обзоров диагностической точности, включая описание целевого состояния, индексного теста, эталонного стандарта и оценки риска систематической ошибки QUADAS-2.

Похожие методы

Источники

  1. Reitsma, J. B., Glas, A. S., Rutjes, A. W., Scholten, R. J., Bossuyt, P. M., & Zwinderman, A. H. (2005). Bivariate analysis of sensitivity and specificity produces informative summary measures in diagnostic reviews. Journal of Clinical Epidemiology, 58(10), 982–990.

    Открыть ссылку DOI
    Скопировано.
  2. Macaskill, P., Gatsonis, C., Deeks, J. J., Harbord, R. M., & Takwoingi, Y. (2010). Analysing and Presenting Results. In J. J. Deeks, P. M. Bossuyt, & C. Gatsonis (Eds.), Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy. The Cochrane Collaboration.

    Открыть ссылку на публикацию
    Скопировано.