诊断准确性研究设计
- 提出者
- Bossuyt, Reitsma, and STARD group (2003); clinical epidemiology pioneers
- 年份
- 2003-2015
- 类型
- Research Design
- 类别
- diagnostic evaluation
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
诊断准确性研究旨在评估一项新的诊断测试(或生物标志物、影像学方法、临床评估)与参照标准(金标准)相比,在检测疾病存在或缺失方面的准确性。自2003年以来,诊断准确性研究已由STARD(诊断准确性研究报告标准)倡议标准化,它们在临床医学中至关重要,决定了新测试能否以及如何改善患者的诊断和治疗。
方法背后的直觉
设想一项声称能早期检测癌症的新血液检测。一项诊断准确性研究招募了500名患者:250名确诊癌症(经活检证实)和250名无癌症。所有人都接受了新的血液检测。结果:该检测检测出了250例癌症中的240例(敏感性96%——擅长发现癌症),但错误地将250名健康人中的50例标记为阳性(特异性20%——假阳性较多)。临床医生使用似然比:如果检测结果为阳性,患癌症的可能性有多大?如果为阴性,患癌症的可能性有多小?高敏感性意味着“阴性结果可排除疾病”(良好的筛查测试)。高特异性意味着“阳性结果可确诊疾病”(良好的确诊测试)。敏感性和特异性之间的权衡是核心:您无法同时最大化两者。
历史学
诊断准确性研究起源于20世纪初的流行病学(敏感性和特异性由Yerushalmy于1947年定义)。该领域在20世纪90年代得到了加强,Sackett、Jaeschke等人发表了强调有效性和临床效用的用户指南。STARD(诊断准确性研究报告标准)倡议由Bossuyt及其同事于2003年发起,为研究设计和报告提供了系统性指南。STARD已成为金标准,被各大期刊和资助机构(NIH、欧盟)采纳。进展包括贝叶斯方法、诊断研究的荟萃分析(系统评价)以及对实际应用的重视。
何时使用
当以下情况时使用诊断准确性研究:(1) 开发或评估新的诊断测试、影像学方法或生物标志物,(2) 比较两种诊断测试以确定哪种更优,(3) 确定测试能否在临床人群中准确检测疾病,(4) 评估测试在亚组(按年龄、性别、疾病分期、合并症)中是否表现相似,(5) 为测试采纳提供临床实践指南信息,(6) 评估无症状人群的筛查测试,(7) 评估临床决策中的诊断测试(是否指导治疗选择?)。
局限与注意事项
- 参照标准定义:“金标准”可能并不完美或普遍认同。如果参照标准有缺陷,整个研究都有缺陷。
- 谱偏倚:如果研究人群不能代表疾病的临床谱(例如,仅重症病例,遗漏轻症病例),准确性估计就无法推广。
- 阈值选择:对于连续性测试(例如,生物标志物水平),截止值的选择决定了敏感性/特异性的权衡。不同的阈值会产生不同的准确性。研究必须测试一系列阈值或证明单个截止值的合理性。
- 不完美的盲法:如果测试操作者知道疾病状态,或者参照标准评估者知道指标测试结果,偏倚会夸大准确性。
- 发表偏倚:阴性或不确定的准确性研究可能未被发表,从而夸大了已发表的准确性估计。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 直接且透明:清晰地回答“该测试是否能准确检测疾病?”
- 标准化方法:STARD指南确保报告一致性并防止偏倚。
- 实际相关性:结果直接为临床决策和测试采纳提供信息。
- 多项指标:敏感性、特异性、预测值、似然比和ROC曲线提供了对测试性能的细致描绘。
- 亚组评估:可以评估测试在不同人群中是否同样有效(对公平性很重要)。
应用
- 心血管疾病:评估肌钙蛋白测定在急性心肌梗死诊断中的应用;冠状动脉钙积分用于冠心病预测。
- 癌症诊断:评估新的肿瘤标志物、影像学(MRI、PET)或活检技术以实现早期检测。
- 传染病:评估快速诊断测试(例如,流感、COVID-19、疟疾的快速测试)与金标准(PCR、培养)的比较。
- 神经系统疾病:评估阿尔茨海默病、帕金森病或多发性硬化症的诊断测试(脑脊液生物标志物、影像学)。
- 临床评分和预测模型:将诊断评分系统(例如,CURB-65用于肺炎严重程度)与临床结局参照标准进行验证。
使用方式
使用方式
定义目标疾病或病症(例如,前列腺癌、冠状动脉疾病、2型糖尿病)。定义指标测试:正在评估的新测试(例如,新的血液标志物、影像学发现、临床评分)。定义参照标准:公认的疾病诊断“金标准”(例如,癌症活检、冠心病血管造影、糖尿病口服葡萄糖耐量试验)。招募具有代表性的个体样本:混合了患病者和未患病者,涵盖不同年龄、疾病分期和合并症,以反映临床实践。盲法:进行指标测试的人员必须对疾病状态保密(以避免解释中的无意识偏倚)。评估参照标准的人员必须对指标测试结果保密。对所有参与者(或具有代表性的子样本)进行两种测试。记录并核实疾病状态。对两种测试使用客观、标准化的解释标准。记录无法接受任一测试的参与者(拒绝、禁忌症)。
公式
Recruit representative sample of individuals (both with and without target disease); administer index test (new test) and reference standard (gold standard) to all; ensure blinding: test operator blind to disease status, reference standard assessor blind to index test result.
构建2×2列联表:行=指标测试(阳性/阴性),列=疾病存在/缺失。计算真阳性(TP:测试阳性,疾病存在)、假阳性(FP:测试阳性,疾病缺失)、真阴性(TN:测试阴性,疾病缺失)、假阴性(FN:测试阴性,疾病存在)。计算关键指标:敏感性(Sn)= TP / (TP + FN) = 疾病存在时测试阳性的概率。特异性(Sp)= TN / (TN + FP) = 疾病缺失时测试阴性的概率。阳性似然比(LR+)= Sn / (1 − Sp) = 测试结果增加疾病可能性的程度。阴性似然比(LR−)= (1 − Sn) / Sp = 测试结果降低疾病可能性的程度。阳性预测值(PPV)= TP / (TP + FP) = 测试阳性时患病的概率(取决于患病率)。阴性预测值(NPV)= TN / (TN + FN) = 测试阴性时未患病的概率。使用二项式或Wilson评分方法计算95%置信区间。绘制受试者工作特征(ROC)曲线(不同测试阈值下的敏感性 vs 1−特异性);计算曲线下面积(AUC):0.5 = 随机猜测,0.7–0.8 = 可接受,0.8–0.9 = 优秀,>0.9 = 出色。
公式
Construct 2×2 table (index test × disease presence). Calculate Sensitivity = TP/(TP+FN), Specificity = TN/(TN+FP), LR+ = Sensitivity/(1-Specificity), LR− = (1-Sensitivity)/Specificity, AUC of ROC curve.
高敏感性(例如,>95%)是筛查测试的理想选择:阴性结果可靠地排除疾病(高NPV)。高特异性(例如,>95%)是确诊测试的理想选择:阳性结果可靠地确诊疾病(高PPV)。LR+ >10是强有力的阳性证据(显著增加疾病可能性)。LR− <0.1是强有力的阴性证据(显著降低疾病可能性)。在临床背景下解释:测试前的概率(人群中疾病患病率)是多少?测试结果通过贝叶斯定理改变它:测试后概率 = (LR+ × 测试前优势比) / (1 + LR+ × 测试前优势比)。例如,如果疾病患病率为10%,LR+为10的测试会将测试后概率提高到约50%。AUC >0.8表明该测试具有临床效用。报告亚组的准确性:测试在男性与女性、年轻人与老年人之间表现是否不同?临床效用还取决于测试成本、安全性和可用性。
公式
Interpret Sensitivity (ability to detect disease), Specificity (ability to exclude disease), LR+/LR− (how likelihood of disease shifts with test result); report confidence intervals; assess clinical utility and threshold selection.
常见陷阱
- 在应用于不同临床人群时使用研究人群的疾病患病率:预测值(PPV、NPV)取决于疾病患病率。在低患病率人群中PPV较低的测试,在高患病率人群中可能具有高PPV。改用似然比,它与患病率无关。
- 假设指标测试独立于参照标准:如果两种测试都测量相同的生物标志物,由于相关性,准确性会被人为地夸大,而不是真正的独立检测。使用真正独立的测试。
- 样本量小:参与者少于100人的研究通常具有非常宽的置信区间,精度不足。目标是≥100例患病者和100例非患病者。
- 忽略谱偏倚:仅纳入重症病例或仅纳入轻症病例会使敏感性或特异性产生偏倚。招募疾病谱中具有代表性的病例。
- 过度解读敏感性/特异性:在不知道患病率的情况下,仅凭这些无法了解临床效用。报告似然比和预测值;使用似然比列线图将测试结果转化为临床概率。
常见问题
敏感性与阳性预测值(PPV)有何区别?
敏感性 = 疾病存在时测试阳性的概率。它询问:“如果我患有该疾病,测试会检测出来吗?”高敏感性意味着假阴性少(测试很少漏诊疾病)。PPV = 测试阳性时患病的概率。它询问:“如果我的测试结果为阳性,我是否患有该疾病?”PPV取决于疾病患病率:在患病率高的群体中,同一测试的PPV更高;在患病率低的群体中,PPV更低。敏感性对于给定的测试和阈值是固定的。对于临床实践,PPV通常更重要(您想知道阳性结果是否意味着患病),但它依赖于人群。应同时报告两者,并使用更稳定的似然比,它在不同人群中更稳定。
什么是ROC曲线,AUC代表什么?
ROC(受试者工作特征)曲线绘制敏感性(真阳性率)与1−特异性(假阳性率)的关系图,随着诊断阈值的变化而变化。对于连续性测试(例如,血压、生物标志物水平),每个可能的截止值都会产生不同的敏感性/特异性。ROC曲线显示了这种权衡。AUC(曲线下面积)是ROC曲线下方的面积。AUC = 0.5表示随机猜测(对角线)。AUC = 1.0表示完美区分。指南:AUC 0.5–0.7 = 一般,0.7–0.8 = 可接受,0.8–0.9 = 优秀,>0.9 = 出色。AUC独立于阈值,并考虑了敏感性/特异性权衡的全部范围,有助于比较测试。
什么是似然比,为什么应该使用它?
似然比(LR)是敏感性与(1−特异性)的比值。LR+ = 敏感性 / (1−特异性) 表明阳性测试会使疾病可能性增加多少。LR− = (1−敏感性) / 特异性 表明阴性测试会使疾病可能性降低多少。例如,LR+ = 10意味着阳性测试使患病可能性增加10倍。LR− = 0.1意味着阴性测试使患病可能性降低10倍。为什么使用LR?它们独立于阈值和患病率:在任何人群中,相同的LR都适用,不像PPV/NPV会随患病率而变化。使用贝叶斯定理,您可以将测试前的概率(患病率)通过LR转换为测试后的概率,直接回答“我应该订购这个测试吗?”以及“这个结果对我的病人意味着什么?”
什么是参照标准,为什么它必须是完美的?
参照标准是诊断该疾病的公认“金标准”:癌症活检、冠心病血管造影、COVID-19的PCR。指标测试与之进行比较。如果参照标准不完美(有时会给出错误答案),则整个研究都会受到损害:您无法知道指标测试的差异是由于指标测试错误还是参照标准错误。完美的参照标准是理想的,但通常是不可能的。如果参照标准存在已知的不完美之处,请记录下来并讨论其对结果的影响。估计的敏感性和特异性在技术上是相对于不完美的参照标准而言,而不是相对于真实疾病。要对参照标准的局限性保持透明。
相关方法
参考文献
Bossuyt, P. M., Reitsma, J. B., Bruns, D. E., Gatsonis, C. A., Glasziou, P. P., Irwig, L. M., ... & de Vet, H. C. (2003). Towards complete and accurate reporting of studies of diagnostic accuracy: the STARD initiative. Annals of Internal Medicine, 138(1), 40–44.
打开 DOI 文献已复制。Cohen, J. F., Korevaar, D. A., Altman, D. G., Bruns, D. E., Gatsonis, C. A., Hooft, L., ... & Bossuyt, P. M. (2016). STARD 2015 guidelines for reporting diagnostic accuracy studies: explanation and elaboration. BMJ Open, 6(11), e012799.
打开 DOI 文献已复制。Jaeschke, R., Guyatt, G. H., & Sackett, D. L. (1994). Users' guides to the medical literature. III. How to use an article about a diagnostic test. A. Are the results of the study valid? JAMA, 271(5), 389–391.
打开 DOI 文献已复制。