Skip to content
返回搜索结果

Multiple Imputation — MICE

提出者
Donald B. Rubin
年份
1987
类型
Missing-data handling procedure

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

Multiple Imputation (MI) 是 Donald B. Rubin 于 1987 年正式提出的、用于处理缺失数据的一种原则性统计程序。MI 不会像单次插补那样只替换一次缺失值,而是将缺失值填补 m 次——每次都从缺失数据的后验预测分布中抽取合理的值——从而生成 m 个完整的数据集。每个数据集独立进行分析,然后使用 Rubin 的汇集规则将结果合并为一组估计值。MICE(Multivariate Imputation by Chained Equations,多元链式方程插补)变体由 van Buuren 和 Groothuis-Oudshoorn 于 2011 年推广,它通过依次对每个变量进行条件回归模型插补,将该方法扩展到了混合变量类型。

方法背后的直觉

将缺失值想象成调查问卷中的空白项。多次插补不是像单次猜测那样希望结果最好,而是进行 m 次有根据的猜测——每次猜测都略有不同,反映了对真实值可能是什么的不确定性。这些猜测之间的差异会将不确定性传递到分析中,从而使最终的标准误真实反映情况,而不是人为地缩小。如果你只猜测了一次,你就会假装比实际知道的更多;通过猜测 m 次并合并结果,缺失带来的不确定性会在报告的估计值中得到保留。

历史学

多次插补的正式统计框架由 Donald B. Rubin 开发,并呈现在他 1987 年的专著《Multiple Imputation for Nonresponse in Surveys》中。Rubin 推导出了现在普遍称为 Rubin 规则的汇集规则,该规则以恰当考虑缺失引入的不确定性的方式组合跨插补数据集的估计值。通过 MICE 算法的发展,该方法获得了实际吸引力,该算法通过一系列条件模型顺序插补每个变量,将 Rubin 的框架扩展到混合类型变量的数据集。van Buuren 和 Groothuis-Oudshoorn 于 2011 年在《Journal of Statistical Software》上发表的 R 语言里程碑式软件实现 mice,使该方法在各领域的应用研究者都能接触到,并将 MICE 确立为主导的实现策略。

何时使用

当数据集存在缺失值且缺失机制可能为 MAR 或 MCAR 时,多次插补是适用的。它适用于连续型、分类型、二元型、有序型和混合类型的变量,并适合横截面、纵向和面板数据结构。需要大约 30 的最小样本量。该方法适用于描述性、预测性和关系性研究目的。当缺失为 MNAR 时,标准的多次插补是不够的,必须辅以敏感性分析或选择模型。仅当数据为 MCAR 且缺失数据比例非常小时,列表删除(完整案例分析)才是可接受的;否则,MI 是首选方法。

局限与注意事项

  • 需要 MAR 或 MCAR 假设;没有额外的建模就无法纠正 MNAR 缺失。
  • 与单次插补或列表删除相比,计算量更大,特别是当 m 值较大或数据集较大时。
  • 插补值的质量取决于插补模型——在插补模型中遗漏了缺失值的强预测因子会导致结果有偏。
  • 当缺失比例很高时(高于约 50%),即使是正确指定的多次插补也可能产生宽泛的置信区间。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 在 MAR 下产生无偏估计,与需要更强 MCAR 假设的列表删除不同。
  • 通过 Rubin 的汇集规则将缺失数据的不确定性传播到标准误和置信区间,避免了单次插补的虚假精确性。
  • 在同一个 MICE 框架内处理混合变量类型——连续型、二元型、有序型、名义型。
  • 与几乎任何下游分析模型兼容,无需修改预期分析。
  • 在标准统计软件中得到良好支持(R mice、SPSS MULTIPLE IMPUTATION、Python IterativeImputer / miceforest)。

应用

  • 处理社会和健康科学领域大规模调查数据集中的项目无应答。
  • 为临床试验数据准备分析,当随访测量值缺失时。
  • 纵向和面板研究中参与者随时间流失的情况。
  • 具有不完整字段的行政记录的计量经济学建模。
  • 在任何分析流程中作为预处理步骤,因为下游模型需要完整的数据。

使用方式

使用方式

1

在进行插补之前,会检查缺失模式,以评估其机制是否可能为完全随机缺失(MCAR)或随机缺失(MAR)。MCAR 意味着缺失的概率不依赖于任何已观察到或未观察到的数据。MAR 意味着它可能依赖于已观察到的值,但不依赖于未观察到的缺失值本身。如果机制是完全非随机缺失(MNAR)——即一个值缺失的概率依赖于该值本身——那么简单的多次插补是不够的,需要进行敏感性分析。缺失数据的比例会影响需要多少个插补数据集 m;一个常见的指导原则是 m ≥ 100 × (缺失比例)。

2

MICE 算法会循环遍历每个不完整的变量,并拟合一个回归模型,用所有其他变量(包括先前插补的值)来预测该变量。该模型的后验分布的一个抽样值被用来填补缺失项。该循环对所有不完整的变量重复进行,并迭代进行,直到插补的分布稳定下来——通常是 50 次或更多次迭代。这会产生一个完整的数据集。整个过程会用不同的随机种子从头开始重复 m 次,从而得到 m 个独立插补的完整数据集。插补模型的选择(如预测均值匹配、逻辑回归、分类树等)取决于变量的类型:连续型、二元型、有序型或名义型。

3

m 个完整的数据集中的每一个都将使用研究人员最初打算使用的任何统计模型进行分析——回归、方差分析、结构方程模型等。这一步会产生 m 组参数估计值和标准误,由于 m 个数据集在缺失值填充方式上存在差异,因此所有这些结果都略有不同。

4

使用 Rubin 的规则将 m 组估计值合并为一组。汇集的点估计是 m 个单独估计值的算术平均值。汇集的方差有两个组成部分:平均的组内方差(如果没有缺失数据,分析会给出的结果)和组间方差(由于不知道缺失值而产生的额外不确定性)。组间方差与总方差之比是缺失信息的比例,这是一个有用的诊断指标。自由度会相应调整。结果是一个单一的估计值和置信区间表格,真实地反映了抽样变异性和因缺失数据引起的不确定性。

常见陷阱

  • 将 m 设置得太低——一个常见的经验法则是 m ≥ 5,但对于非微小的缺失比例,需要更高的 m(例如,m ≥ 100 × 缺失比例)才能获得稳定、可重现的估计值。
  • 在插补模型中遗漏结果变量或其他重要预测因子会导致插补有偏;插补模型必须至少与分析模型一样丰富。
  • 在 MNAR 机制下应用多次插补而没有补充敏感性分析,会给出看似有效但可能存在严重偏差的结果。
  • 使用 Rubin 的规则汇集结果假设所有 m 个数据集的分析模型相同,并且已检查 MICE 算法的收敛性——检查插补均值和方差的迹图以验证收敛性。

常见问题

需要多少个插补数据集 (m)?

传统的最小 m = 5 通常太低。一个被广泛引用的实用指南是 m ≥ 100 × (缺失数据比例,以百分比表示),因此 10% 的缺失需要至少 m = 10,30% 的缺失需要至少 m = 30。更高的 m 值可以减少汇集估计值中的蒙特卡洛误差,对于可重现性尤其重要。

MCAR、MAR 和 MNAR 之间有什么区别?

MCAR(完全随机缺失)意味着一个值缺失的概率与任何数据(已观察到或未观察到)都无关——数据是纯粹随机缺失的。MAR(随机缺失)意味着缺失的概率可以依赖于已观察到的值,但不能依赖于未观察到的缺失值本身——一旦你根据已观察到的数据进行条件化,缺失就是随机的。MNAR(非随机缺失)意味着缺失的概率依赖于缺失值本身。多次插补在 MCAR 和 MAR 下是有效的;在 MNAR 下仍然可以运行,但必须辅以敏感性分析。

多次插补会创建真实数据吗?

不。多次插补创建的是从缺失数据分布模型中抽取的合理值;这些不是真实的缺失值。该方法目的不是恢复原始数据,而是为分析模型生成正确考虑缺失引入的不确定性的估计值和标准误。

我可以使用多次插补处理分类或有序变量吗?

是的。MICE 框架通过为每个变量拟合适合其类型的条件模型来处理混合变量类型:对连续变量使用预测均值匹配或线性回归,对二元变量使用逻辑回归,对名义或有序变量使用多项逻辑回归或有序回归,以及使用分类和回归树作为灵活的非参数选项。每个变量依次使用适合其类型的模型进行插补。

相关方法

参考文献

  1. Rubin, D.B. (1987). Multiple Imputation for Nonresponse in Surveys. Wiley.

    打开 DOI 文献
    已复制。
  2. van Buuren, S. & Groothuis-Oudshoorn, K. (2011). mice: Multivariate Imputation by Chained Equations in R. Journal of Statistical Software, 45(3), 1–67.

    打开出版物文献
    已复制。