Skip to content
返回搜索结果

MICE — 多变量链式方程填充

提出者
Stef van Buuren & Karin Groothuis-Oudshoorn
年份
2011
类型
Iterative multiple imputation algorithm
类别
Missing data

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

多变量链式方程填充 (MICE) 是一种处理多变量数据集中缺失数据的迭代程序。该算法由 Stef van Buuren 和 Karin Groothuis-Oudshoorn 通过 R 包 mice (2011) 引入,它使用一个独立的回归模型,以所有其他变量为条件来填充每个缺失的变量,并反复循环遍历变量,直到填充值收敛。其结果是 m 个完整的数据集,这些数据集被单独分析并使用 Rubin 的规则进行合并。

方法背后的直觉

想象一下一个部分填写的填字游戏:每个空白单词都是根据已有的交叉字母填写的。如果新填写的单词揭示了更多的字母,您就会带着新信息重新审视之前的空白。MICE 的工作方式相同——它一次填充一个缺失的列,使用所有其他列作为线索,然后再次审视每一列,迭代进行,直到答案在多个候选谜题中稳定下来。

历史学

链式方程填充的概念基础源于 van Buuren、Boshuizen 和 Knook 在 20 世纪 90 年代初对不完整健康调查数据的研究。完全条件规范框架在 21 世纪初得到正式确立,van Buuren 和 Groothuis-Oudshoorn 于 2011 年发布了 mice R 包,并发表了一篇在《统计软件杂志》上的综合方法论论文,该论文成为被引用数万次的标准参考。

何时使用

当数据是随机缺失 (MAR) 且缺失同时发生在多个变量中时,MICE 是适用的。通过灵活的每个变量模型规范,它适用于连续、二元、有序和计数结果。对于非随机缺失 (MNAR) 的数据(没有辅助模型),对于填充模型变得笨拙的非常高维的数据集,或者当关键变量的缺失率超过 50% 时,它的适用性较差。在低缺失率的完全随机缺失 (MCAR) 下,单次填充或完整案例分析可能就足够了。

局限与注意事项

  • 假设数据是随机缺失 (MAR);违反假设需要进行敏感性分析或模式混合扩展
  • 计算成本随着变量数量、迭代次数和填充次数 (m) 的增加而增加
  • 对于不兼容的条件模型,Gibbs 类采样器的收敛性在数学上没有保证
  • 模型规范(预测变量选择、每个变量的填充方法)需要分析师仔细判断

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 通过量身定制的每列模型处理混合变量类型(连续、二元、有序、计数)
  • 通过多个填充数据集和 Rubin 的汇总规则正确传播不确定性
  • 灵活的预测变量规范允许领域知识和辅助变量来提高填充质量
  • 经过充分验证的 R 实现(mice 包),具有广泛的诊断功能和积极的维护

应用

  • 临床试验和流行病学队列研究,具有间歇性随访测量
  • 调查数据协调,其中不同的问卷模块产生不同的缺失模式
  • 机器学习预处理流程,需要在模型训练前完成特征矩阵
  • 卫生经济学和政策研究,结合了行政记录和自我报告的问卷数据
  • 纵向教育评估,在多个测试波次中存在项目无应答

使用方式

使用方式

1

在开始任何循环之前,MICE 会用一个快速的占位符替换所有缺失值——对于连续变量通常是观测列的均值,对于分类变量则是众数。这种初始填充确保在第一次填充循环开始时,每个变量至少有一些值可作为预测变量。

公式
X^{(0)}_{\text{mis}} \leftarrow \text{simple imputation}(X_{\text{obs}})
2

对于每个有缺失条目的变量 j,MICE 使用所有其他变量 X_{-j} 作为协变量来拟合一个预测变量适用的模型(线性回归、逻辑回归、预测均值匹配等)。然后,从该模型的后验预测分布中抽取 X_j 的缺失值,因此填充的值同时反映了拟合的关系和参数的不确定性。

公式
\hat{X}_j \sim P\!\left(X_j \mid X_{-j},\, \theta_j\right), \quad j = 1, \ldots, p
3

在一次性填充完所有 p 个变量后,一个完整的周期就完成了。MICE 重复该周期——使用其协变量的新填充值更新每个变量的填充模型——进行用户定义的迭代次数(通常为 5–20 次)。通过检查迭代过程中填充的均值和标准差的迹图来监测收敛情况。

公式
\theta_j^{(t)} = \arg\max_{\theta_j} \prod_{i: x_{ij} \text{ obs}} P\!\left(x_{ij} \mid x_{i,-j}^{(t-1)},\, \theta_j\right)
4

整个过程(初始化 + 循环)独立重复 m 次,以生成 m 个完整的数据集。每个数据集都使用预期的统计方法进行分析,产生 m 个点估计和标准误差。然后,Rubin 的合并规则将这些合并成一个单一的估计值和一个总方差 T,该方差 T 正确地传播了填充内部和填充之间的不确定性。

公式
\bar{Q} = \frac{1}{m}\sum_{l=1}^{m} \hat{Q}_l, \quad T = \bar{U} + \left(1 + \frac{1}{m}\right) B

常见陷阱

  • 使用过少的填充数据集(m < 5)会低估标准误差并增加假阳性率
  • 在填充模型中包含结果变量至关重要;遗漏它会使回归系数向零偏差
  • 在填充模型中忽略交互项或非线性关系可能会扭曲下游分析
  • 未能通过迹图检查收敛性可能导致汇总非收敛链的结果

常见问题

我应该创建多少个填充数据集 (m)?

一个常见的默认值是 m = 5,当缺失率较低时足够。White、Royston 和 Wood (2011) 建议将 m 设置为大约等于不完整案例的百分比。对于高于 20–30% 的缺失率,建议使用 m = 20 或更多,以稳定汇总的估计值和标准误差。

MICE 能处理非随机缺失 (MNAR) 数据吗?

标准的 MICE 假设 MAR。在 MNAR 下,填充模型是错误的,可能导致结果有偏差。分析师应进行敏感性分析——例如,使用 delta 调整或模式混合模型——以评估在合理的 MNAR 偏离 MAR 假设下结果如何变化。

我应该为每个变量选择哪种填充方法?

mice 包根据变量类别选择默认值:连续变量使用预测均值匹配 (pmm),二元变量使用逻辑回归,无序因子使用多项逻辑回归,有序因子使用比例优势模型。这些默认值在大多数应用场景下效果良好,但分析师可以为复杂分布替换随机森林或其他灵活的学习器。

相关方法

参考文献

  1. van Buuren, S., & Groothuis-Oudshoorn, K. (2011). mice: Multivariate imputation by chained equations in R. Journal of Statistical Software, 45(3), 1–67.

    打开 DOI 文献
    已复制。