自助法模拟——用于统计推断的经验重采样
- 提出者
- Bradley Efron
- 年份
- 1979
- 类型
- Simulation-based nonparametric inference
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
自助法模拟由 Bradley Efron 于 1979 年提出,是一种基于模拟的推断方法,通过对观测数据进行有放回的重复抽样,来推导几乎任何统计量的抽样分布。由于它不需要参数分布假设,因此为连续、有序、二元和计数数据提供了一种稳健的、通用的替代方案,以替代分析置信区间和参数假设检验。
方法背后的直觉
通常,为了理解均值或中位数等统计量的变异性,您需要从总体中收集许多独立的样本——但您只有一个样本。自助法重采样通过将您的一个样本视为总体,并从中进行数千次有放回的抽样来解决这个问题。每次新的抽样都会略有不同,它们共同构建了一个经验图景,说明该统计量在重复研究中将如何表现——无需分布公式。
历史学
Bradley Efron 在 1979 年的一篇里程碑式论文中引入了自助法,并与 Rob Tibshirani 在他们 1993 年的教科书中扩展了该框架,该教科书至今仍是权威参考。该方法源于早期的刀切法重采样思想,具有革命性意义,因为它提供了一种计算上可行的方法,可以在不需要封闭形式抽样分布的情况下进行有效推断。Davison 和 Hinkley 1997 年的剑桥专著将自助法理论扩展到回归模型、时间序列和删失数据,巩固了该方法作为现代应用统计学基石的地位。
何时使用
当统计量的抽样分布无法通过分析推导,或当参数假设(正态性、同方差性)无法得到证明时,自助法模拟是合适的。它处理连续、有序、二元和计数变量,并且适用于几乎任何统计估计量——包括复杂的估计量,如回归系数、相关性差异或模型准确性指标。通常需要至少约 20 个观测值的样本;对于非常小的样本,自助法分布可能无法充分代表总体。对于相关或时间序列数据,请使用分块自助法而不是标准的独立同分布 (i.i.d.) 版本。
局限与注意事项
- 当 B 很大(10,000 次以上重采样)或统计量计算成本高昂时,计算量大。
- 无法纠正有偏或不具代表性的原始样本——自助法继承了数据中的任何系统误差。
- 小的原始样本 (n < 20) 可能无法提供可靠的经验抽样分布,即使进行了多次重采样。
- 标准 i.i.d. 自助法对相关数据无效;必须使用分块自助法,并且分块大小的选择增加了复杂性。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 无需参数分布假设——在经典公式失效的广泛条件下有效。
- 适用于几乎任何统计量:均值、中位数、相关性、回归系数、模型性能指标和自定义估计量。
- 提供置信区间和假设检验,无需封闭形式的抽样分布推导。
- 易于扩展:分块自助法处理相关数据;BCa 区间处理不对称性。
应用
- 为复杂的估计量(中位数、截尾均值、模型准确性)构建置信区间,而分析公式不可用。
- 当参数假设无法验证时进行假设检验——例如,比较两个组在偏态连续结果上的差异。
- 通过自助法袋外抽样估计机器学习中的预测误差和模型稳定性。
- 生物医学研究:推导生存曲线、剂量反应参数和诊断测试特征的置信区间。
- 社会科学和教育研究:对相关性差异、效应量和复合量表分数进行推断。
使用方式
使用方式
从包含 n 个观测值的观测数据集开始。验证样本是否代表目标总体——自助法只能重现数据中已有的内容,因此有偏或不具代表性的样本将产生有偏的自助法估计。
从原始数据中有放回地抽取 B 个大小为 n 的随机样本。Efron 和 Tibshirani (1993) 建议 B 至少为 1,000;对于置信区间,B = 10,000 是标准建议。对于相关数据(时间序列、聚类观测),请使用分块自助法以保留依赖结构。
在 B 个自助法样本中的每一个上计算感兴趣的统计量——均值、中位数、回归系数、相关性或任何其他估计量。这将产生 B 个统计量值的自助法分布。
将 B 个自助法统计量值汇集到经验抽样分布中。用自助法标准误差和自助法置信区间对其进行总结。对于偏态分布,偏误校正加速 (BCa) 区间是首选;百分位数区间是最简单的替代方案。
使用聚合的自助法分布进行推断:报告感兴趣参数的置信区间,或通过将观测统计量与自助法零分布进行比较来计算假设检验的 p 值。由于在此之前不需要参数假设,因此推断在广泛条件下是有效的。
常见陷阱
- 使用过少的重采样 (B < 1,000) 会产生不稳定的置信区间——对于最终报告的置信区间,始终至少使用 B = 1,000,并建议使用 B = 10,000。
- 将标准 i.i.d. 自助法应用于时间序列或聚类数据违反了独立性假设;对于相关观测值,请使用分块自助法。
- 将自助法置信区间视为等同,无论方法如何——当统计量偏斜时,百分位数区间可能存在偏差;在这种情况下,首选 BCa。
- 将自助法标准误差与总体标准差混淆——自助法 SE 估计的是估计量的变异性,而不是原始数据的变异性。
常见问题
我需要多少次自助法重采样?
自助法标准误差和粗略置信区间至少需要 B = 1,000 次重采样。对于最终报告的置信区间,B = 10,000 是标准建议 (Efron & Tibshirani, 1993)。少于 1,000 次重采样会产生不稳定的结果,不应报告。
我应该使用哪种置信区间方法——百分位数、BCa 还是基本方法?
在大多数情况下,BCa(偏误校正加速)区间是首选,特别是当统计量的抽样分布不对称或估计量有偏时。百分位数区间更简单,但在偏斜情况下可能不准确。BCa 调整了偏误和偏斜,使其成为最可靠的通用选择。
自助法可以用于时间序列或面板数据吗?
可以,但标准的独立同分布 (i.i.d.) 自助法(重采样单个观测值)对相关数据无效,因为它破坏了依赖结构。分块自助法通过重采样连续的观测块来保留序列依赖性,因此当数据在时间上或聚类内相关时应使用分块自助法。
自助法适用于小样本吗?
当 n ≥ 20 时,自助法推断通常是可靠的。对于非常小的样本,观测数据可能无法充分代表总体,因此自助法分布继承了这一局限性——无论重采样多少次,都无法弥补样本过小而无法捕捉总体形状的问题。在这种情况下,请考虑精确置换检验或贝叶斯方法。