Skip to content
返回搜索结果

贝叶斯统计推断

提出者
Thomas Bayes
年份
1763
类型
Method
类别
probabilistic-inference

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

贝叶斯推断是一种统计框架,它利用贝叶斯定理在数据累积时更新关于参数或假设的信念。托马斯·贝叶斯(Thomas Bayes)于1763年遗世出版的著作,直到20世纪计算能力的进步(吉布斯采样、马尔可夫链蒙特卡洛法)使贝叶斯方法变得可行后,才逐渐为人所知。与频率学派推断(将参数视为固定未知数)不同,贝叶斯分析将参数视为具有概率分布的随机变量,从而能够直接陈述关于参数的概率、纳入先验知识以及进行序贯更新。这在精准医疗、适应性试验、复杂分层模型以及任何先验信息能够丰富推断的场景中都至关重要。

方法背后的直觉

贝叶斯推断结合了关于参数的先验信念(在观察数据之前)与观测数据的似然性,以产生后验信念(在观察数据之后)。先验知识(来自先前研究、专家意见、理论推理)被编码为概率分布。随着新数据的累积,后验分布会朝着似然性方向更新,逐渐精炼不确定性。贝叶斯定理:P(参数|数据) = P(数据|参数) × P(参数) / P(数据)。后验分布直接回答诸如“治疗效果超过10%的概率是多少?”(可信区间)或“治疗A优于治疗B的概率是多少?”之类的问题。这两种提问方式对实践者来说都很自然,但在频率学派推断中却无法实现,后者产生的p值和置信区间需要仔细解释。

历史学

托马斯·贝叶斯(Thomas Bayes)于1763年遗世的论文奠定了基础:如果参数不确定,证据如何更新信念?拉普拉斯(Laplace)独立地重新发现了贝叶斯定理,并将其扩展到逆概率问题。该框架在20世纪之前一直沉寂;频率学派方法(Neyman、Pearson)占主导地位。20世纪90年代的MCMC算法(吉布斯采样、Metropolis-Hastings、汉密尔顿MC)使贝叶斯计算对于复杂模型变得可行。现代贝叶斯复兴由Stan、JAGS和R包驱动;在医学、机器学习和政策领域的应用正在加速。

何时使用

在以下情况使用贝叶斯方法:(1)存在相关先验信息(先前研究、专家判断、监管指南),(2)需要序贯分析(适应性试验、中期分析),(3)需要复杂的分层或潜在变量模型(多层次、混合模型),(4)期望直接陈述关于参数的概率(精准医疗、风险评估),(5)样本量小(贝叶斯收缩先验可稳定估计)。贝叶斯方法在罕见病研究、精准医疗(个体化治疗)、药物开发(序贯决策)和整合多重证据来源的政策决策中尤其有价值。

局限与注意事项

  • 先验指定:选择先验是主观的;合理的人会有不同意见。必须进行敏感性分析以证明结论对先验选择具有稳健性;指定不当的先验可能导致误导。
  • 计算成本:对于大型数据集或复杂模型,MCMC采样计算量大;需要诊断收敛性的专业知识。
  • 缺乏共识:贝叶斯学派和频率学派在解释和方法论上存在分歧,在传统期刊上造成发表和资助障碍。
  • 默认先验通常是任意的:选择“弱信息先验”看似客观,但涉及隐式假设;结果可能对默认选择敏感。
  • 模型比较困难:贝叶斯因子需要计算边际似然;计算量大且对复杂模型中的先验指定敏感。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 先验纳入:将先前试验、荟萃分析或专家意见的现有知识正式整合,提高效率并减少所需样本量。
  • 直接概率陈述:假设的后验概率(P(效应存在|数据))直接回答科学问题;无需反直觉的p值逻辑。
  • 序贯分析:在数据累积时进行分析;试验可以因有效性或无效性而提前终止,而不会增加I类错误(与频率学派重复检验不同)。
  • 对复杂模型具有灵活性:分层结构、缺失数据和潜在变量可以自然地容纳;贝叶斯框架下的多层次回归很直接。
  • 收缩先验可稳定估计:在小样本或高维数据(许多变量,少量观测值)中尤其强大;将系数正则化趋向于零。

应用

  • 临床试验和精准医疗:贝叶斯适应性试验根据累积的疗效/安全性数据调整治疗分配;减少样本量并加快获得结果。
  • 基因组学和高维数据:使用稀疏先验的贝叶斯变量选择可在数千个遗传标记中识别真实信号;正则化可防止过拟合。
  • 药物开发和FDA批准:通过先验纳入先前试验的历史数据,减少样本量要求并加快批准。
  • 流行病学监测:对疾病爆发进行序贯分析;在报告新病例时更新爆发概率;早期发现流行病。
  • 环境和生态建模:考虑测量误差、缺失数据以及复杂系统中时空结构的层级模型。

使用方式

使用方式

1

通过以下步骤进行贝叶斯分析:(1)指定似然性(给定参数下数据的概率模型,例如,连续结果的正态模型,二元结果的二项模型),(2)指定先验(参数上的概率分布,代表先验知识或怀疑态度),(3)收集数据,(4)计算后验(给定数据下参数的概率分布,通过贝叶斯定理)。先验可以是:弱信息先验(对先验影响最小,让数据主导)、信息先验(纳入来自先前研究的真实先验知识)、怀疑先验(倾向于零假设,需要强有力的证据才能改变信念)或经验先验(使用试点数据)。先验的合理性至关重要;报告敏感性分析以测试替代先验,评估稳健性。

2

通过贝叶斯定理计算后验:P(θ|y) ∝ P(y|θ) × P(θ),其中θ是参数,y是数据。对于简单模型,后验是解析可解的(例如,具有共轭正态先验的正态似然)。对于复杂模型,使用马尔可夫链蒙特卡洛(MCMC):算法(吉布斯采样、Metropolis-Hastings、汉密尔顿MC)生成后验样本,从中计算估计值。报告:(1)后验均值和可信区间(95% CI:包含95%后验概率的范围;可直接解释为参数不确定性),(2)假设的后验概率(P(效应>0|数据)),(3)比较竞争模型的贝叶斯因子:BF₁₀ = P(数据|模型1) / P(数据|模型2);BF > 3 表示模型1有中等证据,BF > 10 表示强证据。(4)后验预测分布:对新观测值的预测。(5)模型诊断:MCMC收敛检查(Gelman-Rubin统计量Rhat < 1.01),有效样本量,迹线图。

3

后验均值是参数的点估计;可信区间是合理值范围。与频率学派置信区间(其含义是:如果我们无限次重复研究,95%的置信区间会包含真实值)不同,贝叶斯可信区间直接说明:真实值落在此区间内的概率为95%。这种直观的解释是一个关键优势。假设的后验概率(例如,P(效应>0|数据))直接回答治疗是否有效的问题;p值需要反直觉的逻辑。贝叶斯因子量化一个模型相对于另一个模型的证据,而无需指定显著性阈值;提供连续的证据尺度。检查后验分布的形状(对称、偏斜)以了解参数不确定性。敏感性分析:使用不同的先验重新拟合模型;如果后验结论对先验选择具有稳健性,则推断是可靠的。

常见陷阱

  • 任意先验指定:未能证明先验的合理性或进行敏感性分析。先验应明确且有依据;始终测试对替代方案的稳健性。
  • 忽略MCMC诊断:不检查收敛性(Rhat、迹线图、有效样本量)可能导致无效推断。务必验证链是否收敛且有效样本量是否足够。
  • 通过后验预测p值进行模型选择:看起来像频率学派的p值,但解释不同;误用会导致I类错误膨胀。
  • 贝叶斯中的p-hacking等价:事后选择先验以获得期望的结论(无意识或有意)会损害有效性。应事先指定先验。
  • 过度自信的收缩:强先验将估计值大幅收缩至先验均值;如果先验指定不当,可能会掩盖真实效应。谨慎使用怀疑先验;确保进行敏感性分析。
  • 误解贝叶斯因子:BF = 3并不意味着一个模型正确的概率是75%(这需要指定先验模型概率)。BF量化证据,而非后验模型概率。

常见问题

什么是可信区间,它与置信区间有何不同?

贝叶斯可信区间(通常为95%)是包含95%后验概率的范围;可直接解释为:“真实参数落在此区间内的概率为95%”。频率学派置信区间(95% CI)是一个构造的范围,如果研究无限次重复,95%的构造的置信区间将包含真实参数。这两者根本不同:可信区间是关于参数的概率;置信区间是关于程序的可重复性。在实践中,对于标准问题,它们在数值上常常重叠,造成混淆。报告时务必注明是哪一种。

什么是先验,我该如何选择?

先验是在观察数据之前,参数值上的概率分布,反映了先验知识或假设。弱信息先验贡献的信息最少(平坦分布);信息先验纳入了真实的先验知识(例如,先前试验表明治疗效果<20%)。怀疑先验强烈倾向于零(无效应),需要强有力的数据证据才能改变。选择先验的方法是:(1)回顾先前文献,(2)咨询领域专家,(3)指定合理值的范围,(4)测试对替代先验的敏感性。务必明确报告先验并证明其合理性。如果结论因不同的合理先验而发生剧烈变化,则推断薄弱,需要更多数据。

什么是贝叶斯因子,我该如何解释它?

贝叶斯因子(BF)量化一个模型相对于另一个模型的证据:BF₁₀ = P(数据|模型1) / P(数据|模型2)。BF > 1 倾向于模型1。解释:BF = 3 =“模型1的中等证据”;BF = 10 =“强证据”;BF > 100 =“决定性证据”。与p值不同,BF不需要预定义的显著性阈值。BF可以倾向于零假设(BF < 1),检测证据的缺失。局限性:计算BF需要指定先验模型概率(哪个模型在先验上是合理的);不同的先验赋值会产生不同的BF值。当两个模型都有明确的实际动机时,使用BF进行模型比较。

贝叶斯分析是否避免了多重比较问题?

部分避免。贝叶斯推断不使用p值或显著性阈值,因此不需要传统的多个比较校正(如Bonferroni)。然而,当拟合许多模型并基于后验标准(DIC、WAIC)进行选择时,您可能会面临类似于频率学派多重检验的过拟合和模型选择偏差的风险。最佳实践:根据理论先验指定模型,而不是数据探索。如果是探索性的,则应用交叉验证来评估泛化能力。贝叶斯模型平均(根据后验概率加权组合多个模型的预测)是解决模型不确定性的一个优雅方法。

相关方法

参考文献

  1. Bayes, T. (1763). An essay towards solving a problem in the doctrine of chances. Philosophical Transactions of the Royal Society, 53, 370–418.

    打开出版物文献
    已复制。
  2. Gelman, A., Carlin, J. B., Stern, H. S., & Rubin, D. B. (2013). Bayesian Data Analysis (3rd ed.). CRC Press.

    打开 DOI 文献
    已复制。
  3. Kruschke, J. K. (2015). Doing Bayesian Data Analysis: A Tutorial with R, JAGS, and Stan (2nd ed.). Academic Press.

    打开 DOI 文献
    已复制。