证据的Dempster-Shafer理论
- 提出者
- Arthur P. Dempster & Glenn Shafer
- 年份
- 1976
- 类型
- Uncertainty calculus for combining evidence
- 类别
- Evidence theory
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
Dempster-Shafer理论是一种在不确定性下进行推理的数学框架,它通过显式地表示无知来推广贝叶斯概率。它不强制对每个假设分配单一概率,而是将信念质量分配给假设集合,并推导出信念-可信度区间,同时提供了Dempster规则用于融合来自多个独立来源的证据。该理论源于Arthur Dempster 1967年的工作和Glenn Shafer 1976年的专著,是证据推理和传感器/决策融合的基础。
方法背后的直觉
贝叶斯概率要求您将信念完全分配给所有假设,即使您根本不知道——您必须为每个假设设定一个数值。Dempster-Shafer理论允许您说‘我有支持A或B的证据,但尚无法区分’,方法是将质量分配给集合{A, B},而不是单独分配给A和B。根据这些质量,它为任何假设计算两个界限:信念(必然承诺于它的支持度)和可信度(不排除它的支持度)。两者之间的差距衡量了您的无知程度。当第二证据来源到来时,Dempster规则通过相交它们的焦点集并对冲突进行归一化来组合这两个证据。
历史学
Arthur Dempster在1967年引入了由多值映射诱导的上界和下界概率,Glenn Shafer在他的1976年著作《证据的数学理论》中重新构建并将其扩展为一个独立的证据理论,提出了信念函数、可信度和组合规则。该框架在人工智能和信息融合领域作为“证据推理”传播,后来的改进——可转移信念模型(Smets)、冲突的替代组合规则以及多标准决策分析(MCDM)中的证据推理方法——解决了其已知难题,同时保留了其对无知的显式处理。
何时使用
当您必须组合来自多个来源的不确定、部分或冲突证据,并希望显式地表示无知而不是假设完整的先验时,请使用Dempster-Shafer理论——这在传感器融合、多源分类、诊断和目标识别系统、风险和可靠性评估以及地理信息系统(GIS)证据叠加中很常见。当分配精确的贝叶斯先验不切实际,并且区分‘没有证据’与‘无证据’很重要时,它很有价值。注意事项:Dempster规则在高度冲突的来源下可能产生违反直觉的结果(Zadeh悖论),计算量随着假设的幂集而增长,并且来源之间的独立性假设通常只是近似的。替代/扩展包括贝叶斯网络、可转移信念模型以及其他容忍冲突的组合规则。
局限与注意事项
- Dempster规则在高度冲突下可能产生违反直觉的结果(Zadeh悖论)。
- 计算量随着框架的幂集而增长,对于许多假设来说成本很高。
- 假设来源是独立的,这通常只是近似真实。
- 在实践中,提取有意义的质量函数可能很困难。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 通过对集合的质量显式表示无知,而不是强制单一概率。
- 提供信念和可信度界限,量化未知量。
- 提供了一个原则性的规则,用于融合来自多个独立来源的证据。
- 推广了贝叶斯概率,当所有质量都集中在单个假设上时,可以恢复贝叶斯概率。
应用
- 用于分类和目标识别的多传感器和多源数据融合。
- 结合不确定专家/测试证据的诊断和决策支持系统。
- 信息不完整的风险、可靠性与安全评估。
- 来自异构图层的GIS证据叠加和适宜性制图。
- 多标准决策分析中的证据推理方法。
使用方式
使用方式
证据被编码为关于辨识框架Θ(互斥假设的集合)的子集的基概率分配(质量函数)m。质量可以分配给任何子集——包括整个框架Θ,它代表完全的无知——并且质量之和为一,空集获得零质量。
公式
m: 2^{\Theta} \to [0,1],\quad m(\emptyset)=0,\ \sum_{A \subseteq \Theta} m(A) = 1根据质量,为任何假设A导出两个度量:信念Bel(A)是对完全承诺于A的所有子集的质量求和(完全承诺于A的证据),而可信度Pl(A)是对与A相交的所有子集的质量求和(至少与A兼容的证据)。两者共同构成区间[Bel(A), Pl(A)],其宽度量化了剩余的不确定性。
公式
\text{Bel}(A) = \sum_{B \subseteq A} m(B),\quad \text{Pl}(A) = \sum_{B \cap A \neq \emptyset} m(B)组合的Dempster规则融合了两个独立的质量函数:对于每一对焦点集,它将它们的质量相乘,并将乘积分配给它们的交集,然后除以1 − K进行归一化,其中K是落在空集上的总质量(来源之间的冲突)。结果是一个新的质量函数,总结了合并后的证据。
公式
m_{12}(A) = \dfrac{1}{1-K}\sum_{B \cap C = A} m_1(B)\,m_2(C),\quad K = \sum_{B \cap C = \emptyset} m_1(B)\,m_2(C)决策使用信念-可信度区间——例如,选择具有最高信念、最高可信度或质量的最高概率化(类概率)变换的假设。显式的区间允许系统在信念和可信度差异很大时推迟或请求更多证据。
公式
[\text{Bel}(A),\ \text{Pl}(A)]\ \text{= belief interval for } A常见陷阱
- 将Dempster规则应用于高度冲突的来源而不检查冲突质量K。
- 混淆信念与概率——信念是下界,不是点估计。
- 忽略辨识框架很大时的组合爆炸。
- 将依赖的来源当作独立的来源进行组合,重复计算共享证据。
常见问题
Dempster-Shafer理论与贝叶斯概率有何不同?
贝叶斯概率为每个假设分配一个单一数字,并要求完整的先验。Dempster-Shafer理论将质量分配给假设集合,允许它直接表示无知,并通过信念-可信度区间来总结每个假设。它推广了贝叶斯方法,当所有质量都集中在单个假设上时,可以恢复贝叶斯方法。
什么是信念和可信度?
信念Bel(A)是完全承诺于A的总证据(其概率的下界);可信度Pl(A)是仅仅与A兼容的总证据(其概率的上界)。区间[Bel(A), Pl(A)]界定了A的真实支持度,其宽度反映了剩余的未知量。
Dempster规则中的冲突问题是什么?
当两个来源强烈不同意时,大部分合并的质量会落在空集上(冲突K)。将其移除进行归一化可能会产生违反直觉的结果——Zadeh的经典悖论。高冲突表明Dempster规则可能不适用,这促使人们采用替代组合规则或审查来源的可靠性。
相关方法
参考文献
Dempster, A. P. (1967). Upper and lower probabilities induced by a multivalued mapping. The Annals of Mathematical Statistics, 38(2), 325–339.
打开 DOI 文献已复制。Shafer, G. (1976). A Mathematical Theory of Evidence. Princeton University Press.
ISBN:978-0-691-08175-5已复制。