Теория Демпстера — Шафера
- Автор метода
- Arthur P. Dempster & Glenn Shafer
- Год
- 1976
- Тип
- Uncertainty calculus for combining evidence
- Семейство
- Evidence theory
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Теория Демпстера — Шафера — это математическая основа для рассуждений в условиях неопределенности, которая обобщает байесовскую вероятность, явно представляя незнание.
Вместо того чтобы назначать единственную вероятность каждой гипотезе, она присваивает массу убеждений наборам гипотез и выводит интервал убеждений-правдоподобий, а также предоставляет правило Демпстера для объединения свидетельств из нескольких независимых источников. Разработанная на основе работы Артура Демпстера 1967 года и монографии Гленна Шафера 1976 года, она лежит в основе эвиденциальных рассуждений и слияния данных с датчиков/принятия решений.
Интуиция метода
Байесовская вероятность настаивает на полном распределении ваших убеждений между гипотезами, даже когда вы просто не знаете — вы должны присвоить число каждой. Теория Демпстера — Шафера позволяет сказать «у меня есть свидетельство в пользу A или B, но я пока не могу его разделить», присваивая массу набору {A, B}, а не A и B по отдельности. Из этих масс она вычисляет два предела для любой гипотезы: убеждение (поддержка, которая обязательно ей соответствует) и правдоподобие (поддержка, которая не исключает ее). Разрыв между ними измеряет ваше незнание. Когда поступает второй источник свидетельств, правило Демпстера объединяет их, пересекая их фокальные множества и нормализуя конфликт.
История
Артур Демпстер ввел верхние и нижние вероятности, индуцированные многозначными отображениями, в 1967 году, а Гленн Шафер переработал и расширил это в самостоятельную теорию свидетельств в своей книге «Математическая теория свидетельств» 1976 года, представив функции убеждений, правдоподобие и правило комбинирования. Фреймворк распространился в области искусственного интеллекта и слияния информации как «эвиденциальные рассуждения», а более поздние усовершенствования — модель передаваемых убеждений (Сметс), альтернативные правила комбинирования для конфликтов и подход эвиденциальных рассуждений в многокритериальном анализе решений — устранили его известные трудности, сохранив явное представление незнания.
Когда применять
Используйте теорию Демпстера — Шафера, когда вам необходимо объединить неопределенные, частичные или противоречивые свидетельства из нескольких источников и вы хотите явно представить незнание, а не предполагать полное априорное распределение — типично для слияния данных с датчиков, многоисточниковой классификации, систем диагностики и распознавания целей, оценки рисков и надежности, а также наложения свидетельств в ГИС. Она ценна, когда присвоение точных байесовских априорных распределений искусственно и когда важно различать «отсутствие свидетельств» и «свидетельство отсутствия». Оговорки: правило Демпстера может давать контринтуитивные результаты при сильных конфликтах источников (парадокс Заде), вычисления растут с размером булеана гипотез, а предположение о независимости источников часто является лишь приближенным.
Ограничения и замечания
- Правило Демпстера может давать контринтуитивные результаты при сильном конфликте (парадокс Заде).
- Вычисления масштабируются с размером булеана фрейма, что дорого для множества гипотез.
- Предполагает независимость источников, что часто лишь приближенно верно.
- Получение осмысленных функций массы может быть затруднено на практике.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Явно представляет незнание через массу на множествах, а не принудительные единичные вероятности.
- Предоставляет границы убеждений и правдоподобий, которые количественно определяют объем неизвестного.
- Предлагает принципиальное правило для объединения свидетельств из нескольких независимых источников.
- Обобщает байесовскую вероятность, восстанавливая ее, когда вся масса приходится на синглетоны.
Применение
- Многосенсорное и многоисточниковое слияние данных для классификации и распознавания целей.
- Диагностические системы и системы поддержки принятия решений, объединяющие неопределенные экспертные/тестовые свидетельства.
- Оценка рисков, надежности и безопасности при неполной информации.
- Наложение свидетельств в ГИС и картирование пригодности из гетерогенных слоев.
- Подходы эвиденциальных рассуждений в многокритериальном анализе решений.
Как это работает
Как это работает
Свидетельства кодируются как основное вероятностное назначение (функция массы) m над подмножествами фрейма различения Θ (множество взаимоисключающих гипотез). Масса может быть присвоена любому подмножеству — включая весь фрейм Θ, который представляет полное незнание — и массы в сумме дают единицу, при этом пустое множество получает ноль.
Формула
m: 2^{\Theta} \to [0,1],\quad m(\emptyset)=0,\ \sum_{A \subseteq \Theta} m(A) = 1Из масс выводятся две меры для любой гипотезы A: убеждение Bel(A) суммирует массу всех подмножеств, полностью содержащихся в A (свидетельства, которые полностью соответствуют A), в то время как правдоподобие Pl(A) суммирует массу каждого подмножества, пересекающегося с A (свидетельства, которые хотя бы совместимы с A). Вместе они образуют интервал [Bel(A), Pl(A)], ширина которого количественно определяет оставшуюся неопределенность.
Формула
\text{Bel}(A) = \sum_{B \subseteq A} m(B),\quad \text{Pl}(A) = \sum_{B \cap A \neq \emptyset} m(B)Правило комбинирования Демпстера объединяет две независимые функции массы: для каждой пары фокальных множеств оно умножает их массы и присваивает произведение их пересечению, затем нормализует на 1 − K, где K — общая масса, приходящаяся на пустое множество (конфликт между источниками). Результатом является новая функция массы, обобщающая объединенные свидетельства.
Формула
m_{12}(A) = \dfrac{1}{1-K}\sum_{B \cap C = A} m_1(B)\,m_2(C),\quad K = \sum_{B \cap C = \emptyset} m_1(B)\,m_2(C)Решения принимаются с использованием интервала убеждений-правдоподобий — например, выбирается гипотеза с наибольшим убеждением, наибольшим правдоподобием или наибольшим пигнестическим (похожим на вероятность) преобразованием масс. Явный интервал позволяет системе отложить решение или запросить дополнительные свидетельства, когда убеждения и правдоподобия сильно расходятся.
Формула
[\text{Bel}(A),\ \text{Pl}(A)]\ \text{= belief interval for } AЧастые ошибки
- Применение правила Демпстера к сильно конфликтующим источникам без проверки массы конфликта K.
- Смешение убеждений с вероятностью — убеждение является нижней границей, а не точечной оценкой.
- Игнорирование комбинаторного взрыва, когда фрейм различения велик.
- Объединение зависимых источников как независимых, двойной подсчет общих свидетельств.
Часто задаваемые вопросы
Чем теория Демпстера — Шафера отличается от байесовской вероятности?
Байесовская вероятность присваивает единственное число каждой гипотезе и требует полного априорного распределения. Теория Демпстера — Шафера присваивает массу наборам гипотез, позволяя явно представлять незнание, и обобщает каждую гипотезу интервалом убеждений-правдоподобий. Она обобщает байесовский подход, который восстанавливается, когда вся масса приходится на отдельные гипотезы.
Что такое убеждение и правдоподобие?
Убеждение Bel(A) — это общая поддержка, которая полностью соответствует A (нижняя граница ее вероятности); правдоподобие Pl(A) — это общая поддержка, которая лишь совместима с A (верхняя граница). Интервал [Bel(A), Pl(A)] заключает истинную поддержку для A, а его ширина отражает объем оставшегося неизвестного.
Что такое проблема конфликта в правиле Демпстера?
Когда два источника сильно не согласны, большая часть объединенной массы приходится на пустое множество (конфликт K). Его нормализация может привести к контринтуитивным результатам — классический парадокс Заде. Высокий конфликт сигнализирует о том, что правило Демпстера может быть неприменимо, что мотивирует альтернативные правила комбинирования или пересмотр надежности источников.
Похожие методы
Источники
Dempster, A. P. (1967). Upper and lower probabilities induced by a multivalued mapping. The Annals of Mathematical Statistics, 38(2), 325–339.
Открыть ссылку DOIСкопировано.Shafer, G. (1976). A Mathematical Theory of Evidence. Princeton University Press.
ISBN: 978-0-691-08175-5Скопировано.