Приближенное байесовское вычисление — вероятностно-свободный вывод
- Год
- 2002
- Тип
- Simulation-based Bayesian inference
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Приближенное байесовское вычисление (ABC) — это семейство методов вывода на основе моделирования, которые оценивают апостериорные распределения без необходимости аналитически представимой функции правдоподобия.
Введенное Бомонтом, Чжаном и Балдингом (2002) в контексте популяционной генетики, ABC заменило непредставимое правдоподобие повторным моделированием и сравнением статистик-сводных между смоделированными и наблюдаемыми данными.
Интуиция метода
Классический байесовский вывод ставит вопрос: каковы вероятности параметров модели при заданных наблюдаемых данных? Ответ на этот вопрос обычно требует вычисления правдоподобия — вероятности данных при каждом значении параметров. Для многих реалистичных моделей в биологии, экологии и экономике этот расчет либо аналитически невозможен, либо вычислительно непомерен. ABC полностью обходит эту проблему: вместо вычисления правдоподобия он моделирует данные из модели, сжимает их в несколько статистик-сводных и принимает предложенное значение параметра только тогда, когда эти смоделированные сводные статистики достаточно близки к наблюдаемым. Принятые предложения накапливаются, формируя приближенное апостериорное распределение. Аппроксимация точна в пределе, когда порог допуска стремится к нулю, и неуклонно улучшается по мере сужения этого порога — ценой принятия меньшего числа предложений.
История
Основы вероятностно-свободного вывода восходят к идеям отбора, неформально использовавшимся в популяционной генетике, но метод был формализован и назван Бомонтом, Чжаном и Балдингом в их знаковой статье 2002 года в журнале Genetics по выводу демографической истории. Марарм и др. (2003) ввели вариант ABC-MCMC для повышения эффективности, а Сиссон, Фан и Бомонт (2007) разработали фреймворк последовательного Монте-Карло (SMC-ABC), который адаптивно уменьшает допуск между популяциями. Справочник по приближенному байесовскому вычислению 2018 года под редакцией Сиссона, Фана и Бомонта консолидирует два десятилетия методологического развития. В последнее время нейронные оценщики плотности и амортизированный вывод были предложены как способы прямого обучения апостериорного распределения на основе симуляций, расширяя ABC в эпоху машинного обучения.
Когда применять
ABC является правильным выбором, когда модель может быть смоделирована вперед, но ее функция правдоподобия не может быть вычислена аналитически — ситуация, которая часто возникает в популяционной генетике, эпидемиологии, экологии и агентном моделировании в экономике. Он обрабатывает непрерывные, бинарные и счетные переменные исхода и не накладывает требований нормальности на данные. Нет жесткого минимального размера выборки, но статистики-сводные должны нести достаточную информацию о параметрах. Когда бюджет моделирования велик и допуск может быть установлен низким, ABC точно аппроксимирует истинное апостериорное распределение; когда моделирование дорого, предпочтительны варианты SMC-ABC или нейронной оценки апостериорного распределения. Если правдоподобие представимо, стандартный MCMC более эффективен.
Ограничения и замечания
- Наивный метод отбора ABC требует огромного количества симуляций для достижения низкого порога допуска и значимой частоты принятия, что делает его вычислительно дорогим для высокоразмерных пространств параметров.
- Качество аппроксимации апостериорного распределения критически зависит от выбора статистик-сводных; плохо выбранные сводные статистики могут привести к смещенному или имеющему высокую дисперсию апостериорному распределению.
- Нет аналитической гарантии того, что выбранные статистики-сводные являются достаточными, поэтому информация обычно теряется по сравнению с полным правдоподобием.
- Менее примерно 1 000 общих принятых предложений обычно приводит к ненадежной аппроксимации апостериорного распределения; при ограниченном бюджете симуляции следует рассмотреть стандартный MCMC.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Работает без аналитической формы правдоподобия, открывая байесовский вывод для сложных генеративных моделей, которые легко моделировать, но трудно аналитически оценить.
- Достаточно гибок для обработки непрерывных, бинарных и счетных исходов в рамках любой структурной модели, которую аналитик может закодировать как симулятор.
- Варианты, такие как SMC-ABC и ABC-MCMC, существенно сокращают количество необходимых симуляций по сравнению с наивным методом отбора.
- Аппроксимация апостериорного распределения сходится к истинному апостериорному распределению по мере приближения порога допуска к нулю.
Применение
- Вывод истории численности популяции, миграции и дивергенции в популяционной генетике на основе данных о частоте аллелей.
- Оценка коэффициентов передачи и параметров контакта в эпидемиологических моделях, где правдоподобие на индивидуальном уровне непредставимо.
- Калибровка агентных экономических моделей к наблюдаемым макроэкономическим статистикам без аналитической формы равновесного правдоподобия.
- Подгонка стохастических экологических моделей — динамика хищник-жертва, распространение видов — к сводкам полевых наблюдений.
- Оценка параметров в моделях системной биологии, где механистические ОДУ заменены стохастическими симуляциями.
Как это работает
Как это работает
Аналитик задает априорное распределение параметров модели, кодируя то, что известно или предполагается до получения данных. Это априорное распределение является источником, из которого будут извлекаться кандидатные значения параметров на протяжении всего алгоритма, поэтому оно должно охватывать правдоподобный диапазон параметров.
Из априорного распределения (или, в адаптивных вариантах, из распределения важности) извлекается кандидатное значение параметра. Затем полная стохастическая модель запускается вперед с использованием этого кандидата для генерации синтетического набора данных. Этот шаг моделирования является вычислительным ядром ABC и может выполняться тысячи или миллионы раз.
Как синтетический набор данных, так и наблюдаемый набор данных сжимаются в вектор статистик-сводных — величин, выбранных так, чтобы нести как можно больше информации о параметрах. В идеале статистики-сводные являются достаточными статистиками, но на практике они выбираются на основе знаний в предметной области и диагностических проверок.
Расстояние между смоделированными и наблюдаемыми статистиками-сводными вычисляется с использованием выбранной метрики. Если это расстояние попадает в заданный порог допуска epsilon, предложенное значение параметра принимается; в противном случае оно отклоняется. Меньшие значения epsilon дают более точную аппроксимацию апостериорного распределения, но снижают частоту принятия.
Коллекция принятых предложений параметров формирует выборку из приближенного апостериорного распределения. Эта выборка может использоваться для вычисления апостериорных средних, доверительных интервалов и предсказательных распределений точно так же, как и стандартная байесовская апостериорная выборка. В SMC-ABC допуск уменьшается в последовательности популяций для повышения эффективности.
Частые ошибки
- Установка допуска epsilon слишком свободной приводит к аппроксимации, которая может существенно отличаться от истинного апостериорного распределения — всегда проверяйте, что сужение epsilon стабилизирует апостериорное распределение.
- Статистики-сводные, которые не несут достаточной информации об интересующих параметрах, смещают апостериорное распределение в сторону априорного; проверяйте статистики, проверяя, изменяются ли они при изменении истинного параметра.
- Выполнение менее 1 000 симуляций дает слишком редкую выборку апостериорного распределения для надежности; если стоимость симуляции мешает достижению этого порога, переключитесь на MCMC или SMC-ABC.
- Априорное распределение должно адекватно охватывать правдоподобное пространство параметров; слишком узкое априорное распределение исключит области апостериорного распределения, в то время как слишком широкое априорное распределение будет тратить бюджет симуляции на неправдоподобные области.
Часто задаваемые вопросы
Чем ABC отличается от стандартного MCMC?
Оба метода производят выборки из апостериорного распределения, но MCMC вычисляет правдоподобие для каждого предложенного значения параметра, тогда как ABC заменяет эту оценку прямой симуляцией и сравнением статистик-сводных. Используйте ABC, когда правдоподобие непредставимо; используйте MCMC, когда оно может быть вычислено.
Как выбрать статистики-сводные?
Статистики-сводные должны захватывать как можно больше информации об интересующих параметрах. Общепринятой практикой является использование знаний в предметной области (например, среднее, дисперсия, частоты аллелей) и проверка выбора путем проверки того, изменяются ли статистики при изменении истинного параметра. Достаточные статистики существуют только для моделей экспоненциального семейства; для других моделей некоторая потеря информации неизбежна.
Насколько малым должен быть допуск epsilon?
Универсального правила нет. Практический подход заключается в постепенном сужении epsilon и проверке стабилизации формы апостериорного распределения. Аппроксимация апостериорного распределения улучшается с уменьшением epsilon, но частота принятия соответственно падает, и требуется больше симуляций. SMC-ABC автоматизирует этот компромисс, адаптивно уменьшая epsilon между популяциями.
Когда следует использовать SMC-ABC вместо ABC с отбором?
Когда моделирование дорого, наивный ABC с отбором тратит большую часть симуляций, поскольку частота принятия может быть чрезвычайно низкой при строгом допуске. SMC-ABC использует последовательность промежуточных порогов допуска и взвешенных по важности популяций для концентрации симуляций вблизи апостериорного распределения, что делает его гораздо более эффективным при том же конечном epsilon.
Похожие методы
Источники
Beaumont, M.A., Zhang, W. & Balding, D.J. (2002). Approximate Bayesian Computation in Population Genetics. Genetics, 162(4), 2025-2035.
Открыть ссылку DOIСкопировано.Sisson, S.A., Fan, Y. & Beaumont, M.A. (Eds.) (2018). Handbook of Approximate Bayesian Computation. Chapman & Hall/CRC.
Открыть ссылку DOIСкопировано.