Przybliżone Obliczenia Bayesa — wnioskowanie bez funkcji wiarygodności
- Rok
- 2002
- Typ
- Simulation-based Bayesian inference
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Przybliżone Obliczenia Bayesa (ABC) to rodzina metod wnioskowania opartych na symulacji, które szacują rozkłady a posteriori bez konieczności posiadania analitycznie rozwiązywalnej funkcji wiarygodności.
Wprowadzone przez Beaumonta, Zhanga i Baldinga (2002) w kontekście genetyki populacyjnej, ABC zastąpiło nieobliczalną funkcję wiarygodności powtarzanymi symulacjami modelu i porównaniem statystyk podsumowujących między danymi symulowanymi a obserwowanymi.
Intuicja stojąca za metodą
Klasyczne wnioskowanie bayesowskie pyta: biorąc pod uwagę obserwowane dane, jakie jest prawdopodobieństwo parametrów modelu? Odpowiedź na to pytanie zazwyczaj wymaga obliczenia funkcji wiarygodności — prawdopodobieństwa danych dla każdego ustawienia parametrów. Dla wielu realistycznych modeli w biologii, ekologii i ekonomii, to obliczenie jest albo analitycznie niemożliwe, albo obliczeniowo zbyt kosztowne. ABC całkowicie to omija: zamiast obliczać funkcję wiarygodności, symuluje dane z modelu, kompresuje je do kilku statystyk podsumowujących i akceptuje propozycję parametrów tylko wtedy, gdy te symulowane statystyki są wystarczająco bliskie obserwowanym statystykom. Akceptowane propozycje kumulują się, tworząc przybliżony rozkład a posteriori. Aproksymacja jest dokładna w granicy, gdy próg tolerancji dąży do zera, i stale się poprawia, gdy ten próg się zaostrza — kosztem akceptowania mniejszej liczby propozycji.
Historia
Podstawy wnioskowania bez funkcji wiarygodności wywodzą się z idei próbkowania odrzuceniowego, nieformalnie stosowanych w genetyce populacyjnej, ale metoda została sformalizowana i nazwana przez Beaumonta, Zhanga i Baldinga w ich przełomowej pracy z 2002 roku w Genetics na temat wnioskowania o historii demograficznej. Marjoram i in. (2003) wprowadzili wariant ABC-MCMC w celu poprawy wydajności, a Sisson, Fan i Beaumont (2007) opracowali ramy sekwencyjnej metody Monte Carlo (SMC-ABC), która adaptacyjnie zmniejsza tolerancję w populacjach. Podręcznik Approximate Bayesian Computation z 2018 roku, redagowany przez Sissona, Fana i Beaumonta, konsoliduje dwie dekady rozwoju metodologicznego. Niedawno zaproponowano neuronowe estymatory gęstości i amortyzowane wnioskowanie jako sposoby bezpośredniego uczenia się rozkładu a posteriori z symulacji, rozszerzając ABC na erę uczenia maszynowego.
Kiedy stosować
ABC jest właściwym wyborem, gdy model może być symulowany w przód, ale jego funkcja wiarygodności nie może być oceniona analitycznie — sytuacja, która często występuje w genetyce populacyjnej, epidemiologii, ekologii i modelowaniu ekonomicznym opartym na agentach. Obsługuje ciągłe, binarne i zliczane zmienne wynikowe i nie nakłada wymogu normalności na dane. Nie ma twardego minimum rozmiaru próbki, ale statystyki podsumowujące muszą zawierać odpowiednie informacje o parametrach. Gdy budżet symulacji jest duży, a tolerancja może być ustawiona nisko, ABC dokładnie przybliża prawdziwy rozkład a posteriori; gdy symulacje są kosztowne, preferowane są warianty SMC-ABC lub neuronowe estymacje a posteriori. Jeśli funkcja wiarygodności jest rozwiązywalna, standardowe MCMC jest bardziej wydajne.
Ograniczenia i uwagi
- Naiwne odrzuceniowe ABC wymaga ogromnej liczby symulacji, aby osiągnąć niski próg tolerancji i znaczącą stopę akceptacji, co czyni je kosztownym obliczeniowo dla przestrzeni parametrów o wysokiej wymiarowości.
- Jakość przybliżenia rozkładu a posteriori zależy krytycznie od wyboru statystyk podsumowujących; źle dobrane statystyki mogą prowadzić do obciążonego lub o dużej wariancji rozkładu a posteriori.
- Nie ma analitycznej gwarancji, że wybrane statystyki podsumowujące są dostateczne, więc informacje są zazwyczaj tracone w stosunku do pełnej funkcji wiarygodności.
- Mniej niż około 1 000 zaakceptowanych propozycji zazwyczaj prowadzi do niewiarygodnego przybliżenia rozkładu a posteriori; gdy budżet symulacji jest ograniczony, należy rozważyć standardowe MCMC.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Działa bez funkcji wiarygodności w postaci zamkniętej, otwierając wnioskowanie bayesowskie dla złożonych modeli generatywnych, które są łatwe do symulowania, ale trudne do analitycznej oceny.
- Wystarczająco elastyczne, aby obsługiwać wyniki ciągłe, binarne i zliczane w ramach dowolnego modelu strukturalnego, który analityk może zakodować jako symulator.
- Warianty takie jak SMC-ABC i ABC-MCMC znacznie zmniejszają liczbę potrzebnych symulacji w porównaniu do naiwnego próbkowania odrzuceniowego.
- Przybliżenie rozkładu a posteriori zbiega do prawdziwego rozkładu a posteriori, gdy próg tolerancji dąży do zera.
Zastosowania
- Wnioskowanie o wielkości populacji, migracji i historii dywergencji w genetyce populacyjnej na podstawie danych o częstości alleli.
- Estymacja wskaźników transmisji i parametrów kontaktu w modelach epidemicznych, gdzie funkcja wiarygodności na poziomie indywidualnym jest nieobliczalna.
- Kalibracja ekonomicznych modeli opartych na agentach do obserwowanych statystyk makroekonomicznych bez funkcji wiarygodności równowagi w postaci zamkniętej.
- Dopasowywanie stochastycznych modeli ekologicznych — dynamika drapieżnik-ofiara, rozprzestrzenianie się gatunków — do podsumowań obserwacji terenowych.
- Estymacja parametrów w modelach biologii systemów, gdzie mechanistyczne równania różniczkowe zwyczajne są zastępowane symulacjami stochastycznymi.
Jak to działa
Jak to działa
Analityk określa rozkład a priori dla parametrów modelu, kodując to, co jest znane lub zakładane przed zobaczeniem danych. Ten rozkład a priori jest źródłem, z którego będą pobierane wartości kandydatów na parametry w całym algorytmie, więc powinien obejmować wiarygodny zakres parametrów.
Propozycja parametrów jest pobierana z rozkładu a priori (lub, w wariantach adaptacyjnych, z rozkładu ważności). Następnie pełny model stochastyczny jest uruchamiany z tą propozycją w celu wygenerowania syntetycznego zbioru danych. Ten krok symulacji jest obliczeniowym rdzeniem ABC i może być uruchamiany tysiące lub miliony razy.
Zarówno syntetyczny zbiór danych, jak i obserwowany zbiór danych są kompresowane do wektora statystyk podsumowujących — wielkości wybranych tak, aby zawierały jak najwięcej informacji o parametrach. Idealnie statystyki podsumowujące są statystykami dostatecznymi, ale w praktyce są wybierane na podstawie wiedzy dziedzinowej i kontroli diagnostycznych.
Odległość między symulowanymi statystykami podsumowującymi a obserwowanymi statystykami podsumowującymi jest obliczana za pomocą wybranej metryki. Jeśli ta odległość mieści się w ramach wstępnie określonego progu tolerancji epsilon, propozycja parametrów jest akceptowana; w przeciwnym razie jest odrzucana. Mniejsze wartości epsilon dają dokładniejsze przybliżenie rozkładu a posteriori, ale niższą stopę akceptacji.
Zbiór zaakceptowanych propozycji parametrów tworzy próbkę z przybliżonego rozkładu a posteriori. Ta próbka może być używana do obliczania średnich a posteriori, przedziałów wiarygodności i rozkładów predykcyjnych dokładnie w ten sam sposób, co standardowa próbka bayesowska a posteriori. W SMC-ABC tolerancja jest zmniejszana w kolejnych populacjach w celu poprawy wydajności.
Częste pułapki
- Zbyt luźne ustawienie tolerancji epsilon prowadzi do przybliżenia, które może znacznie różnić się od prawdziwego rozkładu a posteriori — zawsze należy sprawdzić, czy zaostrzenie epsilon stabilizuje rozkład a posteriori.
- Statystyki podsumowujące, które nie zawierają wystarczających informacji o interesujących parametrach, obciążają rozkład a posteriori w kierunku rozkładu a priori; należy walidować statystyki, sprawdzając, czy zmieniają się, gdy zmienia się prawdziwy parametr.
- Przeprowadzenie mniej niż 1 000 symulacji daje próbkę a posteriori zbyt rzadką, aby była wiarygodna; jeśli koszt symulacji uniemożliwia osiągnięcie tego progu, należy przejść na MCMC lub SMC-ABC.
- Rozkład a priori musi odpowiednio pokrywać wiarygodną przestrzeń parametrów; zbyt wąski rozkład a priori wykluczy obszary rozkładu a posteriori, podczas gdy zbyt szeroki marnuje budżet symulacji na niewiarygodne obszary.
Najczęściej zadawane pytania
Czym ABC różni się od standardowego MCMC?
Obie metody generują próbki z rozkładu a posteriori, ale MCMC ocenia funkcję wiarygodności dla każdej proponowanej wartości parametru, podczas gdy ABC zastępuje tę ocenę symulacją w przód i porównaniem statystyk podsumowujących. Użyj ABC, gdy funkcja wiarygodności jest nieobliczalna; użyj MCMC, gdy można ją obliczyć.
Jak wybrać statystyki podsumowujące?
Statystyki podsumowujące powinny zawierać jak najwięcej informacji o interesujących parametrach. Powszechną praktyką jest wykorzystanie wiedzy dziedzinowej (np. średnia, wariancja, częstości alleli) i walidacja wyborów poprzez sprawdzenie, czy statystyki zmieniają się, gdy zmienia się prawdziwy parametr. Statystyki dostateczne istnieją tylko dla modeli z rodziny wykładniczej; dla innych modeli pewna utrata informacji jest nieunikniona.
Jak mały musi być próg tolerancji epsilon?
Nie ma uniwersalnej zasady. Praktyczne podejście polega na stopniowym zaostrzaniu epsilon i sprawdzaniu, czy kształt rozkładu a posteriori stabilizuje się. Przybliżenie rozkładu a posteriori poprawia się wraz ze zmniejszaniem epsilon, ale stopa akceptacji odpowiednio spada i potrzeba więcej symulacji. SMC-ABC automatyzuje ten kompromis poprzez adaptacyjne zmniejszanie epsilon w populacjach.
Kiedy powinienem używać SMC-ABC zamiast odrzuceniowego ABC?
Gdy symulacja jest kosztowna, naiwne odrzuceniowe ABC marnuje większość symulacji, ponieważ stopa akceptacji może być niezwykle niska przy ścisłej tolerancji. SMC-ABC wykorzystuje sekwencję pośrednich progów tolerancji i populacji ważonych ważnością, aby skoncentrować symulacje w pobliżu rozkładu a posteriori, co czyni je znacznie bardziej wydajnym dla tego samego końcowego epsilon.
Pokrewne metody
Źródła
Beaumont, M.A., Zhang, W. & Balding, D.J. (2002). Approximate Bayesian Computation in Population Genetics. Genetics, 162(4), 2025-2035.
Otwórz odnośnik DOISkopiowano.Sisson, S.A., Fan, Y. & Beaumont, M.A. (Eds.) (2018). Handbook of Approximate Bayesian Computation. Chapman & Hall/CRC.
Otwórz odnośnik DOISkopiowano.