Generatywny model bazujący na funkcji "score"
- Autor metody
- Song, Y. & Ermon, S.
- Rok
- 2019
- Typ
- Score-based generative model (SDE framework)
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Generatywny model bazujący na funkcji "score" (ang. score-based generative model), wprowadzony przez Yanga Songa i Stefano Ermona w 2019 roku i uogólniony do ram stochastycznego równania różniczkowego (SDE) w 2021 roku, uczy się gradientu gęstości danych — funkcji "score" — zamiast bezpośrednio przewidywać szum, a następnie wykorzystuje go do generowania nowych próbek.
Jest to matematyczne uogólnienie, które ujednolica modele dyfuzyjne w ramach sformułowania w czasie ciągłym.
Intuicja stojąca za metodą
Zamiast zapamiętywać, jak wyglądają dane, model uczy się, w którym kierunku należy popchnąć dowolny punkt, aby przemieścił się on w obszary, gdzie rzeczywiste dane są gęste. Ten kierunek to właśnie funkcja "score": gradient logarytmu gęstości. Kiedy już można wskazać kierunek wyższej gęstości z dowolnego miejsca, można zacząć od czystego szumu i podążać tymi kierunkami krok po kroku, aż do uzyskania realistycznej próbki.
Historia
Generatywne modelowanie bazujące na funkcji "score" zostało wprowadzone przez Songa i Ermona w 2019 roku jako modelowanie generatywne poprzez estymację gradientów rozkładu danych. W 2021 roku Song i współpracownicy przeformułowali tę ideę w ramach stochastycznego równania różniczkowego, pokazując, że dopasowanie funkcji "score" dla ciągłych poziomów szumu uogólnia modele dyfuzyjne i ujednolica kilka wcześniejszych sformułowań generatywnych pod jednym spojrzeniem w czasie ciągłym.
Kiedy stosować
Nadaje się do generowania wysokiej wierności i estymacji gęstości danych ciągłych, gdy dostępny jest duży zbiór treningowy (około 1000 obserwacji lub więcej) lub wstępnie wytrenowany model, a także można wykorzystać zasoby GPU/TPU. Nie zakłada normalności rozkładu, ale sampler musi być dopasowany do wybranego SDE. Poniżej około 1000 obserwacji bezpieczniejszym wyborem jest wariacyjny autoenkoder, a poniżej 500 preferowana jest prostsza metoda, taka jak PCA.
Ograniczenia i uwagi
- Wymaga dużego zbioru danych (około 1000+ obserwacji) lub wstępnie wytrenowanego modelu do wiarygodnej estymacji gradientu gęstości.
- Wymaga sprzętu GPU/TPU do trenowania i próbkowania.
- Sampler musi być dobrany do typu SDE, co zwiększa obciążenie konfiguracyjne.
- Przy małych próbkach estymacja funkcji "score" jest słaba, a generowanie staje się bezcelowe.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Bezpośrednio uczy się gradientu gęstości danych, co stanowi zasadnicze matematyczne uogólnienie modeli dyfuzyjnych.
- Ramy SDE w czasie ciągłym ujednolicają wiele sformułowań dyfuzyjnych pod jednym celem.
- Brak założenia normalności rozkładu danych.
- Generuje próbki danych ciągłych o wysokiej wierności i wspiera estymację gęstości.
Zastosowania
- Generowanie wysokiej wierności danych ciągłych, takich jak obrazy.
- Estymacja gęstości i modelowanie złożonych rozkładów danych.
- Generatywne modelowanie w czasie ciągłym, które obejmuje dyskretne sformułowania dyfuzyjne.
- Zadania predykcyjne i wyjaśniające generatywne, dla których dostępne są duże dane lub wstępnie wytrenowane modele.
Jak to działa
Jak to działa
Sieć neuronowa jest trenowana do estymacji funkcji "score" rozkładu danych — gradientu logarytmu gęstości względem wejścia. Zamiast przewidywać dodany szum, uczy się ona pola kierunków wskazujących, gdzie dane są skoncentrowane, co czyni to podejście matematycznym uogólnieniem modeli dyfuzyjnych.
Wzór
s_\theta(x) \approx \nabla_x \log p(x)
Proste stochastyczne równanie różniczkowe stopniowo przekształca dane w szum w czasie ciągłym, z członem dryfu i członem dyfuzji wstrzykującymi szum Gaussa. Definiuje to gładką rodzinę coraz bardziej zaszumionych rozkładów, których funkcje "score" sieć uczy się dla wszystkich poziomów szumu.
Wzór
dx = f(x,t)\,dt + g(t)\,dw
Generowanie odwraca ten proces poprzez rozwiązanie odpowiadającego mu wstecznego SDE, które wykorzystuje nauczoną funkcję "score" do kierowania próbek od szumu z powrotem do rozkładu danych. Wybór typu SDE określa, który sampler jest odpowiedni, a całkowanie jest wykonywane na sprzęcie GPU lub TPU.
Wzór
dx = [f(x,t) - g(t)^2 \nabla_x \log p_t(x)]\,dt + g(t)\,d\bar{w}Częste pułapki
- Stosowanie poniżej progu ~1000 obserwacji, gdzie funkcja "score" nie może być dokładnie estymowana.
- Używanie samplera, który nie pasuje do wybranego sformułowania SDE.
- Próba trenowania bez zasobów GPU/TPU.
- Spadek poniżej ~500 obserwacji, gdzie generowanie oparte na SDE jest bezcelowe i należy zastosować prostszy model.
Najczęściej zadawane pytania
Czym jest funkcja "score", której uczy się model?
Funkcja "score" to gradient logarytmu gęstości prawdopodobieństwa względem wejścia. Znajomość jej w każdym punkcie i na każdym poziomie szumu pozwala modelowi przesuwać próbki w kierunku, gdzie skoncentrowane są rzeczywiste dane.
Jak to się ma do modeli dyfuzyjnych?
Jest to matematyczne uogólnienie modeli dyfuzyjnych: poprzez sformułowanie prostego zniekształcenia i odwrotnego generowania jako stochastycznych równań różniczkowych w czasie ciągłym, modelowanie oparte na funkcji "score" ujednolica podejścia dyfuzyjne w ramach jednej struktury.
Ile danych potrzebuję?
Około 1000 obserwacji lub więcej, albo wstępnie wytrenowany model. Poniżej 1000 bezpieczniejszy jest wariacyjny autoenkoder, a poniżej 500 generowanie oparte na SDE jest bezcelowe i preferowana jest prostsza metoda, taka jak PCA.
Jakiego sprzętu to wymaga?
Zasoby GPU lub TPU są potrzebne zarówno do trenowania, jak i próbkowania, a sampler musi być dobrany do typu użytego SDE.
Pokrewne metody
Źródła
Song, Y. & Ermon, S. (2019). Generative Modeling by Estimating Gradients of the Data Distribution. NeurIPS 32, 11895–11907.
Otwórz odnośnik do publikacjiSkopiowano.Song, Y. et al. (2021). Score-Based Generative Modeling through Stochastic Differential Equations. ICLR.
Otwórz odnośnik do publikacjiSkopiowano.