Przejdź do treści
Wróć do wyników wyszukiwania

Generatywny model bazujący na funkcji "score"

Autor metody
Song, Y. & Ermon, S.
Rok
2019
Typ
Score-based generative model (SDE framework)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Generatywny model bazujący na funkcji "score" (ang. score-based generative model), wprowadzony przez Yanga Songa i Stefano Ermona w 2019 roku i uogólniony do ram stochastycznego równania różniczkowego (SDE) w 2021 roku, uczy się gradientu gęstości danych — funkcji "score" — zamiast bezpośrednio przewidywać szum, a następnie wykorzystuje go do generowania nowych próbek.

Jest to matematyczne uogólnienie, które ujednolica modele dyfuzyjne w ramach sformułowania w czasie ciągłym.

Intuicja stojąca za metodą

Zamiast zapamiętywać, jak wyglądają dane, model uczy się, w którym kierunku należy popchnąć dowolny punkt, aby przemieścił się on w obszary, gdzie rzeczywiste dane są gęste. Ten kierunek to właśnie funkcja "score": gradient logarytmu gęstości. Kiedy już można wskazać kierunek wyższej gęstości z dowolnego miejsca, można zacząć od czystego szumu i podążać tymi kierunkami krok po kroku, aż do uzyskania realistycznej próbki.

Historia

Generatywne modelowanie bazujące na funkcji "score" zostało wprowadzone przez Songa i Ermona w 2019 roku jako modelowanie generatywne poprzez estymację gradientów rozkładu danych. W 2021 roku Song i współpracownicy przeformułowali tę ideę w ramach stochastycznego równania różniczkowego, pokazując, że dopasowanie funkcji "score" dla ciągłych poziomów szumu uogólnia modele dyfuzyjne i ujednolica kilka wcześniejszych sformułowań generatywnych pod jednym spojrzeniem w czasie ciągłym.

Kiedy stosować

Nadaje się do generowania wysokiej wierności i estymacji gęstości danych ciągłych, gdy dostępny jest duży zbiór treningowy (około 1000 obserwacji lub więcej) lub wstępnie wytrenowany model, a także można wykorzystać zasoby GPU/TPU. Nie zakłada normalności rozkładu, ale sampler musi być dopasowany do wybranego SDE. Poniżej około 1000 obserwacji bezpieczniejszym wyborem jest wariacyjny autoenkoder, a poniżej 500 preferowana jest prostsza metoda, taka jak PCA.

Ograniczenia i uwagi

  • Wymaga dużego zbioru danych (około 1000+ obserwacji) lub wstępnie wytrenowanego modelu do wiarygodnej estymacji gradientu gęstości.
  • Wymaga sprzętu GPU/TPU do trenowania i próbkowania.
  • Sampler musi być dobrany do typu SDE, co zwiększa obciążenie konfiguracyjne.
  • Przy małych próbkach estymacja funkcji "score" jest słaba, a generowanie staje się bezcelowe.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Bezpośrednio uczy się gradientu gęstości danych, co stanowi zasadnicze matematyczne uogólnienie modeli dyfuzyjnych.
  • Ramy SDE w czasie ciągłym ujednolicają wiele sformułowań dyfuzyjnych pod jednym celem.
  • Brak założenia normalności rozkładu danych.
  • Generuje próbki danych ciągłych o wysokiej wierności i wspiera estymację gęstości.

Zastosowania

  • Generowanie wysokiej wierności danych ciągłych, takich jak obrazy.
  • Estymacja gęstości i modelowanie złożonych rozkładów danych.
  • Generatywne modelowanie w czasie ciągłym, które obejmuje dyskretne sformułowania dyfuzyjne.
  • Zadania predykcyjne i wyjaśniające generatywne, dla których dostępne są duże dane lub wstępnie wytrenowane modele.

Jak to działa

Jak to działa

1

Sieć neuronowa jest trenowana do estymacji funkcji "score" rozkładu danych — gradientu logarytmu gęstości względem wejścia. Zamiast przewidywać dodany szum, uczy się ona pola kierunków wskazujących, gdzie dane są skoncentrowane, co czyni to podejście matematycznym uogólnieniem modeli dyfuzyjnych.

Wzór
s_\theta(x) \approx \nabla_x \log p(x)
2

Proste stochastyczne równanie różniczkowe stopniowo przekształca dane w szum w czasie ciągłym, z członem dryfu i członem dyfuzji wstrzykującymi szum Gaussa. Definiuje to gładką rodzinę coraz bardziej zaszumionych rozkładów, których funkcje "score" sieć uczy się dla wszystkich poziomów szumu.

Wzór
dx = f(x,t)\,dt + g(t)\,dw
3

Generowanie odwraca ten proces poprzez rozwiązanie odpowiadającego mu wstecznego SDE, które wykorzystuje nauczoną funkcję "score" do kierowania próbek od szumu z powrotem do rozkładu danych. Wybór typu SDE określa, który sampler jest odpowiedni, a całkowanie jest wykonywane na sprzęcie GPU lub TPU.

Wzór
dx = [f(x,t) - g(t)^2 \nabla_x \log p_t(x)]\,dt + g(t)\,d\bar{w}

Częste pułapki

  • Stosowanie poniżej progu ~1000 obserwacji, gdzie funkcja "score" nie może być dokładnie estymowana.
  • Używanie samplera, który nie pasuje do wybranego sformułowania SDE.
  • Próba trenowania bez zasobów GPU/TPU.
  • Spadek poniżej ~500 obserwacji, gdzie generowanie oparte na SDE jest bezcelowe i należy zastosować prostszy model.

Najczęściej zadawane pytania

Czym jest funkcja "score", której uczy się model?

Funkcja "score" to gradient logarytmu gęstości prawdopodobieństwa względem wejścia. Znajomość jej w każdym punkcie i na każdym poziomie szumu pozwala modelowi przesuwać próbki w kierunku, gdzie skoncentrowane są rzeczywiste dane.

Jak to się ma do modeli dyfuzyjnych?

Jest to matematyczne uogólnienie modeli dyfuzyjnych: poprzez sformułowanie prostego zniekształcenia i odwrotnego generowania jako stochastycznych równań różniczkowych w czasie ciągłym, modelowanie oparte na funkcji "score" ujednolica podejścia dyfuzyjne w ramach jednej struktury.

Ile danych potrzebuję?

Około 1000 obserwacji lub więcej, albo wstępnie wytrenowany model. Poniżej 1000 bezpieczniejszy jest wariacyjny autoenkoder, a poniżej 500 generowanie oparte na SDE jest bezcelowe i preferowana jest prostsza metoda, taka jak PCA.

Jakiego sprzętu to wymaga?

Zasoby GPU lub TPU są potrzebne zarówno do trenowania, jak i próbkowania, a sampler musi być dobrany do typu użytego SDE.

Pokrewne metody

Źródła

  1. Song, Y. & Ermon, S. (2019). Generative Modeling by Estimating Gradients of the Data Distribution. NeurIPS 32, 11895–11907.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Song, Y. et al. (2021). Score-Based Generative Modeling through Stochastic Differential Equations. ICLR.

    Otwórz odnośnik do publikacji
    Skopiowano.