Model dyfuzyjny
- Autor metody
- Ho, J., Jain, A. & Abbeel, P.
- Rok
- 2020
- Typ
- Generative deep learning (denoising diffusion)
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Model dyfuzyjny to generatywna metoda głębokiego uczenia, wprowadzona przez Ho, Jaina i Abbeel w 2020 roku (DDPM), która uczy się tworzyć wysokiej jakości obrazy, dźwięki i struktury molekularne poprzez odwracanie stopniowego procesu zaszumiania.
W dużej mierze wyparła ona GANy jako obecny stan wiedzy w modelowaniu generatywnym.
Intuicja stojąca za metodą
Wyobraźmy sobie stopniowe rozmywanie zdjęcia do czystego szumu poprzez dodawanie po trochu losowego szumu w każdej chwili. Model dyfuzyjny uczy się odwrotnej podróży: zaczynając od losowego szumu, usuwa on po trochu szumu na każdym kroku, aż wyłoni się czysta, realistyczna próbka. Ponieważ musi on tylko cofnąć jeden mały krok zaszumienia naraz, zadanie to jest znacznie stabilniejsze do nauczenia niż generowanie całego obrazu w jednym podejściu.
Historia
Probabilistyczne modele dyfuzji usuwania szumu zostały wprowadzone przez Ho, Jaina i Abbeel w 2020 roku, opierając się na wcześniejszych ideach dyfuzji i pokazując jakość obrazu konkurencyjną z GANami. W 2022 roku Rombach i współpracownicy wprowadzili modele dyfuzji utajonej, wykonując proces dyfuzji w skompresowanej przestrzeni utajonej; uczyniło to syntezę w wysokiej rozdzielczości praktyczną i stanowi podstawę systemów takich jak Stable Diffusion. Modele dyfuzyjne stały się od tego czasu dominującym podejściem generatywnym, w dużej mierze zastępując GANy.
Kiedy stosować
Użyj modelu dyfuzyjnego, gdy potrzebujesz generować obrazy, dźwięki lub struktury molekularne o wysokiej wierności i masz duży zbiór danych (około 1000 próbek lub więcej) lub dostęp do wstępnie wytrenowanego modelu. Zakłada on znaczną ilość danych lub wstępne trenowanie i wymaga sprzętu GPU/TPU; wnioskowanie może być powolne, ponieważ próbkowanie iteruje przez wiele kroków usuwania szumu. Przy mniej niż około 1000 próbkach model nie jest w stanie dobrze nauczyć się procesu usuwania szumu, a prostszy generator, taki jak autoenkoder wariacyjny, jest bezpieczniejszy.
Ograniczenia i uwagi
- Wymaga dużego zbioru danych lub wstępnie wytrenowanego modelu — małe dane prowadzą do słabej jakości generowania.
- Wymagany jest sprzęt GPU/TPU do treningu i praktycznego użytku.
- Wnioskowanie jest powolne, ponieważ próbkowanie iteruje przez wiele kroków usuwania szumu.
- Poniżej około 1000 próbek proces usuwania szumu nie może być niezawodnie nauczony.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Produkuje próbki o wyższej jakości i większej różnorodności niż GANy w obrazach, dźwiękach i cząsteczkach.
- Trening jest stabilny, unikając zapadania się modów i niestabilności adwersarialnej, które nękają GANy.
- Warianty dyfuzji utajonej sprawiają, że generowanie w wysokiej rozdzielczości jest obliczeniowo wykonalne.
- Naturalnie obsługuje generowanie warunkowe, takie jak podpowiedzi tekstowo-obrazowe.
Zastosowania
- Synteza obrazów w wysokiej rozdzielczości i generowanie tekstu na obraz.
- Generowanie dźwięku i mowy.
- Generowanie struktur molekularnych i materiałowych w chemii i naukach przyrodniczych.
- Augmentacja danych i generowanie warunkowe z wstępnie wytrenowanych grzbietów.
Jak to działa
Jak to działa
Stały proces w przód zanieczyszcza każdy przykład treningowy, dodając małe ilości szumu Gaussa przez wiele kroków, aż dane zamienią się w czysty szum. Ten proces nie wymaga uczenia — po prostu definiuje trajektorię od czystych danych do szumu, którą model później odwróci.
Wzór
q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}\,x_{t-1}, \beta_t I)Szkolona jest sieć neuronowa (zazwyczaj U-Net), aby przewidywać szum dodany na danym kroku. Minimalizując błąd kwadratowy między rzeczywistym a przewidzianym szumem w wielu krokach czasowych i przykładach, sieć uczy się, jak przekształcić zaszumione wejście o jeden krok bliżej do czystych danych.
Wzór
\mathcal{L} = \mathbb{E}_{t, x_0, \epsilon}\big[\,\lVert \epsilon - \epsilon_\theta(x_t, t) \rVert^2\,\big]Aby wygenerować nową próbkę, model zaczyna od losowego szumu i wielokrotnie stosuje nauczony krok usuwania szumu, odejmując przewidziany szum i dodając mały człon stochastyczny, aż pojawi się czyste wyjście. Warianty dyfuzji utajonej (Stable Diffusion) wykonują tę pętlę w skompresowanej przestrzeni utajonej, aby generowanie w wysokiej rozdzielczości było wykonalne.
Wzór
x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\Big(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,\epsilon_\theta(x_t, t)\Big) + \sigma_t zCzęste pułapki
- Próba trenowania od zera na małym zbiorze danych zamiast dostrajania wstępnie wytrenowanego modelu.
- Niedoszacowanie zasobów obliczeniowych: trening, a nawet wnioskowanie, wymaga zasobów GPU/TPU.
- Oczekiwanie wyników w czasie rzeczywistym, gdy wieloetapowe próbkowanie sprawia, że wnioskowanie jest z natury powolne.
- Używanie modelu dyfuzyjnego, gdzie znacznie prostszy generator (np. VAE) byłby wystarczający dla posiadanych danych.
Najczęściej zadawane pytania
Czym model dyfuzyjny różni się od GAN?
Oba są generatywne, ale GAN trenuje generator przeciwko dyskryminatorowi, co może być niestabilne i podatne na zapadanie się modów. Model dyfuzyjny zamiast tego uczy się odwracać proces zaszumiania krok po kroku, zapewniając stabilniejszy trening i zazwyczaj próbki o wyższej jakości i większej różnorodności.
Ile danych potrzebuję?
Trening od zera zazwyczaj wymaga około 1000 próbek lub więcej; poniżej tego progu proces usuwania szumu nie może być dobrze nauczony. Przy małej ilości danych, dostrój wstępnie wytrenowany model lub użyj prostszego generatora, takiego jak autoenkoder wariacyjny.
Dlaczego generowanie jest powolne?
Próbkowanie zaczyna się od szumu i wielokrotnie stosuje nauczony krok usuwania szumu sekwencyjnie, więc produkcja jednej próbki wymaga wielu przejść przez sieć. Warianty dyfuzji utajonej zmniejszają koszt, działając w skompresowanej przestrzeni utajonej.
Czy potrzebuję specjalnego sprzętu?
Tak. Modele dyfuzyjne wymagają sprzętu GPU lub TPU do treningu i praktycznego wnioskowania; użycie tylko CPU jest zazwyczaj niepraktyczne.
Pokrewne metody
Źródła
Ho, J., Jain, A. & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS.
Otwórz odnośnik do publikacjiSkopiowano.Rombach, R., Blattmann, A., Lorenz, D., Esser, P. & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR.
Otwórz odnośnik do publikacjiSkopiowano.