Przejdź do treści
Wróć do wyników wyszukiwania

Autoenkoder wariacyjny

Autor metody
Kingma, D. P. & Welling, M.
Rok
2014
Typ
Deep generative latent-variable model (encoder–decoder)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Autoenkoder wariacyjny (VAE) to głęboki generatywny model zmiennych ukrytych, wprowadzony przez Diederika Kingmę i Maxa Wellinga w 2014 roku, który koduje dane jako rozkład prawdopodobieństwa w przestrzeni ukrytej i losuje z tego rozkładu w celu generowania nowych przykładów.

Jest używany do generowania danych, wykrywania anomalii i uczenia cech.

Intuicja stojąca za metodą

Zwykły autoenkoder ściska każde wejście do pojedynczego punktu w przestrzeni skompresowanej, co jest dobre dla rekonstrukcji, ale nie daje żadnego metodycznego sposobu tworzenia nowych danych. VAE zamiast tego mapuje każde wejście na małą chmurę prawdopodobieństwa – średnią i rozrzut – i wymusza, aby te chmury pozostały blisko prostego rozkładu odniesienia. Ponieważ przestrzeń ukryta jest następnie gładka i ciągła, można z niej wylosować nowy punkt, a dekoder przekształca go w zupełnie nowy, wiarygodny przykład.

Historia

Autoenkoder wariacyjny został wprowadzony przez Diederika Kingmę i Maxa Wellinga w 2014 roku w artykule „Auto-Encoding Variational Bayes”, który połączył wnioskowanie wariacyjne z enkoderami i dekoderami sieci neuronowych oraz wprowadził sztuczkę z reparametryzacją, która uczyniła model trenowalnym kompleksowo. W 2017 roku Higgins i współpracownicy zaproponowali beta-VAE, który przelicza człon KL współczynnikiem, aby zachęcić do bardziej rozplątanych czynników ukrytych. VAE stał się jednym z fundamentalnych głębokich modeli generatywnych, obok GANów i, co nowsze, modeli dyfuzyjnych.

Kiedy stosować

Dobry wybór, gdy masz co najmniej około 200 obserwacji o wartościach ciągłych i chcesz nauczyć się gładkiej reprezentacji ukrytej do generowania nowych danych, wykrywania anomalii lub kompresji danych o wysokiej wymiarowości, a GPU jest dostępne do treningu. Model zakłada ciągłą zmienną ukrytą i jest trenowany przez wspólną optymalizację straty rekonstrukcji i dywergencji KL. Poniżej około 200 próbek rozkład ukryty nie może być sensownie nauczony, a prostsza metoda, taka jak PCA, jest preferowana; poniżej około 50 całkowicie zawodzi.

Ograniczenia i uwagi

  • Wymaga stosunkowo dużej próbki (około 200+) i zazwyczaj GPU do efektywnego treningu.
  • Próbki mogą wyglądać na rozmyte w porównaniu z generatorami opartymi na sieciach antagonistycznych lub dyfuzyjnych.
  • Na małych zbiorach danych rozkład ukryty nie jest sensownie nauczony, więc PCA jest bezpieczniejszym wyborem.
  • Równoważenie członów rekonstrukcji i KL jest delikatne; człon KL może się załamać i zostać zignorowany.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Uczy gładkiej, ciągłej przestrzeni ukrytej, z której można losować, aby generować autentycznie nowe przykłady.
  • Zapewnia metodyczne ramy probabilistyczne, optymalizując pojedynczy cel (dolne ograniczenie dowodu).
  • Przydatny poza generowaniem – do wykrywania anomalii, uczenia cech i nieliniowej redukcji wymiarowości.
  • Nie wymaga danych wejściowych o rozkładzie normalnym i działa z danymi ciągłymi o wysokiej wymiarowości.
  • Sztuczka z reparametryzacją sprawia, że cały model jest trenowalny kompleksowo za pomocą spadku gradientu.

Zastosowania

  • Generowanie nowych syntetycznych próbek danych z nauczonej przestrzeni ukrytej.
  • Wykrywanie anomalii i wartości odstających poprzez oznaczanie wejść, które model słabo rekonstruuje.
  • Nieliniowa redukcja wymiarowości i uczenie cech na danych o wysokiej wymiarowości.
  • Uczenie reprezentacji jako wstępny krok dla dalszego przewidywania lub klastrowania.

Jak to działa

Jak to działa

1

Sieć kodująca odczytuje każde wejście i zwraca parametry rozkładu nad zmienną ukrytą – średnią i wariancję – zamiast pojedynczego ustalonego kodu. Jest to probabilistyczny krok kodowania, który reprezentuje każdą obserwację jako region przestrzeni ukrytej zamiast jednego punktu.

Wzór
q_\phi(z \mid x) = \mathcal{N}(z; \mu_\phi(x), \sigma_\phi^2(x))
2

Wektor ukryty jest losowany z zakodowanego rozkładu przy użyciu sztuczki z reparametryzacją: zamiast losować bezpośrednio, model zapisuje losowanie jako średnią plus odchylenie standardowe razy standardowy szum gaussowski. Ponieważ losowość jest przeniesiona do zewnętrznego członu szumu, gradienty nadal mogą przepływać przez sieć, a model można trenować kompleksowo.

Wzór
z = \mu + \sigma \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)
3

Sieć dekodująca mapuje wylosowany wektor ukryty z powrotem do przestrzeni danych, a trening optymalizuje dolne ograniczenie dowodu: człon rekonstrukcji, który nagradza wierne odtwarzanie wejścia, minus człon Kullbacka–Leiblera, który przyciąga każdy zakodowany rozkład do rozkładu apriorycznego. Równoważenie tych dwóch sił jest tym, co daje przestrzeń ukrytą, która zarówno dobrze rekonstruuje, jak i umożliwia generowanie nowych próbek.

Wzór
\mathcal{L} = \mathbb{E}_{q_\phi}[\log p_\theta(x \mid z)] - D_{KL}(q_\phi(z \mid x) \,\|\, p(z))

Częste pułapki

  • Trenowanie na zbyt małej liczbie obserwacji (poniżej około 200) i oczekiwanie sensownego modelu generatywnego.
  • Ignorowanie załamania posterioru, gdzie człon KL sprawia, że kod ukryty staje się nieinformatywny.
  • Ocenianie modelu wyłącznie na podstawie ostrości rekonstrukcji, a nie jakości generowanych próbek.
  • Pomijanie sztuczki z reparametryzacją i przerywanie przepływu gradientu przez krok losowania.
  • Sięganie po VAE, gdy wystarczyłaby prosta liniowa redukcja wymiarowości, taka jak PCA.

Najczęściej zadawane pytania

Czym VAE różni się od zwykłego autoenkodera?

Zwykły autoenkoder mapuje każde wejście na pojedynczy kod ukryty, optymalizowany tylko pod kątem rekonstrukcji. VAE koduje każde wejście jako rozkład prawdopodobieństwa i dodaje człon KL, który utrzymuje ten rozkład blisko rozkładu apriorycznego, co daje gładką przestrzeń ukrytą, z której można losować, aby generować nowe dane.

Co to jest sztuczka z reparametryzacją?

Przepisuje ona losowanie ukryte jako zakodowaną średnią plus odchylenie standardowe razy standardowy szum gaussowski. Przenosząc losowość do zewnętrznego członu szumu, gradienty mogą przechodzić przez krok losowania, dzięki czemu enkoder i dekoder mogą być trenowane razem przez propagację wsteczną.

Ile danych i jakiego sprzętu potrzebuję?

Zaleca się co najmniej około 200 obserwacji ciągłych, a GPU jest zalecane do treningu. Poniżej 200 rozkład ukryty nie jest sensownie nauczony i preferowane jest PCA; poniżej około 50 VAE całkowicie zawodzi.

Co to jest beta-VAE?

beta-VAE, zaproponowany przez Higginsa i współpracowników w 2017 roku, mnoży człon KL przez współczynnik (beta). Większe beta naciska na wymiary ukryte, aby przechwytywały bardziej niezależne, rozplątane czynniki zmienności, kosztem pewnej wierności rekonstrukcji.

Pokrewne metody

Źródła

  1. Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. International Conference on Learning Representations (ICLR).

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Higgins, I. et al. (2017). beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework. International Conference on Learning Representations (ICLR).

    Otwórz odnośnik do publikacji
    Skopiowano.