Przejdź do treści
Wróć do wyników wyszukiwania

Autoenkoder

Autor metody
Hinton, G.E. & Salakhutdinov, R.R.
Rok
2006
Typ
Neural network (encoder-decoder)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Autoenkoder to popularna spopularyzowana przez Hintona i Salakhutdinova w 2006 roku sieć neuronowa typu enkoder-dekoder, która kompresuje dane do niskowymiarowego kodu utajonego, a następnie je rekonstruuje, umożliwiając redukcję wymiarowości i wykrywanie anomalii.

Ucząc się odbudowywać własne wejście przez wąskie gardło, odkrywa zwięzłą reprezentację danych.

Intuicja stojąca za metodą

Wyobraź sobie, że proszą Cię o podsumowanie długiego dokumentu w jednym zdaniu, a następnie o przepisanie całego dokumentu na podstawie tego jednego zdania. Aby zrobić to dobrze, musisz zachować tylko to, co najważniejsze. Autoenkoder uczy się dokładnie tej dyscypliny: przepuszcza każdą obserwację przez wąskie gardło i próbuje odtworzyć oryginał ze ściśniętego kodu. Cokolwiek przetrwa ściskanie, jest esencją danych, a wejścia, których sieć nie potrafi dobrze odtworzyć, wyróżniają się jako anomalie.

Historia

Idea autoenkodera polegająca na uczeniu się zwartego kodu poprzez rekonstrukcję wejścia została spopularyzowana przez Geoffreya Hintona i Ruslana Salakhutdinova w ich artykule z 2006 roku w Science, który pokazał, że głębokie sieci neuronowe mogą skuteczniej redukować wymiarowość danych niż klasyczne techniki liniowe. Praca ta pomogła ustanowić sieci neuronowe jako praktyczne narzędzie do uczenia reprezentacji.

Kiedy stosować

Użyj autoenkodera do nieliniowej redukcji wymiarowości lub wykrywania anomalii na danych o ciągłych wartościach, gdy masz rozsądnie dużą próbkę — około 200 obserwacji lub więcej. Nie wymaga danych o rozkładzie normalnym, ale potrzebuje wystarczająco dużo danych, aby nauczyć się znaczącej przestrzeni utajonej, a wybór rozmiaru warstwy ukrytej jest kluczowy. Przy małych próbkach (poniżej około 200) bezpieczniejszym wyborem jest PCA, a poniżej około 50 redukcja wymiarowości za pomocą sieci neuronowych całkowicie zawodzi.

Ograniczenia i uwagi

  • Wymaga rozsądnie dużej próbki — około 200 obserwacji lub więcej — aby nauczyć się znaczącej przestrzeni utajonej.
  • Wybór rozmiaru ukrytej warstwy (utajonej) jest kluczowy i silnie wpływa na wyniki.
  • Na małych zbiorach danych nie może nauczyć się przestrzeni utajonej, a prostsze PCA jest preferowane.
  • Poniżej około 50 obserwacji redukcja wymiarowości oparta na sieciach neuronowych zawodzi całkowicie.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Uchwycenie nieliniowej struktury, której brakuje w metodach liniowych, takich jak PCA.
  • Służy zarówno do redukcji wymiarowości, jak i wykrywania anomalii z tej samej nauczonej reprezentacji.
  • Założenia są lekkie: nie wymaga danych o rozkładzie normalnym.
  • Kod utajony zapewnia zwięzłą, nauczoną reprezentację złożonych danych ciągłych.

Zastosowania

  • Nieliniowa redukcja wymiarowości danych ciągłych o wysokiej wymiarowości.
  • Wykrywanie anomalii poprzez oznaczanie obserwacji z dużym błędem rekonstrukcji.
  • Uczenie się zwartych reprezentacji utajonych jako cech dla zadań pochodnych.
  • Analiza eksploracyjna złożonych danych, gdzie redukcja liniowa jest niewystarczająca.

Jak to działa

Jak to działa

1

Enkoder odwzorowuje wejście przez jedną lub więcej warstw ukrytych w dół do niskowymiarowego kodu utajonego. Rozmiar tej ukrytej warstwy (wąskiego gardła) jest kluczowym wyborem projektowym: zbyt szeroka, a sieć po prostu kopiuje wejście, zbyt wąska, a traci znaczącą strukturę.

Wzór
z = f(Wx + b)
2

Dekoder przyjmuje kod utajony i rozszerza go z powrotem przez warstwy ukryte w kierunku oryginalnej wymiarowości, produkując rekonstrukcję wejścia. Enkoder i dekoder są trenowane razem jako jedna sieć.

Wzór
\hat{x} = g(W'z + b')
3

Trening minimalizuje błąd rekonstrukcji — różnicę między wejściem a jego odtworzoną wersją. Po wytrenowaniu kod utajony służy jako skompresowana reprezentacja do redukcji wymiarowości, podczas gdy duże błędy rekonstrukcji oznaczają obserwacje, które nie pasują do nauczonych wzorców, wspierając wykrywanie anomalii.

Wzór
\min \; \lVert x - \hat{x} \rVert^2

Częste pułapki

  • Zastosowanie go do małych próbek, gdzie PCA byłoby zarówno odpowiednie, jak i bardziej niezawodne.
  • Ustawienie wąskiego gardła zbyt szeroko, tak aby sieć kopiowała wejście zamiast je kompresować.
  • Ustawienie wąskiego gardła zbyt wąsko, odrzucając znaczącą strukturę.
  • Używanie go do typów danych, do których nie jest przystosowany, zamiast cech o ciągłych wartościach.

Najczęściej zadawane pytania

Czym autoenkoder różni się od PCA?

PCA znajduje najlepszą liniową projekcję danych, podczas gdy autoenkoder może uczyć się nieliniowych reprezentacji poprzez swoje warstwy ukryte. Dla małych próbek lub gdy wystarcza podsumowanie liniowe, PCA jest prostszy i bardziej niezawodny; autoenkodery przynoszą korzyści, gdy dane mają nieliniową strukturę, a próbka jest wystarczająco duża.

Ile danych potrzebuję?

Około 200 obserwacji lub więcej. Poniżej tej liczby sieć nie może nauczyć się znaczącej przestrzeni utajonej, a PCA jest bezpieczniejszym wyborem; poniżej około 50 obserwacji redukcja wymiarowości sieci neuronowych zawodzi całkowicie.

Jak wykrywać za jego pomocą anomalie?

Po wytrenowaniu przepuść obserwacje przez sieć i zmierz ich błąd rekonstrukcji. Punkty, które model słabo odtwarza — te z dużym błędem — nie pasują do nauczonych wzorców i są oznaczane jako anomalie.

Jakie jest najważniejsze ustawienie, które należy poprawnie skonfigurować?

Rozmiar ukrytej warstwy (wąskiego gardła). Zbyt szeroka, a sieć po prostu kopiuje wejście bez uczenia się użytecznej kompresji; zbyt wąska, a odrzuca znaczącą strukturę.

Pokrewne metody

Źródła

  1. Hinton, G.E. & Salakhutdinov, R.R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science, 313(5786), 504–507.

    Otwórz odnośnik DOI
    Skopiowano.