Zum Inhalt springen
Zurück zu den Suchergebnissen

Autoencoder

Eingeführt von
Hinton, G.E. & Salakhutdinov, R.R.
Jahr
2006
Typ
Neural network (encoder-decoder)

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Ein Autoencoder ist ein Encoder-Decoder-Neuronales Netz, das 2006 von Hinton und Salakhutdinov populär gemacht wurde und Daten in einen niedrigdimensionalen latenten Code komprimiert und diesen dann rekonstruiert, was Dimensionsreduktion und Anomalieerkennung ermöglicht.

Indem es lernt, seine eigene Eingabe durch eine schmale Engstelle wiederherzustellen, entdeckt es eine kompakte Darstellung der Daten.

Die Intuition hinter der Methode

Stellen Sie sich vor, Sie müssten ein langes Dokument in einem einzigen Satz zusammenfassen und dann das vollständige Dokument nur aus diesem Satz neu schreiben. Um dies gut zu machen, müssen Sie nur das Wichtigste behalten. Ein Autoencoder lernt genau diese Disziplin: Er presst jede Beobachtung durch eine schmale Engstelle und versucht, das Original aus dem komprimierten Code wiederherzustellen. Was auch immer die Kompression übersteht, ist die Essenz der Daten, und Eingaben, die das Netz nicht gut rekonstruieren kann, fallen als Anomalien auf.

Geschichte

Die Idee des Autoencoders, einen kompakten Code durch Rekonstruktion der Eingabe zu lernen, wurde durch Geoffrey Hinton und Ruslan Salakhutdinov in ihrer Science-Arbeit von 2006 bekannt, die zeigte, dass tiefe neuronale Netze die Dimensionalität von Daten effektiver reduzieren können als klassische lineare Techniken. Diese Arbeit trug dazu bei, neuronale Netze als praktisches Werkzeug für das Repräsentationslernen zu etablieren.

Wann wird sie eingesetzt?

Verwenden Sie einen Autoencoder für nichtlineare Dimensionsreduktion oder Anomalieerkennung auf kontinuierlich-wertigen Daten, wenn Sie eine einigermaßen große Stichprobe haben – etwa 200 Beobachtungen oder mehr. Er erfordert keine normalverteilten Daten, benötigt aber genügend Daten, um einen aussagekräftigen latenten Raum zu lernen, und die Wahl der Größe der versteckten Schicht ist entscheidend. Bei kleinen Stichproben (unter etwa 200) ist PCA die sicherere Wahl, und unter etwa 50 schlägt die Dimensionsreduktion mittels neuronaler Netze gänzlich fehl.

Grenzen und Hinweise

  • Benötigt eine einigermaßen große Stichprobe – etwa 200 Beobachtungen oder mehr –, um einen aussagekräftigen latenten Raum zu lernen.
  • Die Wahl der Größe der versteckten (latenten) Schicht ist entscheidend und beeinflusst die Ergebnisse stark.
  • Bei kleinen Datensätzen kann er den latenten Raum nicht lernen und einfacheres PCA ist vorzuziehen.
  • Unter etwa 50 Beobachtungen schlägt die Dimensionsreduktion mittels neuronaler Netze gänzlich fehl.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Erfasst nichtlineare Strukturen, die lineare Methoden wie PCA übersehen.
  • Dient sowohl der Dimensionsreduktion als auch der Anomalieerkennung aus derselben gelernten Darstellung.
  • Annahme-leicht: erfordert keine normalverteilten Daten.
  • Der latente Code liefert eine kompakte, gelernte Darstellung komplexer kontinuierlicher Daten.

Anwendungen

  • Nichtlineare Dimensionsreduktion von hochdimensionalen kontinuierlichen Daten.
  • Anomalieerkennung durch Kennzeichnung von Beobachtungen mit großem Rekonstruktionsfehler.
  • Lernen kompakter latenter Darstellungen als Merkmale für nachgelagerte Aufgaben.
  • Explorative Analyse komplexer Daten, bei denen lineare Reduktion unzureichend ist.

So funktioniert es

So funktioniert es

1

Der Encoder bildet die Eingabe durch eine oder mehrere versteckte Schichten auf einen niedrigdimensionalen latenten Code ab. Die Größe dieser versteckten (Engstellen-)Schicht ist die kritische Designentscheidung: zu breit und das Netz kopiert einfach die Eingabe, zu schmal und es verliert bedeutungsvolle Struktur.

Formel
z = f(Wx + b)
2

Der Decoder nimmt den latenten Code und erweitert ihn durch versteckte Schichten zurück in die ursprüngliche Dimensionalität, wodurch eine Rekonstruktion der Eingabe erzeugt wird. Encoder und Decoder werden als ein einziges Netz trainiert.

Formel
\hat{x} = g(W'z + b')
3

Das Training minimiert den Rekonstruktionsfehler – den Unterschied zwischen der Eingabe und ihrer wiederhergestellten Version. Nach dem Training dient der latente Code als komprimierte Darstellung für die Dimensionsreduktion, während große Rekonstruktionsfehler Beobachtungen kennzeichnen, die nicht zu den gelernten Mustern passen, und so die Anomalieerkennung unterstützen.

Formel
\min \; \lVert x - \hat{x} \rVert^2

Häufige Fallstricke

  • Anwendung auf kleine Stichproben, bei denen PCA sowohl angemessen als auch zuverlässiger wäre.
  • Festlegen der Engstelle zu breit, sodass das Netz die Eingabe kopiert, anstatt sie zu komprimieren.
  • Festlegen der Engstelle zu schmal, wodurch bedeutungsvolle Struktur verworfen wird.
  • Verwendung bei Datentypen, für die er nicht geeignet ist, anstatt bei kontinuierlich-wertigen Merkmalen.

Häufig gestellte Fragen

Wie unterscheidet sich ein Autoencoder von PCA?

PCA findet die beste lineare Projektion der Daten, während ein Autoencoder durch seine versteckten Schichten nichtlineare Darstellungen lernen kann. Bei kleinen Stichproben oder wenn eine lineare Zusammenfassung ausreicht, ist PCA einfacher und zuverlässiger; Autoencoder zahlen sich aus, wenn die Daten nichtlineare Struktur aufweisen und die Stichprobe groß genug ist.

Wie viele Daten benötige ich?

Etwa 200 Beobachtungen oder mehr. Darunter kann das Netz keinen aussagekräftigen latenten Raum lernen und PCA ist die sicherere Wahl; unter etwa 50 Beobachtungen schlägt die Dimensionsreduktion mittels neuronaler Netze gänzlich fehl.

Wie erkenne ich damit Anomalien?

Nach dem Training werden Beobachtungen durch das Netz geleitet und ihr Rekonstruktionsfehler gemessen. Punkte, die das Modell schlecht wiederherstellt – solche mit großem Fehler –, passen nicht zu den gelernten Mustern und werden als Anomalien gekennzeichnet.

Was ist die wichtigste Einstellung, die richtig gemacht werden muss?

Die Größe der versteckten (Engstellen-)Schicht. Zu breit und das Netz kopiert einfach die Eingabe, ohne eine nützliche Kompression zu lernen; zu schmal und es verwirft bedeutungsvolle Struktur.

Verwandte Methoden

Quellen

  1. Hinton, G.E. & Salakhutdinov, R.R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science, 313(5786), 504–507.

    DOI-Referenz öffnen
    Kopiert.