Kapselnetzwerk
- Eingeführt von
- Sabour, S., Frosst, N. & Hinton, G. E.
- Jahr
- 2017
- Typ
- Deep learning architecture (vector capsules with dynamic routing)
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Ein Kapselnetzwerk (CapsNet) ist eine Deep-Learning-Architektur, die 2017 von Sara Sabour, Nicholas Frosst und Geoffrey Hinton eingeführt wurde und Neuronen als Vektoren (Kapseln) anstelle von skalaren Aktivierungen organisiert, sodass räumliche Hierarchie- und Poseninformationen (Orientierung) direkt kodiert werden.
Es wurde vorgeschlagen, um die Fragilität von Faltungsnetzwerken gegenüber Änderungen der Blickrichtung zu überwinden.
Die Intuition hinter der Methode
Ein Standard-Faltungsnetzwerk erkennt, ob ein Merkmal vorhanden ist, verwirft aber viel von seiner präzisen räumlichen Beziehung zu anderen Merkmalen, was es brüchig macht, wenn ein Objekt gedreht oder aus einem neuen Winkel betrachtet wird. Eine Kapsel ersetzt ein einzelnes skalarisches Neuron durch einen kleinen Vektor: Seine Länge signalisiert die Wahrscheinlichkeit, dass eine Entität vorhanden ist, und seine Richtung kodiert die Eigenschaften dieser Entität, wie Pose und Orientierung. Da Kapseln diese reichhaltigeren Informationen tragen, kann das Netzwerk darüber nachdenken, wie Teile zu Ganzen in Beziehung stehen, anstatt nur zu prüfen, ob Teile erscheinen.
Geschichte
Kapselnetzwerke wurden von Sara Sabour, Nicholas Frosst und Geoffrey Hinton im NeurIPS-Paper Dynamic Routing Between Capsules von 2017 eingeführt, motiviert durch die Einschränkungen von Faltungsnetzwerken bei der Handhabung von Blickwinkelvariationen. Im Jahr 2018 erweiterten Hinton, Sabour und Frosst die Idee auf der ICLR mit Matrix Capsules with EM Routing und ersetzten das ursprüngliche Routing-Schema durch ein Erwartungsmaximierungsverfahren über Matrix-wertige Kapseln.
Wann wird sie eingesetzt?
Geeignet für Klassifizierung und Vorhersage auf Bild- oder anderen strukturierten kontinuierlichen Merkmalsdaten, bei denen Robustheit gegenüber Änderungen der Blickrichtung und Pose wichtig ist, mit einer angemessen großen Stichprobe (mindestens etwa 500 Beobachtungen). Eine GPU wird empfohlen und der dynamische Routing-Algorithmus muss abgestimmt werden. Unter etwa 500 Beobachtungen kann das Routing nicht zuverlässig lernen und das Modell überanpasst sich; unter etwa 200 ist ein klassischer Klassifikator wie ein Random Forest oder ein SVM die bessere Wahl.
Grenzen und Hinweise
- Erfordert eine ziemlich große Stichprobe (etwa 500+); bei kleineren Daten überanpasst sich das dynamische Routing und lernt unzuverlässig.
- Iteratives dynamisches Routing ist rechenintensiv und eine GPU wird empfohlen.
- Der Routing-Algorithmus führt Hyperparameter ein, die abgestimmt werden müssen, was die Trainingskomplexität erhöht.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Kodiert Posen- und räumliche Hierarchieinformationen, die durch Faltungspooling verloren gehen, und verbessert die Robustheit gegenüber Blickrichtungsänderungen.
- Modelliert explizite Teil-zu-Ganzes-Beziehungen durch Routing-by-Agreement.
- Vektorkapseln bewahren Entitätseigenschaften (Orientierung, Position), anstatt sie auf eine einzige Aktivierung zu reduzieren.
Anwendungen
- Bildklassifizierung, die robust gegenüber Änderungen der Blickrichtung, Drehung oder Pose sein muss.
- Erkennungsaufgaben, bei denen die Modellierung von räumlichen Teil-zu-Ganzes-Beziehungen die Generalisierung verbessert.
- Klassifizierung und Vorhersage auf strukturierten kontinuierlichen Merkmals-Eingaben mit ausreichenden Trainingsdaten.
So funktioniert es
So funktioniert es
Anstelle von skalaren Neuronen gruppiert das Netzwerk Einheiten in Kapseln – kurze Vektoren, deren Länge die Wahrscheinlichkeit darstellt, dass eine bestimmte Entität existiert, und deren Orientierung ihre Instanziierungsparameter wie Pose kodiert. Kapseln auf niedrigerer Ebene erkennen Teile, während Kapseln auf höherer Ebene die Ganzen darstellen, die diese Teile bilden.
Ein dynamischer Routing-by-Agreement-Algorithmus verbindet Kapseln auf niedrigerer Ebene mit denen auf höherer Ebene. Jede untergeordnete Kapsel macht eine Vorhersage für die Ausgabe jeder übergeordneten Kapsel über eine Transformationsmatrix; Kopplungskoeffizienten werden dann iterativ verfeinert, sodass übereinstimmende Vorhersagen sich gegenseitig verstärken. Dieses Routing muss abgestimmt werden und ersetzt den Pooling-Schritt eines Faltungsnetzwerks durch einen expliziten Konsens von Teil zu Ganzem.
Formel
\hat{u}_{j|i} = W_{ij}\,u_i,\quad s_j = \sum_i c_{ij}\,\hat{u}_{j|i}Eine nichtlineare Squashing-Funktion schrumpft kurze Vektoren gegen Null und lange Vektoren gegen Einheitslänge, sodass die Magnitude einer Ausgangskapsel eine gültige Wahrscheinlichkeit bleibt, während ihre Richtung die Eigenschaften der Entität beibehält. Die Längen der Kapseln der letzten Schicht liefern die Klassenvorhersagen, die für die Klassifizierung verwendet werden.
Formel
v_j = \frac{\lVert s_j\rVert^2}{1+\lVert s_j\rVert^2}\,\frac{s_j}{\lVert s_j\rVert}Häufige Fallstricke
- Training mit zu wenigen Beobachtungen (unter ca. 500), bei denen das Routing nicht zu zuverlässigen Kopplungen konvergieren kann.
- Lassen der Standardeinstellungen für dynamische Routing-Iterationen und Kopplung, anstatt sie für die Aufgabe abzustimmen.
- Versuch, ohne GPU-Beschleunigung zu trainieren und prohibitiv langsame oder unvollständige Trainingsergebnisse zu akzeptieren.
- Anwendung von CapsNet auf nicht-bildliche, unstrukturierte Eingaben, für die es nicht konzipiert wurde, anstelle eines klassischen Modells.
Häufig gestellte Fragen
Wie unterscheidet sich eine Kapsel von einem normalen Neuron?
Ein normales Neuron gibt eine einzelne skalare Aktivierung aus. Eine Kapsel gibt einen Vektor aus, dessen Länge die Wahrscheinlichkeit darstellt, dass eine Entität vorhanden ist, und dessen Richtung die Eigenschaften dieser Entität kodiert, wie Pose und Orientierung, sodass sie weitaus reichhaltigere räumliche Informationen trägt.
Was ist dynamisches Routing?
Dynamisches Routing-by-Agreement ist der Algorithmus, der Kapseln auf niedrigerer Ebene mit denen auf höherer Ebene verbindet. Jede untergeordnete Kapsel sagt die Ausgabe von übergeordneten Kapseln voraus, und Kopplungskoeffizienten werden iterativ verfeinert, sodass übereinstimmende Vorhersagen sich gegenseitig verstärken und den Pooling-Schritt eines Faltungsnetzwerks ersetzen.
Wie viel Daten und Rechenleistung benötige ich?
CapsNet benötigt einen relativ großen Datensatz – mindestens etwa 500 Beobachtungen – und eine GPU wird empfohlen, da iteratives Routing rechenintensiv ist. Unter etwa 200 Beobachtungen ist ein klassischer Klassifikator wie ein Random Forest oder ein SVM besser geeignet.
Warum ein Kapselnetzwerk anstelle eines CNN verwenden?
CapsNet wurde speziell vorgeschlagen, um die Fragilität eines CNN gegenüber Blickrichtungsänderungen zu beheben. Durch die Beibehaltung von Pose- und Teil-zu-Ganzes-Beziehungen anstatt deren Weg-Pooling kann es besser generalisieren, wenn Objekte in neuen Orientierungen erscheinen.
Verwandte Methoden
Quellen
Sabour, S., Frosst, N. & Hinton, G. E. (2017). Dynamic Routing Between Capsules. Advances in Neural Information Processing Systems (NeurIPS).
Publikationsreferenz öffnenKopiert.Hinton, G. E., Sabour, S. & Frosst, N. (2018). Matrix Capsules with EM Routing. International Conference on Learning Representations (ICLR).
Publikationsreferenz öffnenKopiert.