Neuronale Architektursuche
- Eingeführt von
- Zoph, B. & Le, Q.V.
- Jahr
- 2017
- Typ
- Automated architecture optimization (deep learning)
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Neuronale Architektursuche (NAS), eingeführt von Zoph und Le im Jahr 2017, optimiert automatisch architektonische Entscheidungen wie die Tiefe, Breite und Verbindungsstruktur eines Netzwerks, anstatt diese von Hand zu entwerfen.
Führende Methoden auf diesem Gebiet sind DARTS, ENAS und Once-for-All.
Die Intuition hinter der Methode
Das Design eines tiefen Netzwerks von Hand bedeutet zu raten, wie viele Schichten gestapelt werden sollen, wie breit jede sein soll und wie sie verbunden werden sollen – ein langsames Handwerk des Ausprobierens. NAS verwandelt dieses Handwerk in ein Suchproblem: Ein Computer durchsucht einen definierten Raum von Kandidatenarchitekturen, bewertet diese und konvergiert zu einem Design, das gut funktioniert, sodass die Architektur entdeckt und nicht geraten wird.
Geschichte
Neuronale Architektursuche wurde 2017 von Barret Zoph und Quoc V. Le eingeführt, die bestärkendes Lernen nutzten, damit ein Controller Netzwerkarchitekturen vorschlagen konnte. Die hohen Kosten dieses Ansatzes trieben eine Welle effizienterer Methoden voran: ENAS führte Gewichtsteilung über Kandidaten hinweg ein, DARTS (Liu et al., 2019) machte die Suche differenzierbar, sodass sie durch Gradientenabstieg optimiert werden konnte, und Once-for-All trainierte ein einzelnes Supernetzwerk, aus dem spezialisierte Subnetzwerke gezogen werden konnten. Zusammen verwandelten diese Fortschritte NAS von einer Forschungsneugier, die enorme Rechenleistung erforderte, in ein praktischeres Werkzeug für automatisiertes Modelldesign.
Wann wird sie eingesetzt?
Nutzen Sie NAS, wenn Sie ein leistungsstarkes tiefes Netzwerk für Vorhersage oder Klassifizierung auf kontinuierlichen oder Textdaten entwerfen müssen, Sie einen großen Datensatz haben (ungefähr 1000 Beobachtungen oder mehr), der Suchraum gut definiert ist und ein großes Rechenbudget mit GPU/TPU-Ressourcen verfügbar ist. Bei kleinen Stichproben kann der Suchraum nicht zuverlässig ausgewertet werden und Kandidatenarchitekturen überanpassen; unter etwa 1000 Beobachtungen ist ein Random Forest eine sicherere Wahl, und unter 500 ist ein Standardmodell wie Gradient Boosting vorzuziehen.
Grenzen und Hinweise
- Erfordert ein großes Rechenbudget und oft einen GPU/TPU-Cluster.
- Benötigt einen großen Datensatz (etwa 1000+ Beobachtungen), um Kandidaten zuverlässig auszuwerten.
- Die Qualität hängt stark von einem gut definierten Suchraum ab, der selbst Fachwissen erfordert.
- Bei kleinen Daten überanpassen Kandidatenarchitekturen und die Suche wird unzuverlässig.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Automatisiert das Architekturentwerfen und eliminiert langsames manuelles Ausprobieren.
- Kann Netzwerke entdecken, die handgefertigte Designs für die Zielaufgabe übertreffen.
- Wenige Annahmen an die Daten: keine Normalitätsanforderung; verarbeitet kontinuierliche und Text-Eingaben.
- Flexibel über Aufgaben und Datenstrukturen hinweg, sobald der Suchraum spezifiziert ist.
- Gewichtsteilung und Supernetzwerk-Varianten (ENAS, Once-for-All) reduzieren die Suchkosten erheblich.
Anwendungen
- Automatisches Entwerfen von leistungsstarken Bildklassifizierungsnetzwerken.
- Optimieren von Architekturen für Vorhersageaufgaben auf großen tabellarischen oder sequenziellen Daten.
- Suchen nach effizienten Subnetzwerken, die auf Hardware-Budgets zugeschnitten sind (z. B. Mobilgeräte oder Edge-Geräte).
- Automatisiertes Modelldesign, bei dem manuelle Architekturanpassung unpraktisch ist.
So funktioniert es
So funktioniert es
Zuerst wird ein Suchraum definiert – die Menge der architektonischen Entscheidungen, die das Verfahren berücksichtigen darf, wie die Anzahl der Schichten, die Breite jeder Schicht, die Kandidatenoperationen und wie Blöcke verbunden werden können. Ein gut definierter Suchraum ist unerlässlich: Ist er zu eng, schließt er gute Designs aus, und ist er zu breit, wird die Suche unüberschaubar.
Eine Suchstrategie durchsucht dann diesen Raum, um eine leistungsstarke Architektur zu finden. Frühe NAS-Methoden nutzten bestärkendes Lernen, um Architekturen vorzuschlagen (Zoph und Le), während DARTS die Suche differenzierbar machte, indem diskrete Entscheidungen in kontinuierliche Gewichte relaxiert wurden, sodass Gradientenabstieg die Architekturparameter gegen den Validierungsverlust optimieren kann. Diese Phase ist rechenintensiv und benötigt typischerweise einen GPU- oder TPU-Cluster und ein großes Rechenbudget.
Formel
\alpha^* = \arg\min_{\alpha} \; \mathcal{L}_{val}\big(w^*(\alpha), \alpha\big)Jede Kandidatenarchitektur wird trainiert und auf den Daten ausgewertet, und das leistungsstärkste Design wird ausgewählt und bis zur Fertigstellung trainiert. Da die Auswertung vieler Kandidaten teuer ist, teilen Methoden wie ENAS Gewichte über Kandidaten hinweg, und Once-for-All trainiert ein einzelnes Supernetzwerk, aus dem viele Subarchitekturen extrahiert werden können, was die Suchkosten drastisch reduziert.
Häufige Fallstricke
- Ausführen von NAS auf einem kleinen Datensatz, bei dem Kandidaten überanpassen und Ranglisten bedeutungslos sind.
- Definieren eines Suchraums, der zu breit zum Erkunden oder zu eng ist, um gute Designs zu enthalten.
- Unterschätzen der Rechenkosten und Stoppen der Suche, bevor sie konvergiert.
- Auswählen einer Architektur auf einem Validierungs-Split und diese nicht sauber neu trainieren und testen.
- Greifen zu NAS, wenn ein Standardmodell für das Problem bereits ausreichend wäre.
Häufig gestellte Fragen
Wie unterscheidet sich NAS von Hyperparameter-Tuning?
Hyperparameter-Tuning passt Einstellungen einer festen Architektur an, wie z. B. die Lernrate oder die Anzahl der Bäume. NAS sucht über die Architektur selbst – die Anzahl und Breite der Schichten, die Operationen und wie sie verbunden sind – und entdeckt die Netzwerkstruktur, anstatt nur eine ausgewählte zu optimieren.
Warum ist NAS so rechenintensiv?
Naive NAS trainiert und wertet viele Kandidatenarchitekturen aus, von denen jede ein vollständiges tiefes Netzwerk ist. Dies erfordert typischerweise einen GPU- oder TPU-Cluster und ein großes Budget. Methoden wie ENAS (Gewichtsteilung) und Once-for-All (ein einzelnes Supernetzwerk) wurden speziell entwickelt, um diese Kosten zu senken.
Wie viele Daten benötige ich für NAS?
NAS erwartet einen großen Datensatz, etwa 1000 Beobachtungen oder mehr. Bei weniger als etwa 1000 kann der Suchraum nicht zuverlässig ausgewertet werden und Kandidaten überanpassen, daher ist ein Random Forest sicherer; unter 500 ist ein Standardmodell wie Gradient Boosting vorzuziehen.
Was leistet DARTS?
DARTS macht die Suche differenzierbar, indem die diskrete Wahl von Operationen in kontinuierliche Gewichte relaxiert wird, sodass die Architektur mit Gradientenabstieg statt mit bestärkendem Lernen optimiert werden kann. Dies machte die Architektursuche weitaus schneller als der ursprüngliche Ansatz des bestärkenden Lernens.
Verwandte Methoden
Quellen
Zoph, B. & Le, Q.V. (2017). Neural Architecture Search with Reinforcement Learning. ICLR.
Publikationsreferenz öffnenKopiert.Liu, H. et al. (2019). DARTS: Differentiable Architecture Search. ICLR.
Publikationsreferenz öffnenKopiert.