Automatyczne wyszukiwanie architektury sieci neuronowych
- Autor metody
- Zoph, B. & Le, Q.V.
- Rok
- 2017
- Typ
- Automated architecture optimization (deep learning)
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Automatyczne wyszukiwanie architektury sieci neuronowych (NAS), wprowadzone przez Zopha i Le w 2017 roku, automatycznie optymalizuje decyzje architektoniczne, takie jak głębokość, szerokość i struktura połączeń sieci, zamiast projektować je ręcznie.
Wiodące metody w tej dziedzinie to DARTS, ENAS i Once-for-All.
Intuicja stojąca za metodą
Ręczne projektowanie głębokiej sieci oznacza zgadywanie, ile warstw należy ułożyć, jak szeroka powinna być każda z nich i jak powinny się łączyć — jest to powolne rzemiosło oparte na metodzie prób i błędów. NAS przekształca to rzemiosło w problem wyszukiwania: komputer eksploruje zdefiniowaną przestrzeń kandydatów na architektury, ocenia je i konwerguje na projekcie, który działa dobrze, dzięki czemu architektura jest odkrywana, a nie zgadywana.
Historia
Automatyczne wyszukiwanie architektury sieci neuronowych zostało wprowadzone przez Barreta Zopha i Quoca V. Le w 2017 roku, którzy wykorzystali uczenie ze wzmocnieniem, aby kontroler proponował architektury sieci. Wysoki koszt tego podejścia doprowadził do powstania fali bardziej wydajnych metod: ENAS wprowadziło dzielenie wag między kandydatami, DARTS (Liu i in., 2019) uczyniło przeszukiwanie różniczkowalnym, dzięki czemu mogło być optymalizowane za pomocą spadku gradientowego, a Once-for-All trenowało jedną super-sieć, z której można było wyodrębnić wyspecjalizowane pod-sieci. Razem te postępy przekształciły NAS z ciekawostki badawczej wymagającej ogromnych zasobów obliczeniowych w bardziej praktyczne narzędzie do automatycznego projektowania modeli.
Kiedy stosować
Użyj NAS, gdy potrzebujesz zaprojektować wysokowydajną sieć głęboką do przewidywania lub klasyfikacji danych ciągłych lub tekstowych, masz duży zbiór danych (około 1000 obserwacji lub więcej), przestrzeń przeszukiwania jest dobrze zdefiniowana, a duży budżet obliczeniowy z zasobami GPU/TPU jest dostępny. Przy małych próbkach przestrzeń przeszukiwania nie może być wiarygodnie oceniona, a kandydaci na architektury ulegają przeuczeniu; poniżej około 1000 obserwacji Random Forest jest bezpieczniejszym wyborem, a poniżej 500 preferowany jest standardowy model, taki jak gradient boosting.
Ograniczenia i uwagi
- Wymaga dużego budżetu obliczeniowego i często klastra GPU/TPU.
- Potrzebuje dużego zbioru danych (około 1000+ obserwacji), aby wiarygodnie ocenić kandydatów.
- Jakość w dużej mierze zależy od dobrze zdefiniowanej przestrzeni przeszukiwania, co samo w sobie wymaga wiedzy eksperckiej.
- Na małych danych kandydaci na architektury ulegają przeuczeniu, a przeszukiwanie staje się niewiarygodne.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Automatyzuje projektowanie architektury, eliminując powolne, ręczne próby i błędy.
- Może odkrywać sieci, które przewyższają ręcznie zaprojektowane rozwiązania w docelowym zadaniu.
- Niewielkie założenia dotyczące danych: brak wymogu normalności; obsługuje wejścia ciągłe i tekstowe.
- Elastyczny w różnych zadaniach i strukturach danych po określeniu przestrzeni przeszukiwania.
- Warianty z dzieleniem wag i super-sieciami (ENAS, Once-for-All) znacznie zmniejszają koszt przeszukiwania.
Zastosowania
- Automatyczne projektowanie wysokowydajnych sieci do klasyfikacji obrazów.
- Optymalizacja architektur dla zadań przewidywania na dużych danych tabelarycznych lub sekwencyjnych.
- Wyszukiwanie wydajnych pod-sieci dostosowanych do budżetów sprzętowych (np. mobilnych lub brzegowych).
- Automatyczne projektowanie modeli, gdzie ręczne dostrajanie architektury jest niepraktyczne.
Jak to działa
Jak to działa
Najpierw definiowana jest przestrzeń przeszukiwania — zbiór wyborów architektonicznych, które procedura może rozważyć, takich jak liczba warstw, szerokość każdej warstwy, operacje kandydujące i sposób łączenia bloków. Dobrze zdefiniowana przestrzeń przeszukiwania jest kluczowa: jeśli jest zbyt wąska, wyklucza dobre projekty, a jeśli jest zbyt szeroka, przeszukiwanie staje się niewykonalne.
Strategia przeszukiwania eksploruje następnie tę przestrzeń w celu znalezienia silnej architektury. Wczesne NAS wykorzystywało uczenie ze wzmocnieniem do proponowania architektur (Zoph i Le), podczas gdy DARTS uczyniło przeszukiwanie różniczkowalnym, relaksując dyskretne wybory do ciągłych wag, dzięki czemu spadek gradientowy może optymalizować parametry architektury względem straty walidacyjnej. Ten etap jest bardzo wymagający obliczeniowo i zazwyczaj wymaga klastra GPU lub TPU oraz dużego budżetu obliczeniowego.
Wzór
\alpha^* = \arg\min_{\alpha} \; \mathcal{L}_{val}\big(w^*(\alpha), \alpha\big)Każda kandydatka na architekturę jest trenowana i oceniana na danych, a najlepiej działający projekt jest wybierany i trenowany do końca. Ponieważ ocena wielu kandydatów jest kosztowna, metody takie jak ENAS dzielą wagi między kandydatami, a Once-for-All trenuje jedną super-sieć, z której można wyodrębnić wiele pod-architektur, drastycznie zmniejszając koszt przeszukiwania.
Częste pułapki
- Uruchamianie NAS na małym zbiorze danych, gdzie kandydaci ulegają przeuczeniu, a rankingi są bezsensowne.
- Definiowanie przestrzeni przeszukiwania, która jest zbyt szeroka do eksploracji lub zbyt wąska, aby zawierać dobre projekty.
- Niedoszacowanie kosztów obliczeniowych i zatrzymanie przeszukiwania przed konwergencją.
- Wybieranie architektury na podziale walidacyjnym i nieprzetrenowanie jej oraz nieprzetestowanie jej w czysty sposób.
- Sięganie po NAS, gdy standardowy model byłby już wystarczający dla problemu.
Najczęściej zadawane pytania
Czym NAS różni się od strojenia hiperparametrów?
Strojenie hiperparametrów dostosowuje ustawienia stałej architektury, takie jak szybkość uczenia lub liczba drzew. NAS przeszukuje samą architekturę — liczbę i szerokość warstw, operacje i sposób ich łączenia — odkrywając strukturę sieci, a nie tylko dostrajając wybraną.
Dlaczego NAS jest tak kosztowny obliczeniowo?
Naiwne NAS trenuje i ocenia wiele kandydatów na architektury, z których każda jest pełną siecią głęboką. Zazwyczaj wymaga to klastra GPU lub TPU i dużego budżetu. Metody takie jak ENAS (dzielenie wag) i Once-for-All (jedna super-sieć) zostały opracowane specjalnie w celu zmniejszenia tego kosztu.
Ile danych potrzebuję do NAS?
NAS oczekuje dużego zbioru danych, około 1000 obserwacji lub więcej. Przy mniej niż około 1000 przestrzeń przeszukiwania nie może być wiarygodnie oceniona, a kandydaci ulegają przeuczeniu, więc Random Forest jest bezpieczniejszy; poniżej 500 preferowany jest standardowy model, taki jak gradient boosting.
Co wnosi DARTS?
DARTS czyni przeszukiwanie różniczkowalnym, relaksując dyskretny wybór operacji do ciągłych wag, dzięki czemu architektura może być optymalizowana za pomocą spadku gradientowego, a nie uczenia ze wzmocnieniem. To znacznie przyspieszyło przeszukiwanie architektury w porównaniu z oryginalnym podejściem opartym na uczeniu ze wzmocnieniem.
Pokrewne metody
Źródła
Zoph, B. & Le, Q.V. (2017). Neural Architecture Search with Reinforcement Learning. ICLR.
Otwórz odnośnik do publikacjiSkopiowano.Liu, H. et al. (2019). DARTS: Differentiable Architecture Search. ICLR.
Otwórz odnośnik do publikacjiSkopiowano.