Búsqueda de Arquitecturas Neuronales
- Propuesto por
- Zoph, B. & Le, Q.V.
- Año
- 2017
- Tipo
- Automated architecture optimization (deep learning)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La Búsqueda de Arquitecturas Neuronales (NAS, por sus siglas en inglés), introducida por Zoph y Le en 2017, optimiza automáticamente decisiones arquitectónicas como la profundidad, anchura y estructura de conexión de una red en lugar de diseñarlas manualmente.
Los métodos líderes en el campo incluyen DARTS, ENAS y Once-for-All.
La intuición detrás del método
Diseñar una red profunda manualmente implica adivinar cuántas capas apilar, cuán ancha debe ser cada una y cómo deben conectarse; un proceso lento de prueba y error. NAS convierte este proceso en un problema de búsqueda: una computadora explora un espacio definido de arquitecturas candidatas, las puntúa y converge en un diseño que funciona bien, de modo que la arquitectura se descubre en lugar de adivinarse.
Historia
La Búsqueda de Arquitecturas Neuronales fue introducida por Barret Zoph y Quoc V. Le en 2017, quienes utilizaron aprendizaje por refuerzo para que un controlador propusiera arquitecturas de red. El alto costo de ese enfoque impulsó una ola de métodos más eficientes: ENAS introdujo la compartición de pesos entre candidatos, DARTS (Liu et al., 2019) hizo la búsqueda diferenciable para que pudiera ser optimizada por descenso de gradiente, y Once-for-All entrenó una única super-red de la cual se podían extraer sub-redes especializadas. En conjunto, estos avances convirtieron a NAS de una curiosidad de investigación que requería una enorme cantidad de cómputo en una herramienta más práctica para el diseño automatizado de modelos.
Cuándo usarlo
Utilice NAS cuando necesite diseñar una red profunda de alto rendimiento para predicción o clasificación en datos continuos o de texto, tenga un conjunto de datos grande (aproximadamente 1000 observaciones o más), el espacio de búsqueda esté bien definido y disponga de un gran presupuesto computacional con recursos de GPU/TPU. Con muestras pequeñas, el espacio de búsqueda no se puede evaluar de manera fiable y las arquitecturas candidatas se sobreajustan; por debajo de unas 1000 observaciones, un Random Forest es una opción más segura, y por debajo de 500, un modelo estándar como el gradient boosting es preferible.
Limitaciones y consideraciones
- Requiere un gran presupuesto computacional y a menudo un clúster de GPU/TPU.
- Necesita un conjunto de datos grande (aproximadamente 1000+ observaciones) para evaluar los candidatos de manera fiable.
- La calidad depende en gran medida de un espacio de búsqueda bien definido, que a su vez requiere experiencia.
- En datos pequeños, las arquitecturas candidatas se sobreajustan y la búsqueda se vuelve poco fiable.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Automatiza el diseño de arquitecturas, eliminando el lento proceso manual de prueba y error.
- Puede descubrir redes que superan a los diseños hechos a mano en la tarea objetivo.
- Suposiciones poco restrictivas sobre los datos: sin requisito de normalidad; maneja entradas continuas y de texto.
- Flexible en tareas y estructuras de datos una vez especificado el espacio de búsqueda.
- Las variantes de compartición de pesos y super-redes (ENAS, Once-for-All) reducen drásticamente el costo de búsqueda.
Aplicaciones
- Diseño automatizado de redes de clasificación de imágenes de alto rendimiento.
- Optimización de arquitecturas para tareas de predicción en datos tabulares o de secuencias grandes.
- Búsqueda de sub-redes eficientes adaptadas a presupuestos de hardware (por ejemplo, móviles o de borde).
- Diseño automatizado de modelos donde la sintonización manual de arquitecturas no es práctica.
Cómo funciona
Cómo funciona
Primero se define un espacio de búsqueda: el conjunto de decisiones arquitectónicas que el procedimiento puede considerar, como el número de capas, la anchura de cada capa, las operaciones candidatas y cómo pueden conectarse los bloques. Un espacio de búsqueda bien definido es esencial: si es demasiado estrecho, excluye buenos diseños, y si es demasiado amplio, la búsqueda se vuelve intratable.
Una estrategia de búsqueda explora entonces este espacio para encontrar una arquitectura sólida. Las primeras NAS utilizaron aprendizaje por refuerzo para proponer arquitecturas (Zoph y Le), mientras que DARTS hizo la búsqueda diferenciable al relajar las elecciones discretas en pesos continuos, de modo que el descenso de gradiente pueda optimizar los parámetros de la arquitectura frente a la pérdida de validación. Esta etapa consume muchos recursos computacionales y típicamente necesita un clúster de GPU o TPU y un gran presupuesto computacional.
Fórmula
\alpha^* = \arg\min_{\alpha} \; \mathcal{L}_{val}\big(w^*(\alpha), \alpha\big)Cada arquitectura candidata se entrena y evalúa con los datos, y se selecciona el diseño con mejor rendimiento para entrenarlo hasta su finalización. Dado que evaluar muchos candidatos es costoso, métodos como ENAS comparten pesos entre candidatos y Once-for-All entrena una única super-red de la cual se pueden extraer muchas sub-arquitecturas, reduciendo drásticamente el costo de la búsqueda.
Errores comunes
- La Búsqueda de Arquitecturas Neuronales fue introducida por Barret Zoph y Quoc V. Le en 2017, quienes utilizaron aprendizaje por refuerzo para que un controlador propusiera arquitecturas de red. El alto costo de ese enfoque impulsó una ola de métodos más eficientes: ENAS introdujo la compartición de pesos entre candidatos, DARTS (Liu et al., 2019) hizo la búsqueda diferenciable para que pudiera ser optimizada por descenso de gradiente, y Once-for-All entrenó una única super-red de la cual se podían extraer sub-redes especializadas. En conjunto, estos avances convirtieron a NAS de una curiosidad de investigación que requería una enorme cantidad de computación en una herramienta más práctica para el diseño automático de modelos.
- Definir un espacio de búsqueda demasiado amplio para explorar o demasiado estrecho para contener buenos diseños.
- Subestimar el costo computacional y detener la búsqueda antes de que converja.
- Seleccionar una arquitectura en una división de validación y no reentrenarla y probarla limpiamente.
- Optar por NAS cuando un modelo estándar ya sería suficiente para el problema.
Preguntas frecuentes
¿Cómo se diferencia NAS de la sintonización de hiperparámetros?
La sintonización de hiperparámetros ajusta la configuración de una arquitectura fija, como la tasa de aprendizaje o el número de árboles. NAS busca en la arquitectura misma — el número y anchura de capas, las operaciones y cómo se conectan — descubriendo la estructura de la red en lugar de simplemente sintonizar una elegida.
¿Por qué NAS es tan costoso computacionalmente?
NAS ingenuo entrena y evalúa muchas arquitecturas candidatas, cada una de las cuales es una red profunda completa. Esto típicamente requiere un clúster de GPU o TPU y un gran presupuesto. Métodos como ENAS (compartición de pesos) y Once-for-All (una única super-red) fueron desarrollados específicamente para reducir este costo.
¿Cuántos datos necesito para NAS?
NAS espera un conjunto de datos grande, aproximadamente 1000 observaciones o más. Con menos de unas 1000, el espacio de búsqueda no se puede evaluar de manera fiable y los candidatos se sobreajustan, por lo que un Random Forest es más seguro; por debajo de 500, un modelo estándar como el gradient boosting es preferible.
¿Qué aporta DARTS?
DARTS hace que la búsqueda sea diferenciable al relajar la elección discreta de operaciones en pesos continuos, de modo que la arquitectura pueda ser optimizada con descenso de gradiente en lugar de aprendizaje por refuerzo. Esto hizo que la búsqueda de arquitecturas fuera mucho más rápida que el enfoque original de aprendizaje por refuerzo.
Métodos relacionados
Fuentes
Zoph, B. & Le, Q.V. (2017). Neural Architecture Search with Reinforcement Learning. ICLR.
Abrir referencia de la publicaciónCopiado.Liu, H. et al. (2019). DARTS: Differentiable Architecture Search. ICLR.
Abrir referencia de la publicaciónCopiado.