Red Neuronal de Cápsulas
- Propuesto por
- Sabour, S., Frosst, N. & Hinton, G. E.
- Año
- 2017
- Tipo
- Deep learning architecture (vector capsules with dynamic routing)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Una Red Neuronal de Cápsulas (CapsNet) es una arquitectura de aprendizaje profundo introducida por Sara Sabour, Nicholas Frosst y Geoffrey Hinton en 2017 que organiza las neuronas como vectores (cápsulas) en lugar de activaciones escalares, de modo que la jerarquía espacial y la información de pose (orientación) se codifican directamente.
Se propuso para superar la fragilidad de las redes convolucionales ante cambios de punto de vista.
La intuición detrás del método
Una red convolucional estándar detecta si una característica está presente pero descarta gran parte de su relación espacial precisa con otras características, lo que la hace frágil cuando un objeto se rota o se ve desde un nuevo ángulo. Una cápsula reemplaza una neurona escalar única con un vector pequeño: su longitud señala la probabilidad de que una entidad esté presente y su dirección codifica las propiedades de esa entidad, como la pose y la orientación. Dado que las cápsulas transportan esta información más rica, la red puede razonar sobre cómo las partes se relacionan con los todo en lugar de simplemente si las partes aparecen.
Historia
Las Redes de Cápsulas fueron introducidas por Sara Sabour, Nicholas Frosst y Geoffrey Hinton en el artículo de NeurIPS de 2017 Dynamic Routing Between Capsules, motivadas por las limitaciones de las redes convolucionales para manejar la variación del punto de vista. En 2018, Hinton, Sabour y Frosst ampliaron la idea en ICLR con Matrix Capsules with EM Routing, reemplazando el esquema de enrutamiento original con un procedimiento de maximización de la esperanza (expectation-maximisation) sobre cápsulas de valor matricial.
Cuándo usarlo
Adecuado para clasificación y predicción en datos de características continuas de imágenes u otros datos estructurados donde la robustez a los cambios de punto de vista y pose es importante, con una muestra razonablemente grande (al menos unas 500 observaciones). Se recomienda una GPU y el algoritmo de enrutamiento dinámico debe ajustarse. Por debajo de unas 500 observaciones, el enrutamiento no puede aprender de manera confiable y el modelo se sobreajusta (overfits); por debajo de aproximadamente 200, un clasificador clásico como random forest o una SVM es la mejor opción.
Limitaciones y consideraciones
- Requiere una muestra bastante grande (aproximadamente 500+); en datos más pequeños, el enrutamiento dinámico se sobreajusta y aprende de manera poco confiable.
- El enrutamiento dinámico iterativo es computacionalmente exigente y se recomienda una GPU.
- El algoritmo de enrutamiento introduce hiperparámetros que deben ajustarse, lo que aumenta la complejidad del entrenamiento.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Codifica información de pose y jerarquía espacial que la agrupación convolucional descarta, mejorando la robustez a los cambios de punto de vista.
- Modela relaciones explícitas de parte a todo a través del enrutamiento por acuerdo.
- Las cápsulas vectoriales preservan las propiedades de la entidad (orientación, posición) en lugar de colapsarlas a una sola activación.
Aplicaciones
- Clasificación de imágenes que debe ser robusta a cambios de punto de vista, rotación o pose.
- Tareas de reconocimiento donde modelar relaciones espaciales de parte a todo mejora la generalización.
- Clasificación y predicción en entradas de características continuas estructuradas con datos de entrenamiento suficientes.
Cómo funciona
Cómo funciona
En lugar de neuronas escalares, la red agrupa unidades en cápsulas — vectores cortos cuya longitud representa la probabilidad de que exista una entidad particular y cuya orientación codifica sus parámetros de instanciación, como la pose. Las cápsulas de nivel inferior detectan partes, mientras que las cápsulas de nivel superior representan los todo que esas partes componen.
Un algoritmo de enrutamiento dinámico por acuerdo conecta las cápsulas de nivel inferior con las de nivel superior. Cada cápsula de nivel inferior realiza una predicción para la salida de cada cápsula de nivel superior a través de una matriz de transformación; luego, los coeficientes de acoplamiento se refinan iterativamente para que las predicciones que concuerdan se refuercen mutuamente. Este enrutamiento debe ajustarse y reemplaza el paso de agrupación (pooling) de una red convolucional con un consenso explícito de parte a todo.
Fórmula
\hat{u}_{j|i} = W_{ij}\,u_i,\quad s_j = \sum_i c_{ij}\,\hat{u}_{j|i}Una función de aplastamiento (squashing) no lineal encoge los vectores cortos hacia cero y los vectores largos hacia longitud unitaria, de modo que la magnitud de una cápsula de salida permanece como una probabilidad válida mientras que su dirección preserva las propiedades de la entidad. Las longitudes de las cápsulas de la capa final dan las predicciones de clase utilizadas para la clasificación.
Fórmula
v_j = \frac{\lVert s_j\rVert^2}{1+\lVert s_j\rVert^2}\,\frac{s_j}{\lVert s_j\rVert}Errores comunes
- Entrenamiento con muy pocas observaciones (menos de ~500), donde el enrutamiento no puede converger a acoplamientos confiables.
- Dejar las iteraciones de enrutamiento dinámico y el acoplamiento en los valores predeterminados en lugar de ajustarlos para la tarea.
- Intentar entrenar sin aceleración de GPU y aceptar un entrenamiento prohibitivamente lento o incompleto.
- Aplicar CapsNet a entradas no de imagen, no estructuradas para las que no fue diseñado en lugar de un modelo clásico.
Preguntas frecuentes
¿Cómo se diferencia una cápsula de una neurona normal?
Una neurona normal produce una única activación escalar. Una cápsula produce un vector cuya longitud representa la probabilidad de que una entidad esté presente y cuya dirección codifica las propiedades de esa entidad, como la pose y la orientación, por lo que transporta información espacial mucho más rica.
¿Qué es el enrutamiento dinámico?
El enrutamiento dinámico por acuerdo es el algoritmo que conecta las cápsulas de nivel inferior con las de nivel superior. Cada cápsula de nivel inferior predice la salida de las cápsulas de nivel superior, y los coeficientes de acoplamiento se refinan iterativamente para que las predicciones que concuerdan se refuercen mutuamente, reemplazando el paso de agrupación de una red convolucional.
¿Cuántos datos y cómputo necesito?
CapsNet necesita un conjunto de datos razonablemente grande — al menos unas 500 observaciones — y se recomienda una GPU porque el enrutamiento iterativo es computacionalmente exigente. Por debajo de aproximadamente 200 observaciones, un clasificador clásico como random forest o una SVM es más apropiado.
¿Por qué usar una red de cápsulas en lugar de una CNN?
CapsNet se propuso específicamente para abordar la fragilidad de una CNN ante los cambios de punto de vista. Al preservar las relaciones de pose y de parte a todo en lugar de agruparlas, puede generalizar mejor cuando los objetos aparecen en nuevas orientaciones.
Métodos relacionados
Fuentes
Sabour, S., Frosst, N. & Hinton, G. E. (2017). Dynamic Routing Between Capsules. Advances in Neural Information Processing Systems (NeurIPS).
Abrir referencia de la publicaciónCopiado.Hinton, G. E., Sabour, S. & Frosst, N. (2018). Matrix Capsules with EM Routing. International Conference on Learning Representations (ICLR).
Abrir referencia de la publicaciónCopiado.