Saltar al contenido
Volver a los resultados

Aprendizaje con Pocos Ejemplos

Propuesto por
Lake, B. M.; Vinyals, O.; Finn, C. et al.
Año
2011–2017
Tipo
Meta-learning / low-data learning paradigm
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El aprendizaje con pocos ejemplos (few-shot learning) es un paradigma de aprendizaje automático que entrena modelos para reconocer nuevas clases o resolver nuevas tareas a partir de solo un puñado de ejemplos etiquetados —típicamente de uno a cinco— aprovechando el conocimiento previo adquirido de una gran distribución de entrenamiento relacionada.

Es especialmente relevante en dominios donde el etiquetado es costoso, escaso o estructuralmente limitado.

La intuición detrás del método

Los humanos pueden identificar de manera confiable una nueva especie de ave a partir de una sola fotografía, porque ya poseen un rico conocimiento visual de años de experiencia. El aprendizaje con pocos ejemplos intenta replicar esta habilidad computacionalmente: un modelo se expone primero a muchas tareas diversas para que aprenda a aprender rápidamente, y luego, en el momento de la inferencia, se adapta a una tarea completamente nueva utilizando solo un pequeño conjunto de soporte etiquetado. La idea clave es que la representación y la estrategia de adaptación adecuadas pueden sustituir al gran conjunto de datos etiquetados que requiere el aprendizaje supervisado estándar.

Historia

El aprendizaje con pocos ejemplos atrajo la atención formal alrededor de 2011 cuando Lake et al. demostraron el aprendizaje de un solo ejemplo (one-shot learning) de caracteres escritos a mano a nivel humano utilizando un modelo de inducción de programas bayesiano jerárquico. El campo se aceleró después de 2016 con enfoques de aprendizaje métrico profundo —Matching Networks de Vinyals et al. y Prototypical Networks de Snell et al.— seguidos por el meta-aprendizaje agnóstico al modelo (MAML) de Finn et al. en 2017, que unificó el paradigma bajo una adaptación rápida basada en gradientes. Desde entonces, los grandes modelos preentrenados han convertido el aprendizaje con pocos ejemplos en una capacidad estándar en los sistemas modernos de PNL y visión.

Cuándo usarlo

Utilice el aprendizaje con pocos ejemplos cuando los datos etiquetados para una tarea objetivo son realmente escasos —menos de aproximadamente 10 a 20 ejemplos por clase— pero se dispone de un gran conjunto de datos relacionados para el preentrenamiento o el meta-entrenamiento. Los casos de uso típicos incluyen la clasificación de enfermedades raras, el reconocimiento de especies en peligro de extinción, tareas de lenguaje con pocos recursos y la recomendación personalizada con usuarios nuevos (cold-start). No lo use como un sustituto para recolectar más datos etiquetados cuando el etiquetado es factible; con suficientes etiquetas, el aprendizaje supervisado completo o el aprendizaje por transferencia con ajuste fino (fine-tuning) casi siempre superarán a los métodos de pocos ejemplos. También evítelo si la distribución de meta-entrenamiento es muy diferente del dominio objetivo, ya que esto invalida el conocimiento previo aprendido.

Limitaciones y consideraciones

  • Requiere un conjunto de meta-entrenamiento grande y diverso; el rendimiento disminuye drásticamente cuando las distribuciones de meta-entrenamiento y objetivo divergen significativamente.
  • Los métodos basados en optimización (por ejemplo, MAML) son computacionalmente intensivos durante el meta-entrenamiento debido a los gradientes de segundo orden.
  • La precisión de referencia en conjuntos de datos estándar (miniImageNet, Omniglot) puede sobrestimar el rendimiento en el mundo real si el dominio de prueba difiere.
  • Elegir la arquitectura correcta, el "backbone" de incrustación y la estrategia de muestreo de episodios implica decisiones de hiperparámetros no triviales.
  • Con más de aproximadamente 20 ejemplos etiquetados por clase, el aprendizaje por transferencia estándar o el ajuste fino suelen ofrecer una mejor precisión con menos complejidad.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Permite el aprendizaje práctico a partir de uno a cinco ejemplos etiquetados por clase, reduciendo drásticamente el costo de anotación.
  • El entrenamiento episódico prepara explícitamente el modelo para el escenario de despliegue con pocos datos que enfrentará.
  • Las variantes basadas en métricas (Prototypical Networks, Matching Networks) son computacionalmente ligeras en la inferencia —no requieren pasos de gradiente.
  • Amplia aplicabilidad en tareas de visión, PNL, audio y datos estructurados.
  • Se integra naturalmente con grandes modelos preentrenados, permitiendo explotar potentes conocimientos previos sin un ajuste fino completo.

Aplicaciones

  • Clasificación de enfermedades raras o anomalías en imágenes médicas donde los casos anotados son inherentemente escasos.
  • Tareas de procesamiento de lenguaje natural con pocos recursos, como la detección de intenciones en nuevos idiomas o dominios.
  • Personalización de "cold-start" en sistemas de recomendación cuando un nuevo usuario tiene muy pocas interacciones.
  • Reconocimiento de especies en peligro de extinción o reconocimiento de especies de grano fino en ecología y monitoreo de la biodiversidad.
  • Detección de defectos industriales cuando solo se dispone de un puñado de muestras defectuosas para el entrenamiento.
  • Prototipado rápido de nuevas tareas de clasificación en robótica y aprendizaje automático interactivo.

Cómo funciona

Cómo funciona

1

El entrenamiento se organiza en episodios, cada uno simulando un escenario de pocos ejemplos. En cada episodio, se muestrea un pequeño conjunto de clases del conjunto de entrenamiento, y el modelo debe aprender a distinguirlas. Este entrenamiento episódico asegura que el conocimiento previo del modelo esté estructurado para una adaptación rápida en lugar de la memorización de clases específicas.

2

Cada episodio divide sus ejemplos en un conjunto de soporte (los pocos ejemplos etiquetados que el modelo puede usar) y un conjunto de consulta (ejemplos reservados utilizados para medir qué tan bien generalizó el modelo). Una tarea k-shot, n-way proporciona k ejemplos etiquetados para cada una de las n clases nuevas. Esta estructura refleja el escenario de despliegue en el momento del entrenamiento.

3

El modelo aprende una función de incrustación (embedding) —típicamente una red neuronal profunda— que mapea las entradas a un espacio de características donde los ejemplos de la misma clase se agrupan y los ejemplos de diferentes clases se separan. La calidad de esta representación compartida es el principal determinante de la precisión de pocos ejemplos posterior.

4

En el momento de la prueba, el modelo calcula similitudes entre las incrustaciones de consulta y las incrustaciones de soporte (métodos basados en métricas como Matching Networks o Prototypical Networks) o realiza un pequeño número de pasos de gradiente para adaptar sus parámetros al conjunto de soporte (métodos basados en optimización como MAML). Ambas estrategias explotan la representación aprendida sin volver a entrenar desde cero.

5

La pérdida en el conjunto de consulta se utiliza para actualizar los parámetros del meta-aprendiz a lo largo de los episodios, de modo que la estrategia de representación y adaptación mejore globalmente. En el despliegue, el modelo final se adapta a cualquier nuevo conjunto de soporte en segundos, haciendo predicciones sobre ejemplos de consulta no vistos sin optimización adicional.

Errores comunes

  • Confundir el aprendizaje con pocos ejemplos con el aprendizaje de cero ejemplos (zero-shot learning): el aprendizaje con pocos ejemplos requiere al menos un ejemplo etiquetado por clase nueva en el momento de la prueba.
  • Evaluar en clases de prueba vistas durante el meta-entrenamiento, inflando la precisión reportada.
  • Ignorar la brecha de dominio: un modelo meta-entrenado en ImageNet no se generalizará automáticamente a la histología médica sin adaptación de dominio.
  • Usar una pérdida supervisada estándar sin entrenamiento episódico y esperar una generalización con pocos ejemplos.
  • Reportar solo la precisión top-1 sin intervalos de confianza sobre múltiples extracciones de episodios, lo que enmascara la varianza en los resultados de pocos ejemplos.

Preguntas frecuentes

¿Cuál es la diferencia entre el aprendizaje con pocos ejemplos y el aprendizaje por transferencia?

El aprendizaje por transferencia ajusta un modelo preentrenado a una nueva tarea y típicamente se beneficia de decenas a miles de ejemplos etiquetados. El aprendizaje con pocos ejemplos está diseñado específicamente para adaptarse con solo uno a cinco ejemplos por clase, utilizando meta-entrenamiento episódico para que el modelo aprenda a generalizar rápidamente en lugar de cómo ajustarse a un dominio específico.

¿Qué significa k-shot n-way?

Describe la estructura del episodio: n-way significa que se presentan n clases nuevas simultáneamente, y k-shot significa que se proporcionan k ejemplos etiquetados por clase. Una tarea 5-way 1-shot le pide al modelo que clasifique imágenes de consulta en una de cinco categorías, dado solo un único ejemplo etiquetado para cada una.

¿Necesito una GPU para ejecutar el aprendizaje con pocos ejemplos?

El meta-entrenamiento —especialmente los métodos basados en optimización como MAML— requiere una computación sustancial y típicamente se realiza en GPUs. Sin embargo, la inferencia basada en métricas (comparar incrustaciones de consulta con prototipos de soporte) es económica y puede ejecutarse en CPU en producción una vez que el "backbone" está preentrenado.

¿Cuántas tareas de meta-entrenamiento necesito?

Esto depende de la diversidad más que del recuento absoluto. Unos pocos miles de tareas muestreadas episódicamente de un grupo de clases variado es una línea base común. Lo que más importa es que las clases de meta-entrenamiento sean lo suficientemente numerosas y diversas como para generalizar a clases objetivo no vistas.

¿Es el aprendizaje con pocos ejemplos lo mismo que el aprendizaje de cero ejemplos?

No. El aprendizaje de cero ejemplos no requiere ejemplos etiquetados de clases nuevas en el momento de la prueba, basándose completamente en descriptores o atributos semánticos de la clase. El aprendizaje con pocos ejemplos siempre proporciona al menos un ejemplo etiquetado por clase nueva en el conjunto de soporte.

Métodos relacionados

Fuentes

  1. Vinyals, O., Blundell, C., Lillicrap, T., Wierstra, D., & Kavukcuoglu, K. (2016). Matching Networks for One Shot Learning. Advances in Neural Information Processing Systems (NeurIPS), 29.

    Abrir referencia de la publicación
    Copiado.
  2. Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. Proceedings of the 34th International Conference on Machine Learning (ICML), PMLR 70:1126–1135.

    Abrir referencia de la publicación
    Copiado.