Saltar al contenido
Volver a los resultados

Ensamble apilado con aprendizaje activo (Active Learning Stacking Ensemble)

Propuesto por
Wolpert, D. H. (stacking); Settles, B. (active learning survey)
Año
1992–2012
Tipo
Hybrid (active learning + stacked ensemble)
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El ensamble apilado con aprendizaje activo (Active Learning Stacking Ensemble) combina un bucle de consulta de aprendizaje activo con generalización apilada: hay disponible un conjunto de datos no etiquetados, y el modelo selecciona iterativamente las instancias más informativas para el etiquetado humano, utilizando esas etiquetas para entrenar y refinar un ensamble apilado de múltiples aprendices base rematado por un meta-aprendiz.

Este enfoque reduce el costo de anotación al tiempo que maximiza el poder predictivo del ensamble.

La intuición detrás del método

Etiquetar datos es caro. El aprendizaje activo pregunta: ¿qué ejemplos no etiquetados enseñarían más al modelo? Midiendo la incertidumbre o el desacuerdo entre los aprendices base de un ensamble apilado, el sistema puede dirigir al anotador humano a los ejemplos donde el ensamble está más confundido. Cada punto recién etiquetado se retroalimenta en el pipeline de apilamiento, actualizando tanto los aprendices base como el meta-aprendiz. El resultado es un ensamble robusto construido con muchas menos etiquetas de las que requeriría el entrenamiento supervisado estándar.

Historia

La generalización apilada fue introducida por David Wolpert en 1992 como una forma de combinar aprendices base diversos a través de un meta-aprendiz. El aprendizaje activo como marco sistemático para seleccionar ejemplos informativos fue revisado exhaustivamente por Burr Settles en 2012. La combinación —aplicar estrategias de consulta activa a arquitecturas de ensamble o apilamiento— surgió en las décadas de 2000 y 2010 a medida que los investigadores buscaban reducir los costos de anotación para modelos complejos, y ahora es un paradigma establecido en el aprendizaje automático de bajos recursos y eficiente en anotaciones.

Cuándo usarlo

Utilice el ensamble apilado con aprendizaje activo cuando los datos etiquetados sean escasos o costosos de obtener, haya disponible un gran conjunto de datos no etiquetados y necesite una alta precisión predictiva. Es particularmente valioso en dominios como la anotación médica, la clasificación de documentos legales y el etiquetado de imágenes científicas, donde el tiempo de los expertos es limitado. No utilice este enfoque cuando todos los datos puedan etiquetarse de forma económica: el apilamiento estándar será más simple y igualmente efectivo. Evítelo cuando el conjunto no etiquetado sea pequeño (la selección activa proporciona poco beneficio) o cuando se necesiten predicciones en tiempo real durante el bucle de consulta, ya que reentrenar la pila después de cada consulta es computacionalmente costoso.

Limitaciones y consideraciones

  • Reentrenar el ensamble apilado completo después de cada consulta es computacionalmente costoso para conjuntos grandes de aprendices base.
  • El diseño de la estrategia de consulta no es trivial: una función de adquisición deficiente puede seleccionar ejemplos redundantes o poco informativos.
  • El meta-aprendiz requiere suficientes datos etiquetados para aprender pesos de combinación fiables; con muy pocas etiquetas, las meta-características son ruidosas.
  • La latencia de retroalimentación de un oráculo humano puede hacer que el bucle iterativo sea lento en la práctica.
  • El rendimiento depende en gran medida de la diversidad de los aprendices base y del meta-aprendiz elegido.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Logra una alta precisión predictiva con menos ejemplos etiquetados que el apilamiento supervisado pasivo.
  • La diversidad del ensamble de múltiples aprendices base hace que las estimaciones de incertidumbre de consulta sean más fiables.
  • El meta-aprendiz combina adaptativamente los aprendices base, corrigiendo el sesgo de cada aprendiz base.
  • Compatible con prácticamente cualquier combinación de aprendices base y meta-aprendiz.
  • Reduce sistemáticamente el presupuesto de anotación, haciendo más eficiente el tiempo de los expertos.

Aplicaciones

  • Clasificación de imágenes médicas o registros clínicos con casos anotados limitados.
  • Clasificación de documentos legales y regulatorios donde la anotación experta es costosa.
  • Etiquetado de datos científicos en biología, química y teledetección.
  • Análisis de sentimientos y clasificación de texto con escasos datos etiquetados específicos del dominio.
  • Detección de fraude donde las etiquetas de verdad fundamental requieren investigación manual.
  • Cualquier tarea de predicción tabular con un gran conjunto no etiquetado y un presupuesto de etiquetado ajustado.

Cómo funciona

Cómo funciona

1

Se utiliza un pequeño conjunto semilla de ejemplos etiquetados para ajustar los aprendices base iniciales en la pila. Los datos restantes permanecen sin etiquetar en un conjunto de candidatos. Este conjunto semilla define el punto de partida para todas las consultas activas subsiguientes.

2

Una función de adquisición —como la incertidumbre de predicción, el muestreo de margen o el desacuerdo de consulta por comité entre los aprendices base— puntúa cada candidato no etiquetado. La instancia con la puntuación más alta se selecciona como la más informativa para etiquetar.

3

La instancia seleccionada se presenta a un anotador humano o a un oráculo automatizado, que le asigna su etiqueta verdadera. Este ejemplo etiquetado se añade al conjunto de entrenamiento para la siguiente ronda de entrenamiento.

4

Con el conjunto etiquetado actualizado, cada aprendiz base (p. ej., árbol de decisión, SVM, regresión logística) se reentrena. Las predicciones fuera de pliegue de los aprendices base sobre el conjunto de entrenamiento forman la matriz de meta-características utilizada para entrenar el meta-aprendiz.

5

Un meta-aprendiz (comúnmente regresión logística o un modelo lineal) se entrena con las meta-características producidas por los aprendices base. Aprende cómo combinar mejor sus predicciones, corrigiendo los errores sistemáticos de cada aprendiz base.

6

Los pasos 2-5 se repiten para un presupuesto fijo de consultas o hasta que el rendimiento del modelo en un conjunto de validación retenido se estabilice. El ensamble apilado final es el modelo entrenado con todos los datos etiquetados acumulados.

Errores comunes

  • Usar solo un aprendiz base — esto elimina la diversidad del ensamble que hace fiables las señales de consulta activa.
  • Consultar en lotes grandes sin reentrenar en el medio, lo que desperdicia el beneficio de la retroalimentación incremental.
  • Evaluar solo en los datos de entrenamiento después de cada ronda en lugar de en un conjunto de validación retenido.
  • Ignorar el desequilibrio de clases al seleccionar consultas, lo que puede hacer que el bucle activo sobremuestree la clase mayoritaria.
  • Confundir el rendimiento del conjunto semilla etiquetado con el rendimiento final del modelo.

Preguntas frecuentes

¿Qué estrategia de consulta funciona mejor con un ensamble apilado?

La consulta por comité, que mide el desacuerdo entre los aprendices base, es un ajuste natural porque los aprendices base ya forman un comité. La incertidumbre de muestreo sobre la salida del meta-aprendiz también es común y más simple de implementar.

¿Cuántos ejemplos etiquetados necesito para empezar?

Se requiere un conjunto semilla de al menos un ejemplo representativo por clase; en la práctica, 10-50 ejemplos etiquetados por clase proporcionan suficiente señal a los aprendices base para generar estimaciones de incertidumbre significativas para la primera ronda de consulta.

¿Es mejor consultar un ejemplo a la vez o en lotes?

Las actualizaciones con consulta individual maximizan el carácter informativo pero requieren reentrenamiento después de cada etiqueta, lo cual es costoso. El aprendizaje activo en modo lote selecciona un lote diverso de consultas a la vez y reentrena una vez por lote, ofreciendo un compromiso práctico entre costo y ganancia de información.

¿Puedo usar aprendices profundos como modelos base en la pila?

Sí, pero reentrenar aprendices profundos después de cada ronda de consulta activa es muy costoso. Un compromiso común es congelar o ajustar finamente los aprendices base solo periódicamente mientras se ejecuta el bucle de consulta con más frecuencia con el meta-aprendiz.

¿Cómo sé cuándo dejar de consultar?

Deje de hacerlo cuando el rendimiento de validación se estabilice en varias rondas, cuando se agote el presupuesto de etiquetado, o cuando la función de adquisición asigne puntuaciones de carácter informativo uniformemente bajas a todos los candidatos restantes, lo que indica que el modelo ha aprendido la mayor parte de lo que el conjunto puede ofrecer.

Métodos relacionados

Fuentes

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.

    Abrir referencia DOI
    Copiado.
  2. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning. Morgan & Claypool Publishers.

    Abrir referencia DOI
    Copiado.