Ensamble de apilamiento semi-supervisado
- Propuesto por
- Combines Wolpert (1992) stacking with semi-supervised learning principles
- Año
- 2000s–2010s
- Tipo
- Ensemble (stacked generalization with unlabeled data augmentation)
- Familia
- Machine learning
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
El ensamble de apilamiento semi-supervisado extiende el marco clásico de generalización apilada a escenarios donde solo una fracción de los ejemplos de entrenamiento tienen etiquetas.
Los "base learners" (modelos base) se entrenan primero con datos etiquetados y luego se utilizan para asignar pseudo-etiquetas a ejemplos no etiquetados; el conjunto de datos expandido entrena modelos base más robustos cuyas predicciones fuera de la partición ("out-of-fold") forman la entrada para un meta-learner, lo que produce un ensamble de dos niveles que explota tanto la estructura etiquetada como la no etiquetada.
La intuición detrás del método
El apilamiento ya supera a los modelos individuales al entrenar un meta-learner con las predicciones de diversos modelos base. El apilamiento semi-supervisado añade un truco adicional: en lugar de descartar el gran conjunto de ejemplos no etiquetados, utiliza los modelos base actuales para adivinar sus etiquetas con un cierto umbral de confianza, incorpora esos ejemplos pseudo-etiquetados de nuevo en el entrenamiento, reentrena los modelos base y repite el proceso. Cada iteración proporciona a los modelos base más datos para aprender, por lo que las meta-características que producen para el meta-learner se vuelven progresivamente más informativas, todo ello sin requerir ninguna anotación humana adicional.
Historia
La generalización apilada fue formalizada por Wolpert en 1992 como una forma de combinar múltiples modelos a través de un meta-learner aprendido. Los principios del aprendizaje semi-supervisado —utilizar datos no etiquetados para mejorar modelos supervisados— fueron consolidados por Chapelle, Schölkopf y Zien en su volumen de 2006 de MIT Press. La combinación explícita de ambos, el apilamiento semi-supervisado, surgió en la literatura de ML aplicada a lo largo de las décadas de 2000 y 2010, con una adopción particular en el aprendizaje automático competitivo y en dominios donde la anotación es escasa.
Cuándo usarlo
Utilice el apilamiento semi-supervisado cuando tenga una tarea de clasificación o regresión con un conjunto de datos etiquetados pequeño y un gran conjunto de vectores de características no etiquetados, un escenario común en imágenes médicas, PNL o teledetección, donde la anotación es costosa. Es especialmente eficaz cuando los datos no etiquetados provienen de la misma distribución que los datos etiquetados y cuando se dispone de al menos 3 a 5 familias diversas de "base learners". Evítelo cuando el conjunto no etiquetado sea pequeño (lo que no ofrece ningún beneficio sobre el apilamiento estándar), cuando el conjunto etiquetado ya sea lo suficientemente grande como para que las ganancias semi-supervisadas sean marginales, o cuando se sospeche un cambio de distribución entre ejemplos etiquetados y no etiquetados, ya que los errores de pseudo-etiquetado se acumularán en las iteraciones.
Limitaciones y consideraciones
- Los errores de pseudo-etiquetado se acumulan a lo largo de las iteraciones; si los modelos base iniciales son débiles, las pseudo-etiquetas erróneas pueden degradar en lugar de mejorar el rendimiento.
- La superficie de hiperparámetros es amplia: el número de iteraciones, el umbral de confianza, el número de particiones y la diversidad de los "base learners" interactúan entre sí.
- Computacionalmente costoso: el reentrenamiento k-fold en múltiples "base learners" se repite durante varias iteraciones, por lo que el tiempo de ejecución crece rápidamente.
- Requiere que la distribución no etiquetada coincida estrechamente con la distribución etiquetada; el cambio de covariables invalida la suposición de pseudo-etiquetado.
- La interpretabilidad es baja: dos niveles apilados más el pseudo-etiquetado iterativo dificultan el seguimiento de cómo se formó cualquier predicción individual.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Aprovecha grandes conjuntos de datos no etiquetados sin costo adicional de anotación, a menudo mejorando sustancialmente la precisión sobre el apilamiento solo supervisado.
- Hereda todos los beneficios del apilamiento clásico: la diversidad entre los "base learners" reduce la varianza y el sesgo simultáneamente.
- Flexible: cualquier "learner" supervisado puede servir como modelo base o meta-learner, lo que hace que el marco sea ampliamente aplicable.
- El umbral de confianza proporciona un mecanismo fundamentado para controlar la calidad de las pseudo-etiquetas introducidas en cada iteración.
- Escala bien: los datos no etiquetados son económicos, por lo que el método se vuelve más valioso a medida que crece la relación entre ejemplos no etiquetados y etiquetados.
Aplicaciones
- Clasificación de imágenes médicas donde los escaneos anotados son escasos pero los escaneos no anotados son abundantes.
- Tareas de procesamiento de lenguaje natural (sentimiento, tema) con grandes corpus no etiquetados y pequeños conjuntos de entrenamiento etiquetados.
- Clasificación de cobertura terrestre por teledetección utilizando abundante imaginería satelital con pocas etiquetas de verdad de campo.
- Detección de fraude donde los casos de fraude confirmados son raros en comparación con las transacciones no revisadas.
- Tareas de bioinformática como la predicción de la función de proteínas con ejemplos limitados verificados experimentalmente.
Cómo funciona
Cómo funciona
Los "base learners" (p. ej., árboles potenciados por gradiente, SVM, redes neuronales) se entrenan con el subconjunto etiquetado. Luego predicen las probabilidades de clase para cada ejemplo no etiquetado; a los ejemplos cuya probabilidad máxima predicha excede un umbral de confianza se les asignan pseudo-etiquetas y se añaden al conjunto de entrenamiento de trabajo para la siguiente iteración.
Los "base learners" diversos se (re)entrenan con el conjunto combinado de ejemplos con etiquetas verdaderas y pseudo-etiquetas utilizando validación cruzada k-fold para evitar la fuga de datos. La diversidad entre los modelos base —en la familia de algoritmos, la fuerza de regularización o los subconjuntos de características— es crítica; las pilas homogéneas obtienen poco beneficio del segundo nivel.
Las predicciones "out-of-fold" de cada "base learner" sobre los ejemplos etiquetados se recopilan en una matriz de meta-características. Cada fila corresponde a un ejemplo de entrenamiento etiquetado; cada columna es la predicción de un modelo base estimado en una partición que no vio ese ejemplo, preservando una representación imparcial para el meta-learner.
Un meta-learner (comúnmente regresión logística, una red neuronal superficial u otro modelo de árbol) se entrena con la matriz de meta-características y las etiquetas verdaderas. Aprende cómo combinar mejor las salidas de los "base learners", corrigiendo sus sesgos sistemáticos y explotando sus fortalezas complementarias.
Los Pasos 1 a 4 se repiten un número fijo de iteraciones o hasta que el conjunto de pseudo-etiquetas se estabiliza (pocos ejemplos nuevos cruzan el umbral de confianza). En cada pasada, el umbral de confianza puede relajarse ligeramente para incorporar más datos no etiquetados, pero se necesita precaución: un umbral demasiado bajo propaga pseudo-etiquetas erróneas y degrada el rendimiento.
Errores comunes
- Establecer el umbral de confianza demasiado bajo en las primeras iteraciones, inundando el conjunto de entrenamiento con pseudo-etiquetas ruidosas que degradan la calidad del "base learner".
- Usar solo uno o dos "base learners" altamente correlacionados; sin diversidad, el meta-learner recibe señales redundantes y la pila no supera a un solo modelo.
- No utilizar la validación cruzada al generar meta-características, lo que provoca una fuga de datos que infla la precisión del entrenamiento y engaña al entrenamiento del meta-learner.
- Evaluar el rendimiento final con ejemplos pseudo-etiquetados en lugar de un conjunto de prueba verdaderamente etiquetado y reservado, produciendo métricas excesivamente optimistas.
- Ignorar la convergencia: ejecutar demasiadas iteraciones después de que el conjunto de pseudo-etiquetas se haya estabilizado desperdicia recursos computacionales y corre el riesgo de sobreajuste con predicciones seguras pero incorrectas.
Preguntas frecuentes
¿Cómo elijo el umbral de confianza para el pseudo-etiquetado?
Un punto de partida común es 0.9 o superior para la clasificación, lo que significa que solo los ejemplos donde la probabilidad de la clase principal excede el 90% reciben una pseudo-etiqueta. El umbral puede relajarse en iteraciones posteriores a medida que los modelos base mejoran. Siempre monitoree la precisión de validación a lo largo de las iteraciones para detectar valores de umbral que introduzcan demasiado ruido.
¿Qué "base learners" debo usar?
La diversidad es el principio clave. Una combinación típica empareja árboles potenciados por gradiente (p. ej., XGBoost), una SVM con un kernel radial y una red neuronal. La combinación de modelos que difieren en el perfil de sesgo-varianza y en las relaciones de características que capturan produce las meta-características más informativas para el segundo nivel.
¿En qué se diferencia esto del apilamiento estándar?
El apilamiento estándar utiliza solo datos etiquetados en todo momento. El apilamiento semi-supervisado añade un bucle de pseudo-etiquetado que expande iterativamente el conjunto de entrenamiento efectivo con ejemplos no etiquetados de alta confianza, por lo que es más útil cuando los datos etiquetados son escasos y los datos no etiquetados son abundantes.
¿Puede manejar la regresión además de la clasificación?
Sí. Para la regresión, el umbral de confianza se reemplaza por un criterio basado en residuos; por ejemplo, incluyendo ejemplos pseudo-etiquetados cuyo valor predicho es estable (baja varianza) entre los modelos base. El meta-learner luego combina salidas continuas en lugar de probabilidades de clase.
¿Cuál es el riesgo de errores de propagación de etiquetas?
Si los modelos base iniciales son inexactos, sus predicciones seguras aún pueden ser incorrectas, y esos errores se refuerzan en iteraciones posteriores. Usar un umbral de confianza inicial alto, monitorear un conjunto de validación etiquetado reservado a lo largo de las iteraciones y detenerse cuando el rendimiento de validación deja de mejorar son las principales defensas.
Métodos relacionados
Fuentes
Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.
Abrir referencia DOICopiado.Chapelle, O., Schölkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Copiado.