Saltar al contenido
Volver a los resultados

Boosting semisupervisado (Semi-supervised Boosting)

Propuesto por
Mallapragada, P. K.; Bennett, K. P.; and others
Año
1999–2009
Tipo
Semi-supervised ensemble method
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El boosting semisupervisado es un paradigma de aprendizaje de conjuntos (ensemble learning) que extiende los algoritmos de boosting clásicos —como AdaBoost— para explotar datos tanto etiquetados como no etiquetados.

Al propagar información de etiquetas a través de una estructura de similitud sobre instancias no etiquetadas, entrena clasificadores más potentes que el boosting puramente supervisado cuando los datos etiquetados son escasos.

La intuición detrás del método

El boosting clásico se enfoca iterativamente en ejemplos etiquetados mal clasificados. El boosting semisupervisado añade una nueva dimensión: utiliza la estructura geométrica de los datos no etiquetados para inferir etiquetas suaves (soft labels) o reponderar ejemplos. Intuitivamente, si dos puntos no etiquetados son muy similares entre sí, deberían recibir la misma etiqueta. Al incorporar esta presión de consistencia en las actualizaciones de ponderación del conjunto, el modelo puede generalizar mejor incluso cuando solo hay disponibles un puñado de ejemplos etiquetados. El resultado es un modelo que toma prestada señal de la mayoría no etiquetada mientras sigue siendo guiado por la minoría etiquetada.

Historia

La idea de combinar boosting con datos no etiquetados surgió a finales de la década de 1990, siendo Bennett y Demiriz (1999) de los primeros en explorar estrategias de conjuntos semisupervisados. El algoritmo SemiBoost, formalizado por Mallapragada et al. en un artículo de IEEE TPAMI de 2009, se convirtió en la referencia canónica para el boosting semisupervisado basado en grafos. Trabajos posteriores extendieron el marco a entornos multiclase y lo conectaron con la teoría de regularización de variedades (manifold regularization), estableciendo el boosting semisupervisado como una línea base estándar en la literatura de aprendizaje semisupervisado.

Cuándo usarlo

El boosting semisupervisado es apropiado cuando los datos etiquetados son escasos y caros de obtener, pero un grupo mayor de datos no etiquetados está fácilmente disponible —común en anotación de imágenes médicas, categorización de texto y monitorización basada en sensores. Se adapta mejor a tareas de clasificación binaria o multiclase donde el supuesto de clúster o variedad (manifold assumption) es plausible (entradas similares comparten etiquetas). Evítelo cuando los datos no etiquetados no sean representativos de la distribución de prueba, cuando el supuesto de clúster no sea plausible (p. ej., datos de procesos fundamentalmente diferentes), o cuando el conjunto etiquetado ya sea lo suficientemente grande como para saturar un booster supervisado —en ese caso, el boosting de gradiente simple igualará o superará su rendimiento con mucha menos complejidad.

Limitaciones y consideraciones

  • El rendimiento se degrada drásticamente si los datos no etiquetados no comparten la misma distribución que los datos etiquetados (desajuste de datos).
  • El ruido de las pseudoetiquetas puede acumularse a lo largo de las rondas de boosting, lo que lleva a una amplificación de errores cuando las predicciones iniciales son deficientes.
  • La construcción del grafo de similitud requiere la elección del ancho de banda del kernel o el número de vecinos, lo cual es sensible y requiere validación.
  • El costo computacional es sustancialmente mayor que el del boosting supervisado debido a la construcción del grafo y el recálculo de las pseudoetiquetas en cada ronda.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Aprovecha datos no etiquetados abundantes para mejorar la precisión más allá de lo que permite el conjunto etiquetado por sí solo.
  • Hereda el fuerte rendimiento empírico y la flexibilidad de los marcos de boosting como AdaBoost.
  • La estructura de similitud basada en grafos hace que la propagación de etiquetas sea interpretable y ajustable.
  • Funciona con cualquier aprendiz base que acepte pesos de instancias, manteniendo el marco modular.
  • Supera consistentemente al boosting puramente supervisado en regímenes de baja tasa de etiquetas documentados en experimentos de referencia.

Aplicaciones

  • Clasificación de texto y documentos donde los corpus etiquetados son pequeños pero los corpus no etiquetados son grandes y están disponibles.
  • Clasificación de imágenes médicas con imágenes limitadas anotadas por expertos junto con grandes archivos no etiquetados.
  • Categorización de contenido web explotando la estructura del grafo de hipervínculos como fuente de similitud.
  • Detección de fallos industriales con abundantes lecturas de sensores pero pocos eventos de fallo etiquetados manualmente.
  • Tareas de bioinformática como la predicción de la función de proteínas con escasas anotaciones validadas.

Cómo funciona

Cómo funciona

1

Se entrena un clasificador base —típicamente un árbol de decisión simple (decision stump) o un árbol poco profundo— en la porción etiquetada del conjunto de datos. Esto proporciona la hipótesis inicial y establece el marco del boosting. Todas las instancias etiquetadas reciben pesos uniformes en esta primera ronda.

2

Se construye una similitud por pares o un grafo sobre los datos combinados, etiquetados y no etiquetados, a menudo utilizando un kernel de función de base radial (RBF) o un grafo de k-vecinos más cercanos (k-nearest-neighbor graph). Esto codifica el supuesto de que puntos cercanos en el espacio de características probablemente compartan la misma clase.

3

Utilizando el modelo de conjunto actual y el grafo de similitud, se asignan pseudoetiquetas suaves a las instancias no etiquetadas. Los puntos cercanos a ejemplos etiquetados clasificados con confianza heredan sus etiquetas; los puntos cercanos a los límites de decisión reciben pseudoetiquetas de baja confianza y contribuyen menos a la actualización.

4

El aprendiz débil actual se ajusta en el conjunto de datos aumentado —ejemplos etiquetados más los no etiquetados con pseudoetiquetas— utilizando la distribución de pesos del boosting. El peso del aprendiz alpha_t se calcula a partir del error ponderado, exactamente como en AdaBoost, pero el error ponderado ahora refleja las contribuciones de instancias tanto etiquetadas como no etiquetadas.

Fórmula
F_t(x) = F_{t-1}(x) + \alpha_t h_t(x)
5

Las pesos de las instancias se actualizan de modo que los ejemplos mal clasificados por el aprendiz actual reciban un peso mayor en la siguiente ronda. Para las instancias no etiquetadas, la actualización del peso se modula por la confianza de la pseudoetiqueta: las pseudoetiquetas de alta confianza se ponderan más, como los ejemplos etiquetados, mientras que las de baja confianza se ponderan menos para limitar la propagación de ruido.

6

Después de T rondas de boosting, la predicción final es el signo del voto mayoritario ponderado de todos los aprendices débiles. El conjunto combina la señal de la supervisión etiquetada y la información estructural propagada de los datos no etiquetados en un único y robusto límite de decisión.

Fórmula
\hat{y} = \text{sign}\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)

Errores comunes

  • Asumir que los datos no etiquetados son representativos sin verificar la superposición distributiva con los ejemplos etiquetados.
  • Usar demasiadas rondas de boosting con pseudoetiquetas ruidosas, lo que hace que el modelo se sobreajuste a asignaciones suaves incorrectas.
  • Ignorar el ajuste de hiperparámetros del grafo (ancho de banda del kernel, k en k-NN) — una mala calidad del grafo invalida todo el paso de propagación.
  • Informar solo la exactitud sin métricas estratificadas (F1, AUC) cuando el conjunto etiquetado está desequilibrado en clases.
  • Omitir un conjunto de prueba etiquetado separado y evaluar en el mismo grupo etiquetado utilizado para inicializar las pseudoetiquetas.

Preguntas frecuentes

¿Cuándo supera el boosting semisupervisado al AdaBoost simple?

Más de manera fiable cuando el conjunto etiquetado es muy pequeño —típicamente menos de unos pocos cientos de ejemplos por clase— y los datos no etiquetados son abundantes y provienen de la misma distribución. Con conjuntos etiquetados grandes, la diferencia se reduce y el boosting supervisado estándar es más simple y rápido.

¿Cómo debo construir el grafo de similitud?

Un kernel de función de base radial (RBF) con ancho de banda sintonizado mediante validación cruzada en el conjunto etiquetado es la opción más común. Los grafos de k-vecinos más cercanos son una alternativa más simple. El criterio clave es que el grafo debe conectar ejemplos de la misma clase y separar clústeres de clases diferentes de la manera más clara posible.

¿Qué aprendiz base funciona mejor?

Los árboles de decisión simples (árboles de profundidad 1) son la opción estándar, consistente con el AdaBoost clásico. Los árboles poco profundos (profundidad 2-4) pueden mejorar la precisión cuando el límite de decisión es complejo, pero aumentan el riesgo de depender en exceso de pseudoetiquetas ruidosas.

¿Cuántas rondas de boosting se necesitan?

Comience con 100-200 rondas y monitorice el error de validación etiquetado. A diferencia del boosting puramente supervisado, añadir demasiadas rondas puede amplificar el ruido de las pseudoetiquetas, por lo que se recomienda encarecidamente la detención temprana (early stopping) en un pequeño conjunto de validación etiquetado.

¿Es una preocupación el desequilibrio de clases?

Sí. Cuando el conjunto etiquetado está desequilibrado en clases, las predicciones iniciales están sesgadas, y las pseudoetiquetas propagarán ese sesgo al conjunto no etiquetado. Reponderar las clases etiquetadas antes de entrenar o sobremuestrear la clase minoritaria para mitigar esto.

Métodos relacionados

Fuentes

  1. Mallapragada, P. K., Jin, R., Jain, A. K., & Liu, Y. (2009). SemiBoost: Boosting for Semi-supervised Learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(11), 2000–2014.

    Abrir referencia DOI
    Copiado.
  2. Bennett, K. P., & Demiriz, A. (1999). Semi-supervised Support Vector Machines. Advances in Neural Information Processing Systems (NIPS), 11, 368–374.

    Abrir referencia de la publicación
    Copiado.