Saltar al contenido
Volver a los resultados

Gradient Boosting Semi-supervisado

Propuesto por
Chapelle, Scholkopf & Zien (eds.); applied to GBM variants in subsequent literature
Año
2006–2010s
Tipo
Semi-supervised ensemble (self-training + gradient boosted trees)
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El gradient boosting semi-supervisado combina árboles de gradient boosting con autoconocimiento (self-training) o pseudo-etiquetado para explotar grandes cantidades de datos no etiquetados junto con un pequeño conjunto de datos etiquetados.

Un ajuste inicial de GBM sobre datos etiquetados asigna predicciones seguras a ejemplos no etiquetados; esos puntos pseudo-etiquetados se incorporan al entrenamiento y el modelo se re-entrena (re-boosted), iterando hasta la convergencia. Esto permite a los profesionales aprovechar datos no etiquetados de bajo costo cuando las etiquetas son escasas o caras.

La intuición detrás del método

Imagina que tienes 200 respuestas de encuestas etiquetadas y 10.000 no etiquetadas. Un modelo de gradient boosting entrenado solo con los 200 ejemplos etiquetados ya es bastante bueno. El gradient boosting semi-supervisado utiliza ese modelo para clasificar las respuestas no etiquetadas sobre las que se siente seguro, las etiqueta tentativamente y luego se reentrena con el conjunto combinado mucho más grande. El ciclo se repite: en cada ronda, el modelo mejora porque ve más ejemplos, y mejores predicciones se traducen en pseudo-etiquetas de mayor calidad para la siguiente ronda. La mayoría no etiquetada actúa efectivamente como un regularizador gratuito y un dispositivo de aumento de datos.

Historia

El aprendizaje semi-supervisado fue sistematizado en el volumen de 2006 de MIT Press de Chapelle, Scholkopf y Zien. La variante de autoconocimiento / pseudo-etiquetado se remonta a Yarowsky (1995) en PNL y fue formalizada posteriormente por Lee (2013) en el contexto de redes profundas, pero el mismo principio se aplica directamente a los árboles de gradient boosting. CatBoost (Prokhorenkova et al., 2018) introdujo extensiones semi-supervisadas incorporadas; trabajos posteriores exploraron programas de pseudo-etiquetado y calibración de confianza específicamente para GBMs en entornos biomédicos e industriales a lo largo de las décadas de 2010 y 2020.

Cuándo usarlo

Utilice gradient boosting semi-supervisado cuando los datos etiquetados sean escasos (por ejemplo, menos de unos pocos cientos de ejemplos) pero haya disponibles grandes cantidades de datos no etiquetados de la misma distribución, y la recopilación de etiquetas adicionales sea costosa. Es adecuado para tareas de clasificación y regresión tabulares donde un modelo de gradient boosting ya funciona decentemente solo con el conjunto etiquetado. Evítelo cuando: los datos etiquetados y no etiquetados provienen de distribuciones diferentes (el desplazamiento de la distribución amplificará el error); la precisión del modelo base en datos etiquetados es muy baja (pseudo-etiquetas deficientes corrompen el reentrenamiento); o el conjunto etiquetado ya es lo suficientemente grande como para saturar un GBM estándar, en cuyo caso la sobrecarga semi-supervisada produce un beneficio insignificante.

Limitaciones y consideraciones

  • La calidad de las pseudo-etiquetas depende del modelo base; un modelo inicial débil puede corromper las iteraciones subsiguientes.
  • Asume que los datos etiquetados y no etiquetados se extraen de la misma distribución; violar esto causa amplificación del error.
  • La sintonización del umbral (tau) añade un hiperparámetro sin un valor predeterminado principista.
  • El costo computacional aumenta con cada iteración de autoconocimiento, especialmente en grandes conjuntos de datos no etiquetados.
  • La validación debe realizarse solo con datos etiquetados; la validación cruzada estándar sobre el conjunto aumentado infla las estimaciones.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Aprovecha datos no etiquetados de bajo costo para mejorar el rendimiento cuando las etiquetas son caras o escasas.
  • Compatible con cualquier implementación de gradient boosting (XGBoost, LightGBM, CatBoost, scikit-learn) sin cambios arquitectónicos.
  • La limitación por umbral de confianza proporciona una puerta de calidad incorporada que limita el ruido de las pseudo-etiquetas.
  • Mantiene todo el poder predictivo y la modelización de interacciones de características de los árboles de gradient boosting.
  • El refinamiento iterativo permite la incorporación progresiva de datos no etiquetados a medida que el modelo mejora.

Aplicaciones

  • Diagnóstico médico donde los registros de pacientes etiquetados son limitados pero las notas clínicas no etiquetadas son abundantes.
  • Detección de defectos industriales utilizando un pequeño conjunto de ejemplos de fallos etiquetados y un gran flujo de producción no etiquetado.
  • Clasificación de texto y análisis de sentimientos con ejemplos semilla etiquetados aumentados por corpus no etiquetados.
  • Puntuación de crédito cuando solo una fracción de las solicitudes históricas tiene resultados de impago verificados.
  • Teledetección y clasificación geoespacial que combinan pocas mediciones de campo etiquetadas con grandes características de imágenes satelitales no etiquetadas.

Cómo funciona

Cómo funciona

1

Se entrena un modelo estándar de gradient boosting (XGBoost, LightGBM, CatBoost, scikit-learn GBM, etc.) con los ejemplos etiquetados disponibles utilizando minimización de pérdida supervisada estándar. Este modelo base debe ser al menos moderadamente preciso para que el pseudo-etiquetado ayude en lugar de perjudicar.

2

El modelo base se aplica a cada ejemplo no etiquetado. Las predicciones que superan un umbral de confianza tau (por ejemplo, probabilidad predicha superior a 0.9 para clasificación, o predicciones dentro de un intervalo estrecho para regresión) se aceptan como pseudo-etiquetas. El filtrado de alta confianza limita la propagación de errores en las primeras rondas.

Fórmula
\hat{y}_u = f^{(t)}(x_u),\; \text{confidence} \geq \tau
3

Los ejemplos pseudo-etiquetados aceptados se añaden al conjunto de entrenamiento etiquetado, opcionalmente ponderados por debajo de 1.0 para reflejar su origen incierto. El conjunto de datos combinado es ahora sustancialmente más grande y puede cubrir mejor el espacio de características.

4

Se entrena un nuevo modelo de gradient boosting desde cero (o con arranque en caliente) en el conjunto de datos aumentado. Dado que el gradient boosting es inherentemente secuencial y sensible al ruido de etiquetas, el monitoreo de la pérdida de validación en el conjunto etiquetado reservado es esencial para detectar la degradación causada por pseudo-etiquetas ruidosas.

5

Los pasos 2 a 4 se repiten durante un número fijo de rondas o hasta la convergencia, definida como un cambio insignificante en la métrica de validación o que ningún nuevo ejemplo no etiquetado cruce el umbral de confianza. En cada ronda, el umbral de confianza puede relajarse gradualmente para incluir más datos pseudo-etiquetados.

Errores comunes

  • Uso de datos pseudo-etiquetados en el pliegue de validación, lo que da una estimación de rendimiento optimista y sesgada.
  • Establecer el umbral de confianza demasiado bajo en las rondas iniciales, inundando el reentrenamiento con etiquetas ruidosas y causando transferencia negativa.
  • Ignorar el desplazamiento de la distribución entre datos etiquetados y no etiquetados, lo que puede degradar el rendimiento por debajo de la línea de base supervisada.
  • No ponderar los ejemplos pseudo-etiquetados por debajo de 1.0, dando a las predicciones inciertas el mismo peso que a las etiquetas verificadas por humanos.
  • Detenerse en una ronda de pseudo-etiquetado en lugar de iterar hasta la convergencia.

Preguntas frecuentes

¿Cómo elijo el umbral de confianza?

Comience de forma conservadora: para clasificación binaria, los valores superiores a 0.9 son comunes en la ronda 1. Monitoree la precisión de validación del conjunto etiquetado después de cada ronda y relaje gradualmente el umbral solo si el rendimiento se mantiene o mejora. No hay un valor principista único; trátelo como un hiperparámetro sintonizable.

¿Deben los ejemplos pseudo-etiquetados ponderarse igual que los etiquetados?

Generalmente no. Asignar un peso inferior a 1.0 (por ejemplo, 0.5) a los ejemplos pseudo-etiquetados reduce la influencia de las predicciones inciertas en la función de pérdida. Algunas implementaciones vinculan el peso a la confianza predicha por el modelo, dando mayor peso a las pseudo-etiquetas de mayor confianza.

¿Cuándo el gradient boosting semi-supervisado perjudica el rendimiento?

Perjudica cuando el modelo inicial es demasiado débil para producir pseudo-etiquetas fiables, cuando los datos etiquetados y no etiquetados difieren en distribución, o cuando el conjunto no etiquetado es pequeño en relación con el conjunto etiquetado. En estos escenarios, un GBM supervisado estándar solo con datos etiquetados suele ser más seguro.

¿Es esto diferente del modo semi-supervisado incorporado de CatBoost?

CatBoost implementa el entrenamiento semi-supervisado de forma nativa optimizando conjuntamente una pérdida supervisada en datos etiquetados y una pérdida no supervisada o de pseudo-etiquetado en datos no etiquetados dentro de una única ejecución de entrenamiento, lo que puede ser más estable que el pseudo-etiquetado externo iterativo. Los bucles manuales de autoconocimiento son más generales y funcionan con cualquier biblioteca GBM.

¿Cuántas iteraciones de pseudo-etiquetado se necesitan?

Típicamente de 3 a 10 rondas son suficientes; la convergencia se detecta cuando la métrica de validación del conjunto etiquetado deja de mejorar o el número de pseudo-etiquetas recién aceptadas cae a casi cero. Más rondas corren el riesgo de acumular errores de pseudo-etiquetado.

Métodos relacionados

Fuentes

  1. Yarowsky, D. (1995). Unsupervised word sense disambiguation rivaling supervised methods. Proceedings of ACL 1995, 189–196. (Foundational self-training framework underlying pseudo-label approaches.)

    Abrir referencia de la publicación
    Copiado.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Copiado.