Saltar al contenido
Volver a los resultados

Bosque Aleatorio Semi-supervisado

Propuesto por
Leistner, C., Saffari, A., Santner, J., & Bischof, H.
Año
2009
Tipo
Semi-supervised ensemble classifier
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El Bosque Aleatorio Semi-supervisado (SSL-RF) extiende el Bosque Aleatorio clásico al explotar tanto ejemplos de entrenamiento etiquetados como no etiquetados.

Cuando etiquetar datos es costoso o consume mucho tiempo, SSL-RF asigna pseudo-etiquetas tentativas a las observaciones no etiquetadas a través del propio bosque, luego reentrena con el conjunto de datos enriquecido, mejorando progresivamente la precisión sin requerir anotaciones humanas adicionales.

La intuición detrás del método

Imagine pedir a un panel de expertos (sus árboles) que clasifiquen casos, pero la mayoría de los expedientes no tienen un diagnóstico confirmado. SSL-RF permite que el panel vote sobre archivos inciertos, trata los votos de confianza como diagnósticos provisionales, agrega esos archivos al grupo de entrenamiento y reentrena, repitiendo hasta que el panel converge. Los ejemplos etiquetados guían al bosque, mientras que la mayoría no etiquetada da forma a los límites de decisión en regiones que los datos etiquetados solos no podrían alcanzar, lo que lleva a una mejor generalización cuando las etiquetas son escasas.

Historia

El aprendizaje semi-supervisado como campo fue sistemáticamente revisado por Xiaojin Zhu (2005), estableciendo la motivación teórica para explotar datos no etiquetados. La formulación canónica de SSL-RF fue introducida por Leistner et al. en ICCV 2009, combinando la división basada en entropía con la regularización de la variedad dentro del marco del bosque aleatorio. El método ganó tracción en visión por computadora e imágenes médicas donde los costos de anotación son altos, y desde entonces se ha extendido con integración de características profundas y variantes de propagación de etiquetas basadas en grafos.

Cuándo usarlo

Utilice el Bosque Aleatorio Semi-supervisado cuando tenga abundantes datos no etiquetados pero el etiquetado sea costoso, escaso o requiera mucho tiempo — común en imágenes médicas, teledetección, clasificación de texto y datos biológicos. Se adapta a conjuntos de datos tabulares, derivados de imágenes y de tipos mixtos con al menos un subconjunto etiquetado modesto (aproximadamente 5–20% del total de datos). Evítelo cuando prácticamente no existan etiquetas confiables (el bosque inicial será demasiado débil para generar pseudo-etiquetas útiles), cuando los límites de clase sean muy irregulares, o cuando un modelo totalmente supervisado ya logre un rendimiento satisfactorio solo con su conjunto etiquetado.

Limitaciones y consideraciones

  • La calidad de las pseudo-etiquetas depende del bosque supervisado inicial; un modelo de partida débil propaga errores a través de todas las iteraciones subsiguientes.
  • La selección del umbral de confianza no es trivial y puede afectar significativamente el rendimiento final.
  • El costo computacional escala con el número de muestras no etiquetadas e iteraciones, especialmente para bosques grandes.
  • Si la distribución de datos no etiquetados difiere de la de datos etiquetados (desplazamiento de covariables), las pseudo-etiquetas pueden estar sistemáticamente sesgadas.
  • La convergencia no está garantizada; el autoentrenamiento iterativo puede amplificar las clasificaciones erróneas tempranas sin criterios de detención cuidadosos.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Aprovecha datos no etiquetados baratos para mejorar la precisión más allá de lo que los datos etiquetados solos pueden lograr.
  • Hereda todas las ventajas del Bosque Aleatorio: robustez, importancia de características incorporada y resistencia al sobreajuste mediante bagging.
  • El umbral de confianza flexible le permite controlar cuán agresivamente se incorporan los datos no etiquetados.
  • Maneja de forma natural tipos de características mixtas, relaciones no lineales y entradas de alta dimensionalidad sin suposiciones de distribución.
  • Las estimaciones fuera de bolsa (out-of-bag) de la porción etiquetada proporcionan una señal de validación incluso con pequeños conjuntos etiquetados.
  • Aplicable tanto a tareas de clasificación como de regresión con cambios algorítmicos mínimos.

Aplicaciones

  • Clasificación de imágenes médicas donde la anotación experta es costosa, como histopatología y radiología.
  • Análisis de teledetección e imágenes satelitales con etiquetas de verdad fundamental limitadas.
  • Categorización de texto y documentos cuando solo se puede etiquetar manualmente un subconjunto de documentos.
  • Análisis de datos biológicos y genómicos donde la validación en laboratorio es intensiva en recursos.
  • Control de calidad industrial con etiquetas de fallas escasas pero abundantes lecturas de sensores no etiquetadas.
  • Detección de fraude donde los casos de fraude confirmados son raros en relación con las transacciones no etiquetadas.

Cómo funciona

Cómo funciona

1

El proceso comienza con un pequeño conjunto etiquetado y un gran conjunto no etiquetado. Las observaciones etiquetadas establecen el espacio de características inicial y la distribución de clases, asegurando que exista al menos una señal confiable antes de intentar cualquier paso de pseudo-etiquetado.

2

Se entrena un Bosque Aleatorio estándar solo con los datos etiquetados. El muestreo bootstrap y la selección aleatoria de características se aplican exactamente como en el caso supervisado, produciendo un conjunto cuyos predicciones reflejan solo las etiquetas de verdad fundamental disponibles en esta etapa.

3

El bosque entrenado predice probabilidades de clase para cada observación no etiquetada. Las muestras cuya probabilidad predicha excede un umbral de confianza — a menudo ajustado por validación cruzada — reciben una pseudo-etiqueta. Las muestras de baja confianza pueden dejarse sin etiquetar o ponderarse menos para evitar la propagación de errores.

4

El bosque se reentrena con el grupo combinado de ejemplos etiquetados originales y los recién pseudo-etiquetados. El ponderado de muestras opcional puede descontar las instancias pseudo-etiquetadas en relación con las etiquetas verdaderas. La regularización de la variedad (manifold regularization) o los criterios de división basados en entropía también pueden aplicarse en esta etapa.

5

Los pasos de pseudo-etiquetado y reentrenamiento se repiten durante un número fijo de iteraciones o hasta que las asignaciones de pseudo-etiquetas se estabilizan en rondas sucesivas. La detención temprana (early stopping) previene que la excesiva confianza acumule errores, particularmente en entornos de alto ruido o alta superposición.

6

Las predicciones finales se obtienen agregando votos de todos los árboles en el último bosque entrenado: voto mayoritario para clasificación o respuesta media para regresión. Las puntuaciones de confianza del bosque también pueden servir como estimaciones de incertidumbre calibradas para la toma de decisiones posterior.

Fórmula
\hat{y} = \text{mode/mean of } T \text{ trees over labeled + pseudo-labeled data}

Errores comunes

  • Establecer el umbral de confianza demasiado bajo e inundar el conjunto de entrenamiento con pseudo-etiquetas ruidosas.
  • Ignorar el desplazamiento de covariables entre los grupos etiquetados y no etiquetados, lo que puede degradar en lugar de mejorar la precisión.
  • Evaluar únicamente en estimaciones fuera de bolsa sin un conjunto de prueba etiquetado verdaderamente reservado.
  • Ejecutar demasiadas iteraciones de autoentrenamiento sin detención temprana, causando acumulación de errores a lo largo de las rondas.
  • Tratar las observaciones pseudo-etiquetadas como igualmente confiables que las etiquetas verdaderas sin aplicar ningún ponderado de muestras.

Preguntas frecuentes

¿Cuántos datos etiquetados necesito para empezar?

No hay un mínimo estricto, pero el bosque supervisado inicial debe ser lo suficientemente fuerte como para producir pseudo-etiquetas útiles. En la práctica, al menos el 5–10% de las muestras totales etiquetadas — o unos pocos cientos de observaciones etiquetadas — tiende a dar predicciones iniciales confiables. Con muy pocas etiquetas, considere co-entrenamiento o métodos basados en grafos en su lugar.

¿Cómo elijo el umbral de confianza para el pseudo-etiquetado?

Valide cruzadamente en el conjunto etiquetado a través de una cuadrícula de valores de umbral (por ejemplo, 0.60 a 0.95) y seleccione el valor que maximice el rendimiento fuera de bolsa. Un umbral más alto reduce el ruido pero también el volumen de datos no etiquetados utilizados; comenzar de forma conservadora alrededor de 0.80 es una práctica común.

¿Puede SSL-RF manejar el desequilibrio de clases?

Sí, pero el desequilibrio de clases en el conjunto etiquetado se propaga a las pseudo-etiquetas. Utilice criterios de división ponderados por clase o sobremuestree la clase minoritaria en el grupo etiquetado antes del primer paso de entrenamiento. Monitoree la precisión y la exhaustividad por clase en lugar de la precisión general.

¿Es SSL-RF lo mismo que el autoentrenamiento con un aprendiz base de bosque aleatorio?

El autoentrenamiento es el esquema algorítmico más amplio; SSL-RF es una de sus realizaciones. Las implementaciones de SSL-RF también pueden incorporar criterios de división regularizados por variedad o estructura basada en grafos, yendo más allá del autoentrenamiento iterativo ingenuo.

¿Cuándo debería preferir el boosting de gradiente sobre SSL-RF?

Si todos sus datos están etiquetados, el boosting de gradiente típicamente produce una mayor precisión y debería ser preferido. Use SSL-RF específicamente cuando la fracción etiquetada sea pequeña y un gran grupo de datos no etiquetados esté disponible para explotar.

Métodos relacionados

Fuentes

  1. Leistner, C., Saffari, A., Santner, J., & Bischof, H. (2009). Semi-supervised random forests. In Proceedings of the IEEE 12th International Conference on Computer Vision (ICCV), pp. 506–513. IEEE.

    Abrir referencia DOI
    Copiado.
  2. Zhu, X. (2005). Semi-supervised learning literature survey. Computer Sciences Technical Report 1530, University of Wisconsin-Madison.

    Abrir referencia de la publicación
    Copiado.