Saltar al contenido
Volver a los resultados

Árbol de Decisión Semisupervisado

Propuesto por
Various (Levin & Shapiro; Zhu & Goldberg lineage)
Año
2000s
Tipo
Semi-supervised classifier / regressor
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Un Árbol de Decisión Semisupervisado extiende la inducción de árboles de decisión estándar —como CART o C4.5— para explotar observaciones no etiquetadas junto con el conjunto de entrenamiento etiquetado.

Al asignar iterativamente etiquetas tentativas a datos no etiquetados e incorporarlos en el proceso de crecimiento o división, el algoritmo puede lograr una mayor precisión que un árbol completamente supervisado entrenado solo con el subconjunto etiquetado, lo cual es especialmente valioso cuando el etiquetado es costoso o consume mucho tiempo.

La intuición detrás del método

Etiquetar cada observación es costoso, sin embargo, los datos no etiquetados aún contienen información estructural útil sobre el espacio de características. Un árbol de decisión semisupervisado explota esto construyendo primero un árbol a partir de los pocos ejemplos etiquetados, usando ese árbol para etiquetar provisionalmente los datos no etiquetados, y luego reentrenando con el conjunto expandido. Las iteraciones repetidas refinan simultáneamente tanto las etiquetas provisionales como la estructura del árbol, de modo que el modelo aprende de la distribución general de los datos incluso cuando las etiquetas de verdad fundamental son escasas.

Historia

El aprendizaje semisupervisado surgió a finales de la década de 1990 cuando los investigadores buscaron explotar la abundancia de datos no etiquetados disponibles en dominios como la clasificación web y la biología computacional. Las variantes de autoentrenamiento de los árboles de decisión, donde un árbol etiqueta iterativamente sus propios datos no etiquetados, fueron algunas de las primeras instanciaciones. El tratamiento formal apareció en la encuesta de Zhu & Goldberg (2009), que sitúa el autoentrenamiento basado en árboles dentro de la taxonomía más amplia del aprendizaje semisupervisado. Desde entonces, los enfoques se han extendido a entornos de conjunto, produciendo bosques aleatorios semisupervisados y árboles potenciados por gradiente.

Cuándo usarlo

Los árboles de decisión semisupervisados son apropiados cuando los datos etiquetados son escasos y costosos de obtener, pero se dispone de un gran conjunto de observaciones no etiquetadas, algo común en la anotación de imágenes médicas, la clasificación de texto y la monitorización basada en sensores. Son particularmente útiles cuando la distribución general de características está bien capturada por el conjunto no etiquetado y cuando se requiere un modelo interpretable por humanos (un árbol). Evite este método cuando la muestra etiquetada es tan pequeña que el árbol inicial es muy poco fiable, cuando los datos no etiquetados no son representativos de la distribución de prueba, o cuando se espera que el proceso de pseudoetiquetado propague errores sistemáticos (sesgo de confirmación). En esos casos, los métodos puramente supervisados sobre datos etiquetados limpios, o enfoques semisupervisados alternativos como la propagación de etiquetas o el co-entrenamiento, pueden ser más seguros.

Limitaciones y consideraciones

  • Los errores de pseudoetiquetado de un árbol inicial poco fiable pueden amplificarse a lo largo de las iteraciones, degradando el rendimiento en relación con una línea base completamente supervisada.
  • El método asume que los datos no etiquetados comparten la misma distribución subyacente que los datos etiquetados; el cambio de distribución rompe esta suposición.
  • El costo computacional crece con cada iteración a medida que los árboles se reentrenan en conjuntos de datos efectivos cada vez más grandes.
  • La selección del umbral de confianza para la inclusión de pseudoetiquetas requiere una cuidadosa sintonización y validación cruzada.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Aprovecha los datos no etiquetados para mejorar la precisión cuando hay pocos ejemplos etiquetados, reduciendo el costo de anotación.
  • Conserva la interpretabilidad de los árboles de decisión: el modelo resultante es un conjunto de reglas "si-entonces" legibles por humanos.
  • Maneja naturalmente tipos de características mixtas —continuas, categóricas, binarias— sin normalización de preprocesamiento.
  • El autoentrenamiento iterativo es sencillo de implementar sobre cualquier algoritmo de aprendizaje de árboles existente.
  • Puede capturar límites no lineales e interacciones de características que los modelos semisupervisados lineales no detectan.

Aplicaciones

  • Clasificación de imágenes y registros médicos donde la anotación experta es costosa y existen grandes archivos sin anotar.
  • Categorización de textos y documentos con pequeños corpus etiquetados y grandes colecciones sin etiquetar.
  • Análisis de datos de sensores e IoT donde solo una fracción de los segmentos de series temporales se etiquetan manualmente.
  • Tareas de bioinformática como la predicción de la función génica con pocas etiquetas verificadas experimentalmente.
  • Detección de fraude cuando los casos de fraude etiquetados son raros en comparación con el volumen de transacciones no etiquetadas.

Cómo funciona

Cómo funciona

1

Un árbol de decisión estándar (por ejemplo, CART o C4.5) se ajusta utilizando solo la porción etiquetada del conjunto de datos. Este modelo inicial proporciona una primera aproximación a los límites de decisión y sirve como semilla para las subsiguientes iteraciones semisupervisadas.

2

Cada observación no etiquetada se pasa a través del árbol actual, y la clase predicha (para clasificación) o el valor predicho (para regresión) se asigna como una etiqueta provisional. Las estimaciones de confianza o probabilidad de los nodos hoja pueden usarse para seleccionar solo las pseudoetiquetas más fiables, filtrando las asignaciones de baja confianza.

3

El árbol se reentrena desde cero utilizando tanto los ejemplos etiquetados originales como las observaciones no etiquetadas recientemente pseudoetiquetadas. Las pseudoetiquetas de alta confianza contribuyen a las decisiones de división junto con las etiquetas verdaderas, ampliando efectivamente el conjunto de entrenamiento efectivo.

4

Criterios de división modificados —como la entropía o el Gini calculados sobre observaciones etiquetadas y no etiquetadas, u objetivos bicriterio que equilibran la pureza supervisada con la coherencia de clúster no supervisada— guían las divisiones de nodos para respetar la distribución de datos subyacente revelada por los puntos no etiquetados.

5

La iteración continúa hasta que las etiquetas provisionales se estabilizan en rondas sucesivas o se alcanza un límite máximo de iteraciones. Luego se aplican estrategias de poda estándar (poda por costo-complejidad, tamaño mínimo de hoja) al árbol final para controlar el sobreajuste a los datos pseudoetiquetados.

Errores comunes

  • Usar todas las pseudoetiquetas independientemente de la confianza, lo que permite que las asignaciones de baja calidad dominen las iteraciones posteriores.
  • No verificar que los datos no etiquetados provengan de la misma distribución que el conjunto etiquetado antes del entrenamiento.
  • Tratar las estadísticas de las hojas del árbol final como puramente supervisadas al informar las métricas de rendimiento; se requiere una evaluación etiquetada fuera de la muestra o retenida.
  • Omitir la poda después del aumento de pseudoetiquetas, causando un sobreajuste severo a etiquetas provisionales ruidosas.
  • Comparar directamente con un árbol completamente supervisado entrenado en el mismo subconjunto etiquetado sin tener en cuenta los datos no etiquetados adicionales utilizados.

Preguntas frecuentes

¿En qué se diferencia un árbol de decisión semisupervisado de un clasificador de autoentrenamiento regular?

El principio central —usar predicciones sobre datos no etiquetados para aumentar el entrenamiento— es el mismo. Lo que distingue los enfoques específicos de árboles es la opción de modificar el propio criterio de división para incorporar información de distribución no etiquetada, en lugar de solo expandir el conjunto etiquetado iterativamente.

¿Cuántos ejemplos etiquetados necesito para empezar?

No hay un mínimo universal, pero el árbol supervisado inicial debe ser lo suficientemente fiable como para producir pseudoetiquetas útiles. En la práctica, a menudo se recomiendan al menos 20-50 ejemplos etiquetados por clase; con menos, el riesgo de propagación de errores es alto y enfoques alternativos como la propagación de etiquetas pueden funcionar mejor.

¿Debo usar todos los datos no etiquetados o seleccionar un subconjunto?

Seleccionar solo pseudoetiquetas de alta confianza —por ejemplo, aquellas en las que la probabilidad de la hoja supera un umbral como 0.85— generalmente supera el uso de todos los puntos no etiquetados, especialmente cuando el árbol inicial es imperfecto.

¿Esto reemplaza la validación cruzada estándar?

No. Debido a que las pseudoetiquetas se derivan del propio modelo, las métricas dentro de la muestra son optimistas. La evaluación debe usar un conjunto de prueba etiquetado retenido o validación cruzada k-fold aplicada estrictamente a la partición etiquetada.

¿Puedo combinar esto con métodos de conjunto?

Sí. Los bosques aleatorios semisupervisados y los enfoques de co-bosque extienden la idea a los conjuntos, lo que puede reducir la varianza de los errores de pseudoetiquetado y, por lo general, superan a un solo árbol semisupervisado.

Métodos relacionados

Fuentes

  1. Levin, E. & Shapiro, E. (2000). Learning Decision Trees from Semi-labeled Examples. Proceedings of the ICML Workshop on Attribute-Value and Relational Learning.

    Abrir referencia de la publicación
    Copiado.
  2. Zhu, X. & Goldberg, A. B. (2009). Introduction to Semi-Supervised Learning. Morgan & Claypool Publishers.

    ISBN: 978-1-598-29548-9
    Copiado.