Saltar al contenido
Volver a los resultados

Árbol de Decisión Auto-supervisado

Propuesto por
Multiple authors (active research area, 2010s–2020s)
Año
2015–present
Tipo
Self-supervised ensemble/single tree model
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El aprendizaje de árboles de decisión auto-supervisados combina la interpretabilidad de los árboles de decisión clásicos con la capacidad de explotar grandes cantidades de datos no etiquetados a través de tareas pretexto auto-supervisadas.

El modelo aprende representaciones útiles de características o criterios de división de nodos a partir de muestras no etiquetadas antes de refinar las predicciones en un pequeño conjunto etiquetado, cerrando la brecha entre los árboles totalmente supervisados y la agrupación puramente no supervisada.

La intuición detrás del método

Los árboles de decisión estándar necesitan ejemplos etiquetados en cada nodo. En muchos entornos del mundo real, la recopilación de etiquetas es costosa, pero los datos brutos son abundantes. Los árboles de decisión auto-supervisados resuelven esto pidiendo primero al árbol que resuelva una tarea auxiliar — por ejemplo, predecir si dos muestras pertenecen al mismo clúster, o reconstruir características enmascaradas — utilizando solo datos no etiquetados. Esta fase pretexto enseña al árbol qué características y umbrales son globalmente informativos. Cuando finalmente llegan las etiquetas, el árbol ya tiene una ventaja y necesita muchas menos para alcanzar una buena precisión.

Historia

El aprendizaje auto-supervisado como paradigma ganó prominencia en el aprendizaje profundo a través de trabajos sobre objetivos contrastivos y tareas pretexto en la década de 2010. Posteriormente, los investigadores aplicaron estas ideas a modelos basados en árboles para recuperar sus ventajas de interpretabilidad en regímenes con escasez de etiquetas. Las formulaciones tempranas tomaron prestado el etiquetado de pseudo-etiquetas del aprendizaje semi-supervisado, mientras que las variantes posteriores adoptaron objetivos de contraste y reconstrucción directamente dentro del criterio de construcción del árbol, convirtiendo el campo en un área activa de investigación durante la década de 2020.

Cuándo usarlo

Recomendado cuando los ejemplos de entrenamiento etiquetados son escasos pero hay disponible un gran conjunto no etiquetado de la misma distribución, y cuando todavía se necesita cierto grado de interpretabilidad (descartando enfoques de redes neuronales profundas). También es apropiado cuando los expertos del dominio pueden diseñar tareas pretexto significativas alineadas con el objetivo de predicción. No es apropiado cuando el conjunto etiquetado ya es grande (los árboles supervisados estándar igualarán o superarán el rendimiento), cuando los datos no etiquetados provienen de una distribución diferente, o cuando la máxima precisión predictiva en benchmarks tabulares es la única preocupación (el boosting de gradiente generalmente lo superará).

Limitaciones y consideraciones

  • El rendimiento es sensible al diseño de la tarea pretexto; una tarea mal elegida puede desviar la estructura del árbol.
  • El ruido de las pseudo-etiquetas se acumula a través de las divisiones si la distribución no etiquetada se desvía de los datos etiquetados.
  • El costo computacional es mayor que el de los árboles supervisados estándar debido a la fase de entrenamiento pretexto.
  • Las garantías teóricas sobre la calidad de las pseudo-etiquetas y la convergencia están menos establecidas que para los árboles totalmente supervisados.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Explota datos no etiquetados abundantes para mejorar la generalización cuando las muestras etiquetadas son escasas.
  • Conserva la interpretabilidad de los árboles de decisión: las divisiones siguen siendo legibles y auditables por humanos.
  • Marco flexible que acomoda diversas tareas pretexto adaptadas al conocimiento del dominio.
  • Reduce el costo de etiquetado sin sacrificar la naturaleza de caja blanca de las predicciones basadas en árboles.
  • Compatible con extensiones de ensamblaje (bosques aleatorios, boosting) para obtener mayores ganancias de precisión.

Aplicaciones

  • Diagnóstico médico donde los registros de pacientes etiquetados son raros pero los datos de imágenes o clínicos no etiquetados son abundantes.
  • Detección de fallos industriales utilizando registros de sensores de operación normal abundantes y pocos eventos de fallos etiquetados.
  • Clasificación de lenguaje natural con corpus anotados limitados pero grandes conjuntos de texto en bruto.
  • Detección de fraude financiero donde las etiquetas de fraude confirmadas son escasas en relación con el volumen de transacciones.
  • Análisis de datos científicos (genómica, clima) donde la anotación experta es el cuello de botella.

Cómo funciona

Cómo funciona

1

Se diseña una tarea pretexto de tal manera que el árbol de decisión pueda entrenarse con datos no etiquetados con señales de supervisión generadas automáticamente. Las opciones comunes incluyen predecir la pertenencia a un clúster a partir de una pasada previa de k-means, predecir valores de características enmascarados o corruptos, o asignar etiquetas de rotación/transformación a las instancias. La tarea pretexto obliga a la estructura del árbol a descubrir divisiones informativas sin etiquetas proporcionadas por humanos.

2

Después de la fase pretexto, se asignan pseudo-etiquetas de alta confianza a las instancias no etiquetadas utilizando las representaciones o asignaciones de clústeres ya aprendidas. Estas pseudo-etiquetas se tratan como objetivos blandos en el entrenamiento posterior, expandiendo efectivamente el conjunto etiquetado de un pequeño conjunto semilla a un conjunto de trabajo mucho más grande, mientras se propagan las estimaciones de incertidumbre estructural junto con cada etiqueta.

3

Utilizando la señal combinada de pseudo-etiquetas y cualquier etiqueta verdadera disponible, el árbol de decisión se construye utilizando un algoritmo de división estándar (por ejemplo, CART, ID3 o C4.5). Las características derivadas de la tarea pretexto o las puntuaciones de clúster pueden servir como dimensiones de entrada adicionales, enriqueciendo el espacio de características más allá de las entradas brutas y permitiendo divisiones que un árbol puramente supervisado con etiquetas dispersas pasaría por alto.

4

Las divisiones de nodos se eligen para maximizar un criterio de información — ganancia de información, impureza Gini, u un objetivo contrastivo auto-supervisado — evaluado sobre el conjunto de entrenamiento aumentado. Debido a que las pseudo-etiquetas reflejan la estructura global aprendida de muchas muestras no etiquetadas, las divisiones tienden a generalizar mejor que las aprendidas de un pequeño conjunto etiquetado solo.

5

Después de construir el árbol inicial, una etapa de ajuste fino re-poda o re-pondera las predicciones de las hojas utilizando solo ejemplos etiquetados verificados. Esto corrige cualquier ruido de pseudo-etiquetas introducido en etapas anteriores y asegura que las predicciones finales se alineen con los límites de clase verdaderos en lugar de los límites aproximados de pseudo-etiquetas.

Errores comunes

  • Diseñar una tarea pretexto que no esté relacionada con el objetivo posterior, lo que lleva a representaciones que no se transfieren.
  • Usar pseudo-etiquetas sin umbral de confianza, lo que inunda el conjunto de entrenamiento con ejemplos ruidosos.
  • Omitir la etapa de ajuste fino y desplegar directamente el árbol entrenado con pseudo-etiquetas, lo que retiene errores sistemáticos de etiquetado.
  • Ignorar el desplazamiento de la distribución entre los conjuntos etiquetados y no etiquetados: las pseudo-etiquetas reflejarán la estructura de datos incorrecta.
  • Tratar la interpretabilidad como garantizada sin verificar que las divisiones derivadas de pseudo-etiquetas sigan siendo semánticamente significativas.

Preguntas frecuentes

¿Cómo se diferencia esto del aprendizaje semi-supervisado con árboles de decisión?

Los enfoques semi-supervisados típicamente propagan etiquetas de nodos etiquetados a no etiquetados directamente. Los árboles de decisión auto-supervisados primero definen una tarea pretexto que genera señales de supervisión sintéticas a partir de datos no etiquetados solos, dando al árbol una guía estructural más rica antes de que se vean las etiquetas posteriores.

¿Qué tarea pretexto debo elegir?

La mejor tarea pretexto refleja el objetivo posterior. Para la clasificación tabular, la predicción de clústeres k-means o la reconstrucción de características enmascaradas son puntos de partida comunes. Si hay conocimiento del dominio disponible — por ejemplo, el orden temporal en las filas de series temporales — una tarea que explote esa estructura se transferirá mejor.

¿Funciona esto para objetivos de regresión?

Sí. Las pseudo-etiquetas pueden ser centroides de clústeres continuos o valores de características reconstruidos, y el árbol puede construirse con un criterio de error cuadrático medio en la etapa de ajuste fino. La tarea pretexto simplemente necesita producir una señal correlacionada con el resultado continuo.

¿Puedo combinar esto con bosques aleatorios o boosting?

Sí. Cada árbol en el ensamblaje puede construirse de forma independiente con el procedimiento auto-supervisado, y el ensamblaje final agrega sus votos o predicciones de la manera habitual. Esto a menudo recupera gran parte de la brecha de precisión frente al boosting de gradiente, al tiempo que conserva la interpretabilidad a nivel de árbol individual.

¿Cómo evalúo la calidad de las pseudo-etiquetas?

Compare la precisión de las pseudo-etiquetas en el pequeño subconjunto etiquetado con las etiquetas verdaderas antes del ajuste fino. Una precisión de pseudo-etiquetas inferior al 70% en ese conjunto etiquetado reservado es una señal de advertencia de que la tarea pretexto está mal alineada o que hay desplazamiento de distribución.

Métodos relacionados

Fuentes

  1. Self-supervised learning. Wikipedia.

    Abrir referencia de la publicación
    Copiado.
  2. Decision tree learning. Wikipedia.

    Abrir referencia de la publicación
    Copiado.