Árbol de decisión de aprendizaje activo
- Propuesto por
- Settles, B. (active learning framework); Breiman et al. (decision tree base)
- Año
- 1984–2010
- Tipo
- Active learning with decision tree base learner
- Familia
- Machine learning
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
El aprendizaje activo con un árbol de decisión combina la estructura interpretable de un árbol estilo CART con una estrategia de consulta que selecciona las instancias no etiquetadas más informativas para anotación humana.
El modelo solicita iterativamente etiquetas solo para los ejemplos sobre los cuales tiene mayor incertidumbre, minimizando el costo de etiquetado y maximizando la precisión de clasificación en datos tabulares.
La intuición detrás del método
Etiquetar cada ejemplo de entrenamiento es costoso. El aprendizaje activo lo resuelve permitiendo que el modelo pregunte: '¿Qué ejemplo no etiquetado, si se etiquetara, me enseñaría más?'. Se utiliza un árbol de decisión como clasificador que estima la incertidumbre en cada paso de consulta. Después de agregar cada nueva etiqueta, el árbol se reentrena y el ciclo de consulta se repite. El resultado es un modelo que logra una precisión competitiva con muchos menos ejemplos etiquetados que un árbol completamente supervisado entrenado desde cero, lo que lo hace práctico para entornos donde la anotación es costosa o requiere mucho tiempo.
Historia
Los árboles de decisión como clasificadores se remontan a CART de Breiman et al. (1984) y C4.5 de Quinlan (1993). El aprendizaje activo como marco sistemático fue revisado exhaustivamente por Burr Settles (2010), quien documentó el muestreo por incertidumbre, la consulta por comité y las estrategias de cambio de modelo esperado. Los árboles de decisión han sido un aprendiz base estándar en puntos de referencia de aprendizaje activo desde finales de la década de 1990, apareciendo en el trabajo temprano de muestreo de grupos de Cohn, Atlas y Ladner (1994) y comparaciones empíricas posteriores entre tipos de aprendices.
Cuándo usarlo
Utilice el aprendizaje activo con un árbol de decisión cuando los datos de entrenamiento etiquetados sean escasos o caros de obtener, pero haya disponible un gran grupo de instancias no etiquetadas, por ejemplo, en anotación médica, clasificación de documentos o tareas de detección de fallos en sensores. La base del árbol de decisión es especialmente adecuada cuando se requiere interpretabilidad del modelo final junto con eficiencia de etiquetado. Evite este enfoque cuando todo el conjunto de datos se pueda etiquetar de forma económica (el aprendizaje pasivo es suficiente), cuando el grupo etiquetado ya sea grande (cientos o miles), cuando el espacio de características tenga una dimensionalidad muy alta (los aprendices activos de gradient boosting o neuronales superan), o cuando el costo de reentrenamiento por iteración sea prohibitivo para conjuntos de datos muy grandes.
Limitaciones y consideraciones
- La estrategia de consulta y el reentrenamiento del árbol juntos pueden ser computacionalmente costosos cuando el grupo no etiquetado es muy grande.
- Los árboles de decisión son aprendices de alta varianza; con pocas etiquetas iniciales, el árbol temprano puede ser poco fiable, lo que lleva a consultas tempranas deficientes.
- El techo de rendimiento es menor que el de los métodos de ensamblaje como random forest o gradient boosting con el mismo presupuesto de etiquetas.
- Asume que las etiquetas del oráculo son precisas; las etiquetas ruidosas o inconsistentes pueden degradar el bucle activo más rápido que en el aprendizaje pasivo.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Reduce drásticamente el número de etiquetas necesarias para alcanzar una precisión objetivo en comparación con el muestreo aleatorio.
- El modelo base de árbol de decisión es interpretable por humanos, lo que lo hace adecuado para dominios regulados o que requieren explicaciones.
- Funciona bien en conjuntos de datos tabulares de tamaño moderado con tipos de características mixtas sin requerir escalado de características.
- Las estrategias de consulta basadas en la incertidumbre son sencillas de implementar y explicar a las partes interesadas.
- La precisión fuera de bolsa (out-of-bag) o la precisión del conjunto de validación después de cada iteración proporciona una curva de aprendizaje transparente.
Aplicaciones
- Anotación de imágenes o registros médicos donde el tiempo de etiquetado experto es limitado.
- Clasificación de texto con documentos etiquetados escasos y un gran corpus no etiquetado.
- Detección de fallos en sensores e industriales con altos costos de anotación.
- Conjuntos de datos ecológicos o de teledetección donde la verificación de campo es costosa.
- Pipelines de detección de fraude donde solo una pequeña fracción de las transacciones puede ser revisada manualmente.
Cómo funciona
Cómo funciona
Se recopila un pequeño conjunto inicial de instancias etiquetadas para sembrar el proceso, junto con un grupo más grande de instancias no etiquetadas. El conjunto etiquetado generalmente se elige al azar o mediante muestreo estratificado para garantizar que haya al menos un ejemplo de cada clase esperada antes de que comience el bucle activo.
Se entrena un clasificador de árbol de decisión (típicamente CART o C4.5) en el conjunto etiquetado actual. El árbol aprende reglas de división que minimizan la impureza (Gini o entropía) en cada nodo, produciendo un clasificador que también puede generar estimaciones de probabilidad de clase para cualquier instancia no etiquetada.
Un criterio de informativeness —más comúnmente muestreo por incertidumbre basado en la entropía de predicción H o el margen entre las dos probabilidades de clase más altas— califica cada instancia no etiquetada. La instancia con la puntuación de incertidumbre más alta se selecciona como consulta: x* = argmax H(y-hat | x).
Fórmula
x^* = \arg\max_{x \in U} H(\hat{y} \mid x)La instancia seleccionada se presenta a un oráculo (anotador humano o mecanismo de etiquetado automatizado) para su anotación. Su etiqueta verdadera se agrega al conjunto de entrenamiento etiquetado y el grupo no etiquetado se reduce en uno. Este paso es el cuello de botella crítico en aplicaciones reales y debe auditarse en cuanto a la fiabilidad del anotador.
El árbol de decisión se reentrena desde cero en el conjunto etiquetado ampliado, y el ciclo de consulta-puntuación-etiqueta se repite. Los criterios de parada incluyen alcanzar un presupuesto de etiquetado, un umbral mínimo de precisión en un conjunto de validación separado, o un número máximo de iteraciones. La evaluación final debe utilizar un conjunto de prueba completamente independiente.
Errores comunes
- Usar el conjunto de prueba para guiar la estrategia de consulta, lo que filtra información e infla las métricas de evaluación.
- No establecer una semilla aleatoria fija, lo que hace que el orden de etiquetado y los resultados no sean reproducibles entre ejecuciones.
- Ignorar el desequilibrio de clases en el conjunto de semillas inicial, lo que hace que el árbol consulte predominantemente a la clase mayoritaria.
- Detener el bucle demasiado pronto basándose en la precisión del entrenamiento en lugar de en un conjunto de validación independiente.
- Tratar la precisión final del aprendizaje activo como comparable a una línea base totalmente supervisada sin informar el recuento de etiquetas utilizado.
Preguntas frecuentes
Por qué usar un árbol de decisión en lugar de un modelo más potente como aprendiz base?
Los árboles de decisión son rápidos de reentrenar en cada iteración y producen estimaciones de probabilidad necesarias para la puntuación de incertidumbre. Su interpretabilidad también es importante en dominios que requieren la explicación del modelo final. Para una precisión máxima, se puede preferir un aprendiz activo de random forest o gradient boosting a costa de la interpretabilidad.
¿Cuántos ejemplos etiquetados iniciales necesito para empezar?
Una regla general común es al menos uno o dos ejemplos por clase para asegurar que el árbol pueda hacer divisiones significativas. En la práctica, comenzar con 5-20 instancias etiquetadas es típico; menos que eso arriesga un árbol inicial demasiado degenerado para producir puntuaciones de incertidumbre informativas.
¿Importa el orden de las consultas?
Sí. La secuencia de consulta depende de la ruta: las consultas tempranas dan forma a lo que aprende el árbol y, por lo tanto, a qué ejemplos subsiguientes parecen más inciertos. Diferentes semillas aleatorias o conjuntos etiquetados iniciales pueden llevar a curvas de aprendizaje sustancialmente diferentes, por lo que se deben replicar los experimentos en diferentes semillas al comparar estrategias.
¿Cuándo debo dejar de consultar?
Defina un presupuesto de etiquetado de antemano, o monitoree la precisión de validación y deténgase cuando la mejora por nueva etiqueta caiga por debajo de un umbral. Nunca use el conjunto de prueba como criterio de parada, ya que esto constituye fuga de datos.
¿Puedo usar este enfoque con problemas multiclase?
Sí. El muestreo de incertidumbre basado en entropía se generaliza naturalmente a múltiples clases. Para entornos multiclase fuertemente desequilibrados, considere árboles de decisión sensibles al costo o ponderados por clase y asegúrese de que el conjunto de semillas inicial cubra todas las clases.
Métodos relacionados
Fuentes
Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin-Madison.
Abrir referencia de la publicaciónCopiado.Breiman, L., Friedman, J., Olshen, R., & Stone, C. (1984). Classification and Regression Trees. Wadsworth & Brooks.
ISBN: 978-0-412-04841-8Copiado.