Extra Trees
- Propuesto por
- Geurts, P.; Ernst, D.; Wehenkel, L.
- Año
- 2006
- Tipo
- Ensemble (extremely randomized decision trees)
- Familia
- Machine learning
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Extra Trees (Árboles Extremadamente Aleatorizados), introducidos por Geurts, Ernst y Wehenkel en 2006, es un ensamble de árboles de decisión que lleva la aleatorización más allá que Random Forest.
Tanto las características candidatas como los umbrales de división se eligen completamente al azar en cada nodo, eliminando la búsqueda codiciosa de umbrales. Esta aleatorización adicional reduce la varianza, a menudo iguala o supera la precisión de Random Forest y se entrena sustancialmente más rápido.
La intuición detrás del método
Random Forest ya descorrela los árboles muestreando características aleatoriamente en cada división, pero aún busca el mejor umbral entre esas características. Extra Trees va un paso más allá: para cada característica candidata, elige un umbral aleatorio en lugar de optimizarlo. A primera vista, esto podría parecer que perjudica la precisión, pero dado que los árboles resultantes están aún menos correlacionados entre sí, el promedio del ensamble cancela más varianza. La pérdida de cualquier división individual deficiente es mínima una vez que se promedia sobre muchos árboles, y la ganancia de velocidad al no buscar un umbral óptimo es sustancial.
Historia
Extra Trees fue propuesto por Pierre Geurts, Damien Ernst y Louis Wehenkel en un artículo de 2006 en Machine Learning. Los autores demostraron que la introducción de la aleatorización completa de los umbrales de división, en lugar de buscar cortes óptimos, reduce sustancialmente la varianza a cambio de un pequeño aumento en el sesgo. Desde entonces, el método se ha convertido en una alternativa estándar a Random Forest en el ecosistema scikit-learn y se utiliza ampliamente como una línea de base rápida y de alta precisión para puntos de referencia de datos tabulares.
Cuándo usarlo
Utilice Extra Trees cuando desee un entrenamiento rápido y una alta precisión en datos tabulares con características continuas o de tipo mixto. Es particularmente útil cuando el tiempo de entrenamiento es una limitación: su eliminación de la optimización de umbrales lo hace considerablemente más rápido que Random Forest con una precisión comparable. Se adapta a tareas de clasificación y regresión con muestras moderadas a grandes (aproximadamente 50 o más observaciones). Prefiera Random Forest o gradient boosting si necesita estimaciones fuera de bolsa incorporadas o si el ruido del conjunto de datos es muy alto y sospecha que los umbrales completamente aleatorios perjudican la precisión. Para conjuntos de datos muy pequeños, modelos más simples como la regresión logística o un único árbol de decisión son más seguros y más interpretables.
Limitaciones y consideraciones
- No hay estimación fuera de bolsa incorporada (a diferencia de Random Forest), por lo que se requiere validación cruzada para una evaluación imparcial del error.
- Los umbrales completamente aleatorios pueden perjudicar en datos muy ruidosos donde las divisiones óptimas son informativas.
- Caja negra: no proporciona coeficientes explícitos, lo que limita la interpretabilidad para audiencias que esperan tamaños de efecto.
- El uso de memoria crece con el número de árboles y la profundidad del árbol.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Entrenamiento más rápido que Random Forest porque no se realiza optimización de umbrales en cada división.
- Alta diversidad entre árboles conduce a una fuerte reducción de la varianza y a menudo iguala o supera la precisión de Random Forest.
- Maneja tipos de características mixtas e interacciones no lineales sin suposiciones de preprocesamiento.
- Proporciona importancias de características nativas para la clasificación y selección de variables.
- Escala bien a datos de alta dimensionalidad con muchas características irrelevantes.
Aplicaciones
- Líneas de base rápidas de clasificación y regresión en datos tabulares.
- Selección de características y clasificación de importancia en conjuntos de datos de alta dimensionalidad.
- Modelado predictivo en bioinformática, teledetección y análisis de datos de sensores.
- Búsqueda de hiperparámetros en pipelines donde la velocidad de entrenamiento es crítica.
- Escenarios de datos a gran escala donde el tiempo de entrenamiento de Random Forest es prohibitivo.
Cómo funciona
Cómo funciona
A diferencia de Random Forest, Extra Trees, por defecto, entrena cada árbol en todo el conjunto de entrenamiento en lugar de una muestra bootstrap. Esto reduce el sesgo introducido por el muestreo, pero significa que no hay un conjunto fuera de bolsa (out-of-bag) incorporado; por lo tanto, se necesita validación cruzada para una estimación honesta del error.
En cada nodo interno, se extrae un subconjunto aleatorio de características. Para cada característica candidata, se muestrea un umbral de división uniformemente al azar del rango observado de los valores de esa característica; no se realiza ninguna búsqueda del punto de corte óptimo. Se selecciona el par característica-umbral que produce la mejor puntuación (p. ej., reducción de impureza Gini) entre los candidatos aleatorios.
Los árboles se crecen hasta la profundidad completa por defecto, lo que significa que las hojas son lo más puras posible. La profundidad completa, combinada con las divisiones aleatorizadas, es lo que reduce la varianza en todo el ensamble: los árboles individuales tienen alta varianza pero son muy diversos.
Las predicciones de todos los árboles se combinan: voto mayoritario para clasificación y media de salida para regresión. La fuerte diversidad entre los árboles significa que los errores individuales tienden a cancelarse, haciendo que el ensamble sea más estable que cualquier árbol individual.
Fórmula
\hat{y} = \text{mode/mean of } T \text{ trees}Errores comunes
- Omitir la validación cruzada y confiar en la precisión dentro de la muestra, ya que no se produce ninguna estimación OOB por defecto.
- Ignorar el desequilibrio de clases: utilice class_weight='balanced' o remuestreo antes de ajustar.
- Informar solo la precisión sin métricas complementarias como F1, AUC o RMSE.
- Tratar las clasificaciones de importancia de características como estables sin verificar la reproducibilidad entre semillas.
Preguntas frecuentes
¿Cómo difiere Extra Trees de Random Forest?
Ambos son ensambles de árboles de decisión con subconjuntos aleatorios de características en cada división. La diferencia clave es que Extra Trees elige los umbrales de división completamente al azar en lugar de optimizarlos, y por defecto entrena en todo el conjunto de entrenamiento en lugar de muestras bootstrap. Esto hace que Extra Trees sea más rápido y típicamente produce árboles más diversos y menos correlacionados.
¿Cuál debería preferir: Extra Trees o Random Forest?
Cuando la velocidad de entrenamiento es importante o los datos son relativamente limpios, Extra Trees a menudo iguala o supera la precisión de Random Forest con un menor costo computacional. Si desea una estimación fuera de bolsa incorporada o sus datos son ruidosos (donde los mejores umbrales de división ayudan), Random Forest es más seguro.
¿Cuántos árboles necesito?
Comience con 100 árboles y aumente hasta que el rendimiento se estabilice en un conjunto de validación o en validación cruzada. Más árboles mejoran la estabilidad pero aumentan la memoria y la latencia de predicción.
¿Extra Trees sobreajusta?
Los árboles individuales se crecen hasta la profundidad completa y pueden sobreajustar de forma aislada, pero el promedio del ensamble reduce fuertemente la varianza. El sobreajuste del ensamble completo es generalmente raro, aunque en conjuntos de datos muy pequeños con muchas características aún puede ocurrir.
¿Cómo evalúo el rendimiento del modelo sin un conjunto OOB?
Utilice validación cruzada k-fold, típicamente 5 o 10 folds. Evalúe tareas de clasificación con precisión, F1 y AUC; evalúe tareas de regresión con RMSE y R-cuadrado.
Métodos relacionados
Fuentes
Geurts, P., Ernst, D. & Wehenkel, L. (2006). Extremely randomized trees. Machine Learning, 63(1), 3–42.
Abrir referencia DOICopiado.Extra-Trees. Wikipedia.
Abrir referencia de la publicaciónCopiado.