Random Forest
- Propuesto por
- Breiman, L.
- Año
- 2001
- Tipo
- Ensemble (bagging of decision trees)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Random Forest es un método de aprendizaje de conjunto, introducido por Leo Breiman en 2001, que genera muchos árboles de decisión sobre muestras bootstrap de los datos y combina sus votos para producir una clasificación y regresión robustas.
Al agrupar muchos árboles ligeramente diferentes, produce predicciones más precisas y estables que cualquier árbol individual.
La intuición detrás del método
Un único árbol de decisión generado en profundidad se ajusta estrechamente a los datos de entrenamiento, pero es inestable: un pequeño cambio en los datos puede producir un árbol muy diferente. Random Forest aborda esto construyendo muchos árboles, cada uno sobre una vista aleatoria ligeramente diferente de los datos, y dejándolos votar. Los errores de los árboles individuales tienden a cancelarse, por lo que la predicción combinada es mucho más fiable que la de cualquier árbol por sí solo.
Historia
Random Forest fue propuesto por Leo Breiman en 2001, combinando la agregación bootstrap con la selección aleatoria de características en cada división. Se convirtió en uno de los métodos de aprendizaje automático listos para usar más utilizados y fiables para datos tabulares, y es una referencia estándar en textos como An Introduction to Statistical Learning (Capítulo 8). Más recientemente, herramientas como los valores SHAP han acercado su interpretabilidad a la de la regresión logística, aumentando su aceptación en las ciencias sociales.
Cuándo usarlo
Adecuado para clasificación, regresión o predicción precisa y robusta en datos tabulares con muchas características — posiblemente no lineales e interactivas — y al menos unas 50 observaciones, cuando el rendimiento predictivo importa más que la presentación de coeficientes explícitos. Random Forest tiene pocas suposiciones: no requiere datos normalmente distribuidos y maneja características continuas, categóricas, binarias, ordinales y de conteo. Se recomienda la optimización de hiperparámetros. Cuando los tamaños de muestra caen por debajo de unas 50, modelos más simples como la regresión logística o lineal son más seguros.
Limitaciones y consideraciones
- No hay coeficientes para interpretar; su naturaleza de caja negra puede chocar con los revisores que esperan efectos explícitos.
- Se recomienda la optimización de hiperparámetros, y los bosques grandes consumen memoria y cómputo.
- En muestras pequeñas (n por debajo de unas 50) muchos árboles sobreajustan y los resultados de validación cruzada se vuelven engañosos.
- Las estimaciones de importancia de características pueden ser inestables y no reproducibles en tamaños de muestra pequeños.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Alta precisión lista para usar en datos tabulares tanto para clasificación como para regresión.
- Resistente al sobreajuste gracias al bagging más la selección aleatoria de características en cada división.
- La importancia de características incorporada integra la clasificación de variables directamente en el modelo.
- El error fuera de la muestra (out-of-bag) proporciona una estimación de validación honesta sin una pasada de validación cruzada separada.
- Pocas suposiciones: sin requisito de normalidad, y maneja tipos de características mixtas e interacciones no lineales.
Aplicaciones
- Clasificación y regresión en datos tabulares con muchas características.
- Selección y clasificación de variables a través de la importancia de características nativa.
- Puntuación de riesgo y predicción donde la robustez importa más que los coeficientes explícitos.
- Modelado de referencia antes de probar ensambles más complejos como el boosting de gradiente.
Cómo funciona
Cómo funciona
Se extraen muchas muestras bootstrap del conjunto de entrenamiento — cada una es una muestra aleatoria tomada con reemplazo, por lo que los árboles ven datos ligeramente diferentes. Las observaciones que quedan fuera de una muestra dada (el conjunto fuera de la muestra o out-of-bag) proporcionan una estimación de validación incorporada sin necesidad de un pliegue de retención separado.
En cada división de cada árbol, solo se considera un subconjunto aleatorio de las características disponibles como candidatos. Esta selección aleatoria de características desacopla los árboles para que no se aferren a los mismos predictores dominantes, lo que permite al conjunto reducir la varianza por debajo de la de cualquier árbol individual.
Cada árbol hace su propia predicción, y el bosque las combina: un voto mayoritario entre los árboles para clasificación, o el promedio de sus salidas para regresión. Esta agregación es lo que convierte muchos árboles ruidosos en un único predictor robusto.
Fórmula
\hat{y} = \text{mode/mean of } T \text{ trees}Errores comunes
- Omitir una división de entrenamiento/prueba o validación cruzada y confiar en el rendimiento dentro de la muestra.
- Ignorar el desequilibrio de clases en lugar de reponderar las clases (class_weight='balanced') o remuestrear.
- Presentar solo la precisión sin F1 y AUC junto a ella.
- Tratar una clasificación de importancia de características de muestra pequeña como estable.
- Aceptar hiperparámetros predeterminados ciegamente en lugar de optimizar el número de árboles.
Preguntas frecuentes
¿Cuántos árboles debe tener el bosque?
Más árboles reducen la varianza y estabilizan el voto a costa de cómputo y memoria. Un punto de partida común es alrededor de 100 árboles, aumentando hasta que el error fuera de la muestra deje de mejorar.
¿Random Forest sobreajusta?
Es altamente resistente al sobreajuste porque el bagging y la selección aleatoria de características desacoplan los árboles y promedian sus errores individuales. El principal riesgo es ajustar muchos árboles profundos en un conjunto de datos muy pequeño, donde el modelo sobreajusta y la validación cruzada se vuelve engañosa.
¿Puedo confiar en la importancia de características?
La importancia de características es útil para clasificar predictores, pero en tamaños de muestra pequeños puede ser inestable y no reproducible, así que trate las clasificaciones de muestras pequeñas con precaución. Emparejarla con análisis SHAP proporciona una visión más clara de la contribución de cada característica.
¿Qué debo comprobar antes y después de ajustar?
De antemano, maneje los valores faltantes, codifique las variables categóricas y configure una división de entrenamiento/prueba o validación cruzada k-fold. Después, evalúe el error fuera de la muestra, ejecute la validación cruzada e inspeccione las contribuciones de las características (por ejemplo, con SHAP).
Métodos relacionados
Fuentes
Breiman, L. (2001). Random Forests. Machine Learning, 45, 5–32.
Abrir referencia DOICopiado.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8). Springer.
ISBN: 978-1-4614-7138-7Copiado.