Random Forest
- Proposto por
- Breiman, L.
- Ano
- 2001
- Tipo
- Ensemble (bagging of decision trees)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Random Forest é um método de aprendizado de conjunto (ensemble learning), introduzido por Leo Breiman em 2001, que constrói muitas árvores de decisão sobre amostras bootstrap dos dados e combina seus votos para produzir classificação e regressão robustas.
Ao agrupar muitas árvores ligeiramente diferentes, ele produz previsões mais precisas e estáveis do que qualquer árvore individual.
A intuição por trás do método
Uma única árvore de decisão, quando treinada profundamente, ajusta-se aos dados de treinamento de perto, mas é instável: uma pequena mudança nos dados pode produzir uma árvore muito diferente. Random Forest lida com isso construindo muitas árvores, cada uma com uma visão aleatória ligeiramente diferente dos dados, e deixando-as votar. Os erros das árvores individuais tendem a se cancelar, de modo que a previsão combinada é muito mais confiável do que qualquer árvore isoladamente.
História
Random Forest foi proposto por Leo Breiman em 2001, combinando bootstrap aggregation com seleção aleatória de características em cada divisão. Tornou-se um dos métodos de aprendizado de máquina prontos para uso mais amplamente utilizados e confiáveis para dados tabulares, e é uma referência padrão em textos como An Introduction to Statistical Learning (Capítulo 8). Mais recentemente, ferramentas como valores SHAP aproximaram sua interpretabilidade da regressão logística, aumentando sua aceitação nas ciências sociais.
Quando usar
Adequado para classificação, regressão ou previsão precisa e robusta em dados tabulares com muitas características — possivelmente não lineares e interativas — e pelo menos cerca de 50 observações, quando o desempenho preditivo é mais importante do que relatar coeficientes explícitos. Random Forest é leve em suposições: não requer dados normalmente distribuídos e lida com características contínuas, categóricas, binárias, ordinais e de contagem. O ajuste de hiperparâmetros é recomendado. Quando os tamanhos das amostras caem abaixo de cerca de 50, modelos mais simples, como regressão logística ou linear, são mais seguros.
Limitações e considerações
- Sem coeficientes para interpretar; sua natureza de caixa-preta pode conflitar com revisores que esperam efeitos explícitos.
- O ajuste de hiperparâmetros é recomendado, e florestas grandes consomem memória e poder computacional.
- Em amostras pequenas (n abaixo de cerca de 50) muitas árvores sobreajustam e os resultados da validação cruzada tornam-se enganosos.
- Estimativas de importância de características podem ser instáveis e não reproduzíveis em tamanhos de amostra pequenos.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Forte precisão pronta para uso em dados tabulares tanto para classificação quanto para regressão.
- Resistente a overfitting (sobreajuste) graças ao bagging (bootstrap aggregating) mais a seleção aleatória de características em cada divisão.
- A importância de características integrada (built-in feature importance) integra a classificação de variáveis diretamente no modelo.
- O erro out-of-bag fornece uma estimativa de validação honesta sem uma passagem de validação cruzada separada.
- Leve em suposições: sem requisito de normalidade, e lida com tipos mistos de características e interações não lineares.
Aplicações
- Classificação e regressão em dados tabulares com muitas características.
- Seleção e classificação de variáveis via importância de características nativa.
- Pontuação de risco e previsão onde a robustez é mais importante do que coeficientes explícitos.
- Modelagem de linha de base antes de tentar ensembles mais complexos, como gradient boosting.
Como funciona
Como funciona
Muitas amostras bootstrap são extraídas do conjunto de treinamento — cada uma é uma amostra aleatória retirada com reposição, de modo que as árvores veem dados ligeiramente diferentes. Observações deixadas de fora de uma determinada amostra (o conjunto out-of-bag) fornecem uma estimativa de validação interna sem a necessidade de uma dobra de retenção (hold-out fold) separada.
Em cada divisão (split) em cada árvore, apenas um subconjunto aleatório das características disponíveis é considerado como candidato. Essa seleção aleatória de características descorrela as árvores, de modo que elas não se fixam nos mesmos preditores dominantes, o que permite que o conjunto reduza a variância abaixo da de qualquer árvore individual.
Cada árvore faz sua própria previsão, e a floresta as combina: um voto majoritário entre as árvores para classificação, ou a média de suas saídas para regressão. Essa agregação é o que transforma muitas árvores ruidosas em um preditor robusto.
Fórmula
\hat{y} = \text{mode/mean of } T \text{ trees}Erros comuns
- Pular uma divisão treino/teste ou validação cruzada e confiar no desempenho dentro da amostra.
- Ignorar o desbalanceamento de classes em vez de reponderar as classes (class_weight='balanced') ou reamostrar.
- Relatar apenas acurácia sem F1 e AUC em conjunto.
- Tratar um ranking de importância de características de amostra pequena como estável.
- Aceitar hiperparâmetros padrão cegamente em vez de ajustar o número de árvores.
Perguntas frequentes
Quantas árvores a floresta deve ter?
Mais árvores reduzem a variância e estabilizam o voto ao custo de poder computacional e memória. Um ponto de partida comum é cerca de 100 árvores, aumentando até que o erro out-of-bag pare de melhorar.
O Random Forest sofre overfitting?
É altamente resistente a overfitting porque o bagging e a seleção aleatória de características descorrelacionam as árvores e calculam a média de seus erros individuais. O principal risco é ajustar muitas árvores profundas em um conjunto de dados muito pequeno, onde o modelo sofre overfitting e a validação cruzada se torna enganosa.
Posso confiar na importância das características?
A importância das características é útil para classificar preditores, mas em tamanhos de amostra pequenos pode ser instável e não reproduzível, portanto, trate rankings de amostra pequena com cautela. Combiná-la com análise SHAP oferece uma visão mais clara da contribuição de cada característica.
O que devo verificar antes e depois de ajustar o modelo?
Antes, trate valores ausentes, codifique variáveis categóricas e configure uma divisão treino/teste ou validação cruzada k-fold. Depois, avalie o erro out-of-bag, execute a validação cruzada e inspecione as contribuições das características (por exemplo, com SHAP).
Métodos relacionados
Fontes
Breiman, L. (2001). Random Forests. Machine Learning, 45, 5–32.
Abrir referência DOICopiado.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8). Springer.
ISBN: 978-1-4614-7138-7Copiado.