Extra Trees
- Proposto por
- Geurts, P.; Ernst, D.; Wehenkel, L.
- Ano
- 2006
- Tipo
- Ensemble (extremely randomized decision trees)
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Extra Trees (Árvores Extremamente Aleatórias), introduzido por Geurts, Ernst e Wehenkel em 2006, é um conjunto de árvores de decisão que leva a aleatorização um passo além da Floresta Aleatória.
Tanto as características candidatas quanto os limiares de divisão são escolhidos completamente ao acaso em cada nó, eliminando a busca gulosa por limiares. Essa aleatoriedade extra reduz a variância, frequentemente iguala ou excede a precisão da Floresta Aleatória e é substancialmente mais rápida em tempo de treinamento.
A intuição por trás do método
A Floresta Aleatória já descorrela as árvores amostrando características aleatoriamente em cada divisão, mas ainda busca o melhor limiar entre essas características. Extra Trees vai um passo adiante: para cada característica candidata, ele escolhe um limiar aleatório em vez de otimizá-lo. À primeira vista, isso parece prejudicar a precisão, mas como as árvores resultantes são ainda menos correlacionadas entre si, a média do conjunto cancela mais variância. A perda de qualquer divisão ruim individual é minúscula quando se faz a média de muitas árvores, e o ganho de velocidade por não buscar um limiar ótimo é substancial.
História
Extra Trees foi proposto por Pierre Geurts, Damien Ernst e Louis Wehenkel em um artigo de 2006 na Machine Learning. Os autores mostraram que a introdução da aleatorização completa dos limiares de divisão — em vez de buscar cortes ótimos — reduz substancialmente a variância ao trocar um pequeno aumento no viés. O método tornou-se desde então uma alternativa padrão à Floresta Aleatória no ecossistema scikit-learn e é amplamente utilizado como uma linha de base rápida e de alta precisão para benchmarks de dados tabulares.
Quando usar
Use Extra Trees quando desejar treinamento rápido e forte precisão em dados tabulares com características contínuas ou de tipo misto. É particularmente útil quando o tempo de treinamento é uma restrição — sua remoção da otimização de limiares o torna consideravelmente mais rápido que a Floresta Aleatória com precisão comparável. Ele se adequa a tarefas de classificação e regressão com amostras moderadas a grandes (aproximadamente 50 ou mais observações). Prefira Floresta Aleatória ou gradient boosting se precisar de estimativas out-of-bag embutidas ou se o ruído do conjunto de dados for muito alto e você suspeitar que limiares totalmente aleatórios prejudicam a precisão. Para conjuntos de dados muito pequenos, modelos mais simples como regressão logística ou uma única árvore de decisão são mais seguros e interpretáveis.
Limitações e considerações
- Nenhuma estimativa out-of-bag embutida (ao contrário da Floresta Aleatória), portanto, a validação cruzada é necessária para avaliação imparcial de erros.
- Limiares totalmente aleatórios podem prejudicar em dados muito ruidosos onde divisões ótimas são informativas.
- Caixa-preta: não fornece coeficientes explícitos, limitando a interpretabilidade para públicos que esperam tamanhos de efeito.
- O uso de memória cresce com o número de árvores e a profundidade da árvore.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Treinamento mais rápido que a Floresta Aleatória porque nenhuma otimização de limiar é realizada em cada divisão.
- Alta diversidade entre as árvores leva a forte redução de variância e frequentemente iguala ou supera a precisão da Floresta Aleatória.
- Lida com tipos de características mistas e interações não lineares sem suposições de pré-processamento.
- Fornece importâncias de características nativas para classificação e seleção de variáveis.
- Escala bem para dados de alta dimensionalidade com muitas características irrelevantes.
Aplicações
- Linhas de base rápidas de classificação e regressão em dados tabulares.
- Seleção de características e classificação de importância em conjuntos de dados de alta dimensionalidade.
- Modelagem preditiva em bioinformática, sensoriamento remoto e análise de dados de sensores.
- Busca de hiperparâmetros em pipeline onde a velocidade de treinamento é crítica.
- Cenários de dados em larga escala onde o tempo de treinamento da Floresta Aleatória é proibitivo.
Como funciona
Como funciona
Ao contrário da Floresta Aleatória, Extra Trees, por padrão, treina cada árvore em todo o conjunto de treinamento, em vez de uma amostra bootstrap. Isso reduz o viés introduzido pela amostragem, mas significa que não há um conjunto out-of-bag (OOB) embutido; portanto, a validação cruzada é necessária para uma estimativa honesta de erro.
Em cada nó interno, um subconjunto aleatório de características é extraído. Para cada característica candidata, um limiar de divisão é amostrado uniformemente ao acaso a partir da faixa observada dos valores dessa característica — nenhuma busca pelo ponto de corte ótimo é realizada. O par característica-limiar que produz a melhor pontuação (por exemplo, redução da impureza Gini) entre os candidatos aleatórios é selecionado.
As árvores são construídas até a profundidade total por padrão, o que significa que as folhas são o mais puras possível. A profundidade total, combinada com as divisões aleatorizadas, é o que reduz a variância no conjunto: árvores individuais têm alta variância, mas são altamente diversas.
As previsões de todas as árvores são combinadas: voto majoritário para classificação e média da saída para regressão. A forte diversidade entre as árvores significa que os erros individuais tendem a se cancelar, tornando o conjunto mais estável do que qualquer árvore individual.
Fórmula
\hat{y} = \text{mode/mean of } T \text{ trees}Erros comuns
- Pular a validação cruzada e confiar na precisão in-sample, pois nenhuma estimativa OOB é produzida por padrão.
- Ignorar o desequilíbrio de classes — use class_weight='balanced' ou reamostragem antes do ajuste.
- Relatar apenas a precisão sem métricas complementares como F1, AUC ou RMSE.
- Tratar as classificações de importância de características como estáveis sem verificar a reprodutibilidade entre sementes.
Perguntas frequentes
Como o Extra Trees difere da Floresta Aleatória?
Ambos são conjuntos de árvores de decisão com subconjuntos aleatórios de características em cada divisão. A principal diferença é que Extra Trees escolhe os limiares de divisão completamente ao acaso em vez de otimizá-los, e por padrão treina no conjunto de treinamento completo em vez de amostras bootstrap. Isso torna Extra Trees mais rápido e tipicamente produz árvores mais diversas e menos correlacionadas.
Qual devo preferir — Extra Trees ou Floresta Aleatória?
Quando a velocidade de treinamento é importante ou os dados são relativamente limpos, Extra Trees frequentemente iguala ou supera a precisão da Floresta Aleatória com menor custo computacional. Se você deseja uma estimativa out-of-bag embutida ou seus dados são ruidosos (onde melhores limiares de divisão ajudam), Floresta Aleatória é mais seguro.
Quantas árvores eu preciso?
Comece com 100 árvores e aumente até que o desempenho se estabilize em um conjunto de validação ou em validação cruzada. Mais árvores melhoram a estabilidade, mas aumentam a latência de memória e de predição.
O Extra Trees faz overfitting?
Árvores individuais são construídas até a profundidade total e podem fazer overfitting isoladamente, mas a média do conjunto reduz fortemente a variância. O overfitting do conjunto completo é geralmente raro, embora em conjuntos de dados muito pequenos com muitas características ele ainda possa ocorrer.
Como avalio o desempenho do modelo sem um conjunto OOB?
Use validação cruzada k-fold — tipicamente 5 ou 10 dobras. Avalie tarefas de classificação com precisão, F1 e AUC; avalie tarefas de regressão com RMSE e R-quadrado.
Métodos relacionados
Fontes
Geurts, P., Ernst, D. & Wehenkel, L. (2006). Extremely randomized trees. Machine Learning, 63(1), 3–42.
Abrir referência DOICopiado.Extra-Trees. Wikipedia.
Abrir referência da publicaçãoCopiado.