Skip to content
Voltar aos resultados

Extra Trees

Proposto por
Geurts, P.; Ernst, D.; Wehenkel, L.
Ano
2006
Tipo
Ensemble (extremely randomized decision trees)
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Extra Trees (Árvores Extremamente Aleatórias), introduzido por Geurts, Ernst e Wehenkel em 2006, é um conjunto de árvores de decisão que leva a aleatorização um passo além da Floresta Aleatória.

Tanto as características candidatas quanto os limiares de divisão são escolhidos completamente ao acaso em cada nó, eliminando a busca gulosa por limiares. Essa aleatoriedade extra reduz a variância, frequentemente iguala ou excede a precisão da Floresta Aleatória e é substancialmente mais rápida em tempo de treinamento.

A intuição por trás do método

A Floresta Aleatória já descorrela as árvores amostrando características aleatoriamente em cada divisão, mas ainda busca o melhor limiar entre essas características. Extra Trees vai um passo adiante: para cada característica candidata, ele escolhe um limiar aleatório em vez de otimizá-lo. À primeira vista, isso parece prejudicar a precisão, mas como as árvores resultantes são ainda menos correlacionadas entre si, a média do conjunto cancela mais variância. A perda de qualquer divisão ruim individual é minúscula quando se faz a média de muitas árvores, e o ganho de velocidade por não buscar um limiar ótimo é substancial.

História

Extra Trees foi proposto por Pierre Geurts, Damien Ernst e Louis Wehenkel em um artigo de 2006 na Machine Learning. Os autores mostraram que a introdução da aleatorização completa dos limiares de divisão — em vez de buscar cortes ótimos — reduz substancialmente a variância ao trocar um pequeno aumento no viés. O método tornou-se desde então uma alternativa padrão à Floresta Aleatória no ecossistema scikit-learn e é amplamente utilizado como uma linha de base rápida e de alta precisão para benchmarks de dados tabulares.

Quando usar

Use Extra Trees quando desejar treinamento rápido e forte precisão em dados tabulares com características contínuas ou de tipo misto. É particularmente útil quando o tempo de treinamento é uma restrição — sua remoção da otimização de limiares o torna consideravelmente mais rápido que a Floresta Aleatória com precisão comparável. Ele se adequa a tarefas de classificação e regressão com amostras moderadas a grandes (aproximadamente 50 ou mais observações). Prefira Floresta Aleatória ou gradient boosting se precisar de estimativas out-of-bag embutidas ou se o ruído do conjunto de dados for muito alto e você suspeitar que limiares totalmente aleatórios prejudicam a precisão. Para conjuntos de dados muito pequenos, modelos mais simples como regressão logística ou uma única árvore de decisão são mais seguros e interpretáveis.

Limitações e considerações

  • Nenhuma estimativa out-of-bag embutida (ao contrário da Floresta Aleatória), portanto, a validação cruzada é necessária para avaliação imparcial de erros.
  • Limiares totalmente aleatórios podem prejudicar em dados muito ruidosos onde divisões ótimas são informativas.
  • Caixa-preta: não fornece coeficientes explícitos, limitando a interpretabilidade para públicos que esperam tamanhos de efeito.
  • O uso de memória cresce com o número de árvores e a profundidade da árvore.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Treinamento mais rápido que a Floresta Aleatória porque nenhuma otimização de limiar é realizada em cada divisão.
  • Alta diversidade entre as árvores leva a forte redução de variância e frequentemente iguala ou supera a precisão da Floresta Aleatória.
  • Lida com tipos de características mistas e interações não lineares sem suposições de pré-processamento.
  • Fornece importâncias de características nativas para classificação e seleção de variáveis.
  • Escala bem para dados de alta dimensionalidade com muitas características irrelevantes.

Aplicações

  • Linhas de base rápidas de classificação e regressão em dados tabulares.
  • Seleção de características e classificação de importância em conjuntos de dados de alta dimensionalidade.
  • Modelagem preditiva em bioinformática, sensoriamento remoto e análise de dados de sensores.
  • Busca de hiperparâmetros em pipeline onde a velocidade de treinamento é crítica.
  • Cenários de dados em larga escala onde o tempo de treinamento da Floresta Aleatória é proibitivo.

Como funciona

Como funciona

1

Ao contrário da Floresta Aleatória, Extra Trees, por padrão, treina cada árvore em todo o conjunto de treinamento, em vez de uma amostra bootstrap. Isso reduz o viés introduzido pela amostragem, mas significa que não há um conjunto out-of-bag (OOB) embutido; portanto, a validação cruzada é necessária para uma estimativa honesta de erro.

2

Em cada nó interno, um subconjunto aleatório de características é extraído. Para cada característica candidata, um limiar de divisão é amostrado uniformemente ao acaso a partir da faixa observada dos valores dessa característica — nenhuma busca pelo ponto de corte ótimo é realizada. O par característica-limiar que produz a melhor pontuação (por exemplo, redução da impureza Gini) entre os candidatos aleatórios é selecionado.

3

As árvores são construídas até a profundidade total por padrão, o que significa que as folhas são o mais puras possível. A profundidade total, combinada com as divisões aleatorizadas, é o que reduz a variância no conjunto: árvores individuais têm alta variância, mas são altamente diversas.

4

As previsões de todas as árvores são combinadas: voto majoritário para classificação e média da saída para regressão. A forte diversidade entre as árvores significa que os erros individuais tendem a se cancelar, tornando o conjunto mais estável do que qualquer árvore individual.

Fórmula
\hat{y} = \text{mode/mean of } T \text{ trees}

Erros comuns

  • Pular a validação cruzada e confiar na precisão in-sample, pois nenhuma estimativa OOB é produzida por padrão.
  • Ignorar o desequilíbrio de classes — use class_weight='balanced' ou reamostragem antes do ajuste.
  • Relatar apenas a precisão sem métricas complementares como F1, AUC ou RMSE.
  • Tratar as classificações de importância de características como estáveis sem verificar a reprodutibilidade entre sementes.

Perguntas frequentes

Como o Extra Trees difere da Floresta Aleatória?

Ambos são conjuntos de árvores de decisão com subconjuntos aleatórios de características em cada divisão. A principal diferença é que Extra Trees escolhe os limiares de divisão completamente ao acaso em vez de otimizá-los, e por padrão treina no conjunto de treinamento completo em vez de amostras bootstrap. Isso torna Extra Trees mais rápido e tipicamente produz árvores mais diversas e menos correlacionadas.

Qual devo preferir — Extra Trees ou Floresta Aleatória?

Quando a velocidade de treinamento é importante ou os dados são relativamente limpos, Extra Trees frequentemente iguala ou supera a precisão da Floresta Aleatória com menor custo computacional. Se você deseja uma estimativa out-of-bag embutida ou seus dados são ruidosos (onde melhores limiares de divisão ajudam), Floresta Aleatória é mais seguro.

Quantas árvores eu preciso?

Comece com 100 árvores e aumente até que o desempenho se estabilize em um conjunto de validação ou em validação cruzada. Mais árvores melhoram a estabilidade, mas aumentam a latência de memória e de predição.

O Extra Trees faz overfitting?

Árvores individuais são construídas até a profundidade total e podem fazer overfitting isoladamente, mas a média do conjunto reduz fortemente a variância. O overfitting do conjunto completo é geralmente raro, embora em conjuntos de dados muito pequenos com muitas características ele ainda possa ocorrer.

Como avalio o desempenho do modelo sem um conjunto OOB?

Use validação cruzada k-fold — tipicamente 5 ou 10 dobras. Avalie tarefas de classificação com precisão, F1 e AUC; avalie tarefas de regressão com RMSE e R-quadrado.

Métodos relacionados

Fontes

  1. Geurts, P., Ernst, D. & Wehenkel, L. (2006). Extremely randomized trees. Machine Learning, 63(1), 3–42.

    Abrir referência DOI
    Copiado.
  2. Extra-Trees. Wikipedia.

    Abrir referência da publicação
    Copiado.