Skip to content
Voltar aos resultados

Árvore de Decisão com Aprendizado Ativo

Proposto por
Settles, B. (active learning framework); Breiman et al. (decision tree base)
Ano
1984–2010
Tipo
Active learning with decision tree base learner
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

O aprendizado ativo com uma árvore de decisão combina a estrutura interpretável de uma árvore estilo CART com uma estratégia de consulta que seleciona as instâncias não rotuladas mais informativas para anotação humana.

O modelo solicita iterativamente rótulos apenas para os exemplos sobre os quais está mais incerto, minimizando o custo de rotulagem enquanto maximiza a precisão da classificação em dados tabulares.

A intuição por trás do método

Rotular todos os exemplos de treinamento é caro. O aprendizado ativo resolve isso permitindo que o modelo pergunte: 'Qual exemplo não rotulado, se rotulado, me ensinaria mais?' Uma árvore de decisão é usada como classificador que estima a incerteza em cada etapa de consulta. Após cada novo rótulo ser adicionado, a árvore é retreinada e o ciclo de consulta se repete. O resultado é um modelo que atinge precisão competitiva com muito menos exemplos rotulados do que uma árvore totalmente supervisionada treinada do zero, tornando-o prático para cenários onde a anotação é cara ou demorada.

História

Árvores de decisão como classificadores remontam ao CART de Breiman et al. (1984) e ao C4.5 de Quinlan (1993). O aprendizado ativo como um framework sistemático foi amplamente revisado por Burr Settles (2010), que documentou estratégias de amostragem de incerteza, query-by-committee e expected model change. Árvores de decisão têm sido um aprendiz base padrão em benchmarks de aprendizado ativo desde o final dos anos 1990, aparecendo no trabalho inicial de amostragem em pool de Cohn, Atlas e Ladner (1994) e em comparações empíricas subsequentes entre tipos de aprendizes.

Quando usar

Use aprendizado ativo com uma árvore de decisão quando dados de treinamento rotulados são escassos ou caros de obter, mas um grande conjunto de instâncias não rotuladas está disponível — por exemplo, em anotação médica, classificação de documentos ou tarefas de detecção de falhas em sensores. A base de árvore de decisão é especialmente adequada quando a interpretabilidade do modelo final é necessária juntamente com a eficiência de rotulagem. Evite esta abordagem quando todo o conjunto de dados pode ser rotulado de forma barata (aprendizado passivo é suficiente), quando o conjunto rotulado já é grande (centenas ou milhares), quando o espaço de características é de alta dimensionalidade (aprendizes ativos de gradient boosting ou neurais superam), ou quando o custo de retreinamento por iteração é proibitivo para conjuntos de dados muito grandes.

Limitações e considerações

  • A estratégia de consulta e o retreinamento da árvore juntos podem ser computacionalmente caros quando o conjunto não rotulado é muito grande.
  • Árvores de decisão são aprendizes de alta variância; com poucos rótulos iniciais, a árvore inicial pode ser não confiável, levando a consultas iniciais ruins.
  • O teto de desempenho é menor do que métodos de ensemble como random forest ou gradient boosting com o mesmo orçamento de rótulos.
  • Assume que os rótulos do oráculo são precisos; rótulos ruidosos ou inconsistentes podem degradar o loop ativo mais rapidamente do que no aprendizado passivo.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Reduz drasticamente o número de rótulos necessários para atingir uma precisão alvo em comparação com a amostragem aleatória.
  • O modelo base de árvore de decisão é interpretável por humanos, tornando-o adequado para domínios regulamentados ou que exigem explicações.
  • Funciona bem em conjuntos de dados tabulares de tamanho moderado com tipos de características mistas, sem exigir escalonamento de características.
  • Estratégias de consulta baseadas em incerteza são diretas de implementar e explicar aos stakeholders.
  • A precisão fora da amostra (out-of-bag) ou do conjunto de validação após cada iteração fornece uma curva de aprendizado transparente.

Aplicações

  • Anotação de imagens ou registros médicos onde o tempo de rotulagem de especialistas é limitado.
  • Classificação de texto com documentos rotulados escassos e um grande corpus não rotulado.
  • Detecção de falhas em sensores e industriais com altos custos de anotação.
  • Conjuntos de dados ecológicos ou de sensoriamento remoto onde a verificação de campo é cara.
  • Pipelines de detecção de fraude onde apenas uma pequena fração de transações pode ser revisada manualmente.

Como funciona

Como funciona

1

Um pequeno conjunto inicial de instâncias rotuladas é coletado para iniciar o processo, juntamente com um conjunto maior de instâncias não rotuladas. O conjunto rotulado geralmente é escolhido aleatoriamente ou por amostragem estratificada para garantir que pelo menos um exemplo de cada classe esperada esteja presente antes do início do loop ativo.

2

Um classificador de árvore de decisão (tipicamente CART ou C4.5) é treinado no conjunto rotulado atual. A árvore aprende regras de divisão que minimizam a impureza (Gini ou entropia) em cada nó, produzindo um classificador que também pode fornecer estimativas de probabilidade de classe para qualquer instância não rotulada.

3

Um critério de informatividade — mais comumente amostragem de incerteza baseada na entropia de predição H ou na margem entre as duas probabilidades de classe mais altas — pontua cada instância não rotulada. A instância com a maior pontuação de incerteza é selecionada como a consulta: x* = argmax H(y-hat | x).

Fórmula
x^* = \arg\max_{x \in U} H(\hat{y} \mid x)
4

A instância selecionada é apresentada a um oráculo (anotador humano ou mecanismo de rotulagem automatizado) para anotação. Seu rótulo verdadeiro é adicionado ao conjunto de treinamento rotulado e o pool não rotulado diminui em um. Esta etapa é o gargalo crítico em aplicações reais e deve ser auditada quanto à confiabilidade do anotador.

5

A árvore de decisão é retreinada do zero no conjunto rotulado expandido, e o ciclo consulta-pontuação-rótulo se repete. Os critérios de parada incluem atingir um orçamento de rotulagem, um limiar mínimo de precisão em um conjunto de validação separado, ou um número máximo de iterações. A avaliação final deve usar um conjunto de teste totalmente independente.

Erros comuns

  • Usar o conjunto de teste para guiar a estratégia de consulta, o que vaza informações e infla as métricas de avaliação.
  • Falhar em definir uma semente aleatória fixa, tornando a ordem de rotulagem e os resultados não reproduzíveis entre execuções.
  • Ignorar o desbalanceamento de classes no conjunto inicial de sementes, fazendo com que a árvore consulte predominantemente a classe majoritária.
  • Parar o loop muito cedo com base na precisão do treinamento em vez de um conjunto de validação independente.
  • Tratar a precisão final do aprendizado ativo como comparável a uma linha de base totalmente supervisionada sem relatar a contagem de rótulos utilizada.

Perguntas frequentes

Por que usar uma árvore de decisão em vez de um modelo mais poderoso como aprendiz base?

Árvores de decisão são rápidas para retreinar a cada iteração e produzem estimativas de probabilidade necessárias para a pontuação de incerteza. Sua interpretabilidade também é importante em domínios que exigem explicação do modelo final. Para máxima precisão, um aprendiz ativo de random forest ou gradient boosting pode ser preferível ao custo da interpretabilidade.

Quantos exemplos rotulados iniciais preciso para começar?

Uma regra geral comum é pelo menos um ou dois exemplos por classe para garantir que a árvore possa fazer divisões significativas. Na prática, começar com 5-20 instâncias rotuladas é típico; menos do que isso arrisca uma árvore inicial muito degenerada para produzir pontuações de incerteza informativas.

A ordem das consultas importa?

Sim. A sequência de consulta é dependente do caminho: consultas iniciais moldam o que a árvore aprende e, portanto, quais exemplos subsequentes parecem mais incertos. Diferentes sementes aleatórias ou conjuntos rotulados iniciais podem levar a curvas de aprendizado substancialmente diferentes, portanto, replique experimentos entre sementes ao comparar estratégias.

Quando devo parar de consultar?

Defina um orçamento de rotulagem com antecedência, ou monitore a precisão de validação e pare quando a melhoria por novo rótulo cair abaixo de um limiar. Nunca use o conjunto de teste como critério de parada, pois isso constitui vazamento de dados.

Posso usar esta abordagem com problemas multiclasse?

Sim. A amostragem de incerteza baseada em entropia generaliza naturalmente para múltiplas classes. Para cenários multiclasse fortemente desbalanceados, considere árvores de decisão sensíveis ao custo ou ponderadas por classe e garanta que o conjunto inicial de sementes cubra todas as classes.

Métodos relacionados

Fontes

  1. Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin-Madison.

    Abrir referência da publicação
    Copiado.
  2. Breiman, L., Friedman, J., Olshen, R., & Stone, C. (1984). Classification and Regression Trees. Wadsworth & Brooks.

    ISBN: 978-0-412-04841-8
    Copiado.