Skip to content
Voltar aos resultados

Árvore de Decisão Semi-supervisionada

Proposto por
Various (Levin & Shapiro; Zhu & Goldberg lineage)
Ano
2000s
Tipo
Semi-supervised classifier / regressor
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Uma Árvore de Decisão Semi-supervisionada estende a indução de árvores de decisão padrão — como CART ou C4.5 — para explorar observações não rotuladas em conjunto com o conjunto de treinamento rotulado.

Ao atribuir iterativamente rótulos provisórios a dados não rotulados e incorporá-los ao processo de crescimento ou divisão, o algoritmo pode alcançar melhor precisão do que uma árvore totalmente supervisionada treinada apenas no subconjunto rotulado, o que é especialmente valioso quando a rotulagem é cara ou demorada.

A intuição por trás do método

Rotular cada observação é custoso, mas dados não rotulados ainda contêm informações estruturais úteis sobre o espaço de características. Uma árvore de decisão semi-supervisionada explora isso construindo primeiro uma árvore a partir dos poucos exemplos rotulados, usando essa árvore para rotular provisoriamente os dados não rotulados e, em seguida, retreinando no conjunto expandido. Iterações repetidas refinam simultaneamente os rótulos provisórios e a estrutura da árvore, de modo que o modelo aprenda com a distribuição geral dos dados, mesmo quando os rótulos de verdade são escassos.

História

A aprendizagem semi-supervisionada surgiu no final dos anos 1990, quando pesquisadores buscaram explorar a abundância de dados não rotulados disponíveis em domínios como classificação web e biologia computacional. Variantes de auto-treinamento de árvores de decisão, onde uma árvore rotula iterativamente seus próprios dados não rotulados, foram entre as primeiras instanciações. O tratamento formal apareceu na pesquisa de Zhu & Goldberg (2009), que situa o auto-treinamento baseado em árvores dentro da taxonomia mais ampla de aprendizagem semi-supervisionada. Desde então, as abordagens se estenderam a configurações de ensemble, produzindo florestas aleatórias semi-supervisionadas e árvores com gradiente aumentado.

Quando usar

Árvores de decisão semi-supervisionadas são apropriadas quando dados rotulados são escassos e caros de obter, mas um grande conjunto de observações não rotuladas está disponível — comum em anotação de imagens médicas, classificação de texto e monitoramento baseado em sensores. Elas são particularmente úteis quando a distribuição geral de características é bem capturada pelo conjunto não rotulado e quando um modelo interpretável por humanos (uma árvore) é necessário. Evite este método quando a amostra rotulada for tão pequena que a árvore inicial seja altamente não confiável, quando os dados não rotulados não forem representativos da distribuição de teste, ou quando o processo de pseudo-rotulagem for esperado para propagar erros sistemáticos (viés de confirmação). Nesses casos, métodos puramente supervisionados em dados rotulados limpos, ou abordagens semi-supervisionadas alternativas como propagação de rótulos ou co-treinamento, podem ser mais seguros.

Limitações e considerações

  • Erros de pseudo-rótulos de uma árvore inicial não confiável podem ser amplificados através das iterações, degradando o desempenho em relação a uma base de referência totalmente supervisionada.
  • O método assume que os dados não rotulados compartilham a mesma distribuição subjacente dos dados rotulados; desvio de distribuição quebra essa suposição.
  • O custo computacional cresce a cada iteração, pois as árvores são retreinadas em conjuntos de dados efetivos cada vez maiores.
  • A seleção do limiar de confiança para inclusão de pseudo-rótulos requer ajuste cuidadoso e validação cruzada.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Aproveita dados não rotulados para melhorar a precisão quando exemplos rotulados são poucos, reduzindo o custo de anotação.
  • Mantém a interpretabilidade das árvores de decisão: o modelo resultante é um conjunto de regras se-então legível por humanos.
  • Naturalmente lida com tipos de características mistos — contínuos, categóricos, binários — sem normalização pré-processamento.
  • Auto-treinamento iterativo é direto de implementar sobre qualquer aprendiz de árvore existente.
  • Pode capturar limites não lineares e interações de características que modelos semi-supervisionados lineares não capturam.

Aplicações

  • Classificação de imagens e registros médicos onde a anotação de especialistas é cara e existem grandes arquivos não anotados.
  • Categorização de texto e documentos com pequenos corpora rotulados e grandes coleções não rotuladas.
  • Análise de dados de sensores e IoT onde apenas uma fração de segmentos de séries temporais é rotulada manualmente.
  • Tarefas de bioinformática, como previsão de função gênica, com poucos rótulos verificados experimentalmente.
  • Detecção de fraudes quando casos de fraude rotulados são raros em comparação com o volume de transações não rotuladas.

Como funciona

Como funciona

1

Uma árvore de decisão padrão (por exemplo, CART ou C4.5) é ajustada usando apenas a porção rotulada do conjunto de dados. Este modelo inicial fornece uma primeira aproximação aos limites de decisão e serve como semente para as iterações semi-supervisionadas subsequentes.

2

Cada observação não rotulada é passada pela árvore atual, e a classe prevista (para classificação) ou o valor previsto (para regressão) é atribuído como um rótulo provisório. Estimativas de confiança ou probabilidade dos nós folha podem ser usadas para selecionar apenas os pseudo-rótulos mais confiáveis, filtrando atribuições de baixa confiança.

3

A árvore é retreinada do zero usando tanto os exemplos rotulados originais quanto as observações não rotuladas recém-pseudo-rotuladas. Pseudo-rótulos de alta confiança contribuem para as decisões de divisão juntamente com os rótulos verdadeiros, ampliando efetivamente o conjunto de treinamento efetivo.

4

Critérios de divisão modificados — como entropia ou Gini calculados sobre observações rotuladas e não rotuladas, ou objetivos bi-critério que equilibram a pureza supervisionada com a coerência de cluster não supervisionada — guiam as divisões de nós para respeitar a distribuição subjacente dos dados revelada por pontos não rotulados.

5

A iteração continua até que os rótulos provisórios se estabilizem entre rodadas sucessivas ou um limite máximo de iterações seja atingido. Estratégias padrão de pós-poda (poda custo-complexidade, tamanho mínimo de folha) são então aplicadas à árvore final para controlar o sobreajuste nos dados pseudo-rotulados.

Erros comuns

  • Usar todos os pseudo-rótulos independentemente da confiança, o que permite que atribuições de baixa qualidade dominem iterações posteriores.
  • Falhar em verificar que os dados não rotulados são extraídos da mesma distribuição que o conjunto rotulado antes do treinamento.
  • Tratar as estatísticas das folhas da árvore final como puramente supervisionadas ao relatar métricas de desempenho — avaliação fora da amostra (out-of-bag) ou de teste rotulado retido é necessária.
  • Pular a poda após a ampliação de pseudo-rótulos, causando sobreajuste severo a rótulos provisórios ruidosos.
  • Comparar diretamente com uma árvore totalmente supervisionada treinada no mesmo subconjunto rotulado sem levar em conta os dados não rotulados adicionais utilizados.

Perguntas frequentes

Como uma árvore de decisão semi-supervisionada difere de um classificador regular de auto-treinamento?

O princípio central — usar previsões em dados não rotulados para aumentar o treinamento — é o mesmo. O que distingue as abordagens específicas de árvores é a opção de modificar o próprio critério de divisão para incorporar informações de distribuição não rotulada, em vez de apenas expandir o conjunto rotulado iterativamente.

Quantos exemplos rotulados preciso para começar?

Não há um mínimo universal, mas a árvore supervisionada inicial deve ser confiável o suficiente para produzir pseudo-rótulos úteis. Na prática, pelo menos 20-50 exemplos rotulados por classe são frequentemente recomendados; com menos, o risco de propagação de erros é alto e abordagens alternativas como propagação de rótulos podem funcionar melhor.

Devo usar todos os dados não rotulados ou selecionar um subconjunto?

Selecionar apenas pseudo-rótulos de alta confiança — por exemplo, aqueles onde a probabilidade da folha excede um limiar como 0,85 — geralmente supera o uso de todos os pontos não rotulados, especialmente quando a árvore inicial é imperfeita.

Isso substitui a validação cruzada padrão?

Não. Como os pseudo-rótulos são derivados do próprio modelo, métricas dentro da amostra são otimistas. A avaliação deve usar um conjunto de teste rotulado retido ou validação cruzada k-fold aplicada estritamente à partição rotulada.

Posso combinar isso com métodos de ensemble?

Sim. Florestas aleatórias semi-supervisionadas e abordagens de co-florestas estendem a ideia para ensembles, que podem reduzir a variância dos erros de pseudo-rótulos e geralmente superam uma única árvore semi-supervisionada.

Métodos relacionados

Fontes

  1. Levin, E. & Shapiro, E. (2000). Learning Decision Trees from Semi-labeled Examples. Proceedings of the ICML Workshop on Attribute-Value and Relational Learning.

    Abrir referência da publicação
    Copiado.
  2. Zhu, X. & Goldberg, A. B. (2009). Introduction to Semi-Supervised Learning. Morgan & Claypool Publishers.

    ISBN: 978-1-598-29548-9
    Copiado.