Árvore de Decisão Semi-supervisionada
- Proposto por
- Various (Levin & Shapiro; Zhu & Goldberg lineage)
- Ano
- 2000s
- Tipo
- Semi-supervised classifier / regressor
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Uma Árvore de Decisão Semi-supervisionada estende a indução de árvores de decisão padrão — como CART ou C4.5 — para explorar observações não rotuladas em conjunto com o conjunto de treinamento rotulado.
Ao atribuir iterativamente rótulos provisórios a dados não rotulados e incorporá-los ao processo de crescimento ou divisão, o algoritmo pode alcançar melhor precisão do que uma árvore totalmente supervisionada treinada apenas no subconjunto rotulado, o que é especialmente valioso quando a rotulagem é cara ou demorada.
A intuição por trás do método
Rotular cada observação é custoso, mas dados não rotulados ainda contêm informações estruturais úteis sobre o espaço de características. Uma árvore de decisão semi-supervisionada explora isso construindo primeiro uma árvore a partir dos poucos exemplos rotulados, usando essa árvore para rotular provisoriamente os dados não rotulados e, em seguida, retreinando no conjunto expandido. Iterações repetidas refinam simultaneamente os rótulos provisórios e a estrutura da árvore, de modo que o modelo aprenda com a distribuição geral dos dados, mesmo quando os rótulos de verdade são escassos.
História
A aprendizagem semi-supervisionada surgiu no final dos anos 1990, quando pesquisadores buscaram explorar a abundância de dados não rotulados disponíveis em domínios como classificação web e biologia computacional. Variantes de auto-treinamento de árvores de decisão, onde uma árvore rotula iterativamente seus próprios dados não rotulados, foram entre as primeiras instanciações. O tratamento formal apareceu na pesquisa de Zhu & Goldberg (2009), que situa o auto-treinamento baseado em árvores dentro da taxonomia mais ampla de aprendizagem semi-supervisionada. Desde então, as abordagens se estenderam a configurações de ensemble, produzindo florestas aleatórias semi-supervisionadas e árvores com gradiente aumentado.
Quando usar
Árvores de decisão semi-supervisionadas são apropriadas quando dados rotulados são escassos e caros de obter, mas um grande conjunto de observações não rotuladas está disponível — comum em anotação de imagens médicas, classificação de texto e monitoramento baseado em sensores. Elas são particularmente úteis quando a distribuição geral de características é bem capturada pelo conjunto não rotulado e quando um modelo interpretável por humanos (uma árvore) é necessário. Evite este método quando a amostra rotulada for tão pequena que a árvore inicial seja altamente não confiável, quando os dados não rotulados não forem representativos da distribuição de teste, ou quando o processo de pseudo-rotulagem for esperado para propagar erros sistemáticos (viés de confirmação). Nesses casos, métodos puramente supervisionados em dados rotulados limpos, ou abordagens semi-supervisionadas alternativas como propagação de rótulos ou co-treinamento, podem ser mais seguros.
Limitações e considerações
- Erros de pseudo-rótulos de uma árvore inicial não confiável podem ser amplificados através das iterações, degradando o desempenho em relação a uma base de referência totalmente supervisionada.
- O método assume que os dados não rotulados compartilham a mesma distribuição subjacente dos dados rotulados; desvio de distribuição quebra essa suposição.
- O custo computacional cresce a cada iteração, pois as árvores são retreinadas em conjuntos de dados efetivos cada vez maiores.
- A seleção do limiar de confiança para inclusão de pseudo-rótulos requer ajuste cuidadoso e validação cruzada.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Aproveita dados não rotulados para melhorar a precisão quando exemplos rotulados são poucos, reduzindo o custo de anotação.
- Mantém a interpretabilidade das árvores de decisão: o modelo resultante é um conjunto de regras se-então legível por humanos.
- Naturalmente lida com tipos de características mistos — contínuos, categóricos, binários — sem normalização pré-processamento.
- Auto-treinamento iterativo é direto de implementar sobre qualquer aprendiz de árvore existente.
- Pode capturar limites não lineares e interações de características que modelos semi-supervisionados lineares não capturam.
Aplicações
- Classificação de imagens e registros médicos onde a anotação de especialistas é cara e existem grandes arquivos não anotados.
- Categorização de texto e documentos com pequenos corpora rotulados e grandes coleções não rotuladas.
- Análise de dados de sensores e IoT onde apenas uma fração de segmentos de séries temporais é rotulada manualmente.
- Tarefas de bioinformática, como previsão de função gênica, com poucos rótulos verificados experimentalmente.
- Detecção de fraudes quando casos de fraude rotulados são raros em comparação com o volume de transações não rotuladas.
Como funciona
Como funciona
Uma árvore de decisão padrão (por exemplo, CART ou C4.5) é ajustada usando apenas a porção rotulada do conjunto de dados. Este modelo inicial fornece uma primeira aproximação aos limites de decisão e serve como semente para as iterações semi-supervisionadas subsequentes.
Cada observação não rotulada é passada pela árvore atual, e a classe prevista (para classificação) ou o valor previsto (para regressão) é atribuído como um rótulo provisório. Estimativas de confiança ou probabilidade dos nós folha podem ser usadas para selecionar apenas os pseudo-rótulos mais confiáveis, filtrando atribuições de baixa confiança.
A árvore é retreinada do zero usando tanto os exemplos rotulados originais quanto as observações não rotuladas recém-pseudo-rotuladas. Pseudo-rótulos de alta confiança contribuem para as decisões de divisão juntamente com os rótulos verdadeiros, ampliando efetivamente o conjunto de treinamento efetivo.
Critérios de divisão modificados — como entropia ou Gini calculados sobre observações rotuladas e não rotuladas, ou objetivos bi-critério que equilibram a pureza supervisionada com a coerência de cluster não supervisionada — guiam as divisões de nós para respeitar a distribuição subjacente dos dados revelada por pontos não rotulados.
A iteração continua até que os rótulos provisórios se estabilizem entre rodadas sucessivas ou um limite máximo de iterações seja atingido. Estratégias padrão de pós-poda (poda custo-complexidade, tamanho mínimo de folha) são então aplicadas à árvore final para controlar o sobreajuste nos dados pseudo-rotulados.
Erros comuns
- Usar todos os pseudo-rótulos independentemente da confiança, o que permite que atribuições de baixa qualidade dominem iterações posteriores.
- Falhar em verificar que os dados não rotulados são extraídos da mesma distribuição que o conjunto rotulado antes do treinamento.
- Tratar as estatísticas das folhas da árvore final como puramente supervisionadas ao relatar métricas de desempenho — avaliação fora da amostra (out-of-bag) ou de teste rotulado retido é necessária.
- Pular a poda após a ampliação de pseudo-rótulos, causando sobreajuste severo a rótulos provisórios ruidosos.
- Comparar diretamente com uma árvore totalmente supervisionada treinada no mesmo subconjunto rotulado sem levar em conta os dados não rotulados adicionais utilizados.
Perguntas frequentes
Como uma árvore de decisão semi-supervisionada difere de um classificador regular de auto-treinamento?
O princípio central — usar previsões em dados não rotulados para aumentar o treinamento — é o mesmo. O que distingue as abordagens específicas de árvores é a opção de modificar o próprio critério de divisão para incorporar informações de distribuição não rotulada, em vez de apenas expandir o conjunto rotulado iterativamente.
Quantos exemplos rotulados preciso para começar?
Não há um mínimo universal, mas a árvore supervisionada inicial deve ser confiável o suficiente para produzir pseudo-rótulos úteis. Na prática, pelo menos 20-50 exemplos rotulados por classe são frequentemente recomendados; com menos, o risco de propagação de erros é alto e abordagens alternativas como propagação de rótulos podem funcionar melhor.
Devo usar todos os dados não rotulados ou selecionar um subconjunto?
Selecionar apenas pseudo-rótulos de alta confiança — por exemplo, aqueles onde a probabilidade da folha excede um limiar como 0,85 — geralmente supera o uso de todos os pontos não rotulados, especialmente quando a árvore inicial é imperfeita.
Isso substitui a validação cruzada padrão?
Não. Como os pseudo-rótulos são derivados do próprio modelo, métricas dentro da amostra são otimistas. A avaliação deve usar um conjunto de teste rotulado retido ou validação cruzada k-fold aplicada estritamente à partição rotulada.
Posso combinar isso com métodos de ensemble?
Sim. Florestas aleatórias semi-supervisionadas e abordagens de co-florestas estendem a ideia para ensembles, que podem reduzir a variância dos erros de pseudo-rótulos e geralmente superam uma única árvore semi-supervisionada.
Métodos relacionados
Fontes
Levin, E. & Shapiro, E. (2000). Learning Decision Trees from Semi-labeled Examples. Proceedings of the ICML Workshop on Attribute-Value and Relational Learning.
Abrir referência da publicaçãoCopiado.Zhu, X. & Goldberg, A. B. (2009). Introduction to Semi-Supervised Learning. Morgan & Claypool Publishers.
ISBN: 978-1-598-29548-9Copiado.