Random Forest Semi-supervisionado
- Proposto por
- Leistner, C., Saffari, A., Santner, J., & Bischof, H.
- Ano
- 2009
- Tipo
- Semi-supervised ensemble classifier
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Random Forest Semi-supervisionado (SSL-RF) estende o Random Forest clássico explorando exemplos de treinamento rotulados e não rotulados.
Quando a rotulagem de dados é cara ou demorada, o SSL-RF atribui pseudo-rótulos provisórios a observações não rotuladas através da própria floresta, e então retreina no conjunto de dados enriquecido, melhorando progressivamente a acurácia sem exigir anotação humana adicional.
A intuição por trás do método
Imagine pedir a um painel de especialistas (suas árvores) para classificar casos, mas a maioria dos arquivos de caso não tem diagnóstico confirmado. O SSL-RF permite que o painel vote em arquivos incertos, trata votos confiantes como diagnósticos provisórios, adiciona esses arquivos ao conjunto de treinamento e retreina — repetindo até que o painel convirja. Os exemplos rotulados guiam a floresta, enquanto a maioria não rotulada molda os limites de decisão em regiões que os dados rotulados sozinhos não poderiam alcançar, levando a uma melhor generalização quando os rótulos são escassos.
História
A aprendizagem semi-supervisionada como campo foi sistematicamente pesquisada por Xiaojin Zhu (2005), estabelecendo a motivação teórica para explorar dados não rotulados. A formulação canônica de SSL-RF foi introduzida por Leistner et al. na ICCV 2009, combinando divisão baseada em entropia com regularização de manifold dentro do framework de random forest. O método ganhou tração em visão computacional e imagens médicas onde os custos de anotação são altos, e desde então foi estendido com integração de características profundas e variantes de propagação de rótulos baseadas em grafos.
Quando usar
Use Random Forest Semi-supervisionado quando você tem dados não rotulados abundantes, mas a rotulagem é cara, escassa ou demorada — comum em imagens médicas, sensoriamento remoto, classificação de texto e dados biológicos. É adequado para conjuntos de dados tabulares, derivados de imagem e de tipos mistos com pelo menos um subconjunto rotulado modesto (aproximadamente 5–20% do total de dados). Evite-o quando praticamente não existem rótulos confiáveis (a floresta inicial será muito fraca para gerar pseudo-rótulos úteis), quando os limites de classe são altamente não suaves, ou quando um modelo totalmente supervisionado já atinge desempenho satisfatório apenas com seu conjunto rotulado.
Limitações e considerações
- A qualidade dos pseudo-rótulos depende da floresta supervisionada inicial; um modelo inicial fraco propaga erros por todas as iterações subsequentes.
- A seleção do limiar de confiança não é trivial e pode afetar significativamente o desempenho final.
- O custo computacional escala com o número de amostras não rotuladas e iterações, especialmente para florestas grandes.
- Se a distribuição dos dados não rotulados diferir da dos dados rotulados (desvio de covariável), os pseudo-rótulos podem ser sistematicamente enviesados.
- A convergência não é garantida; o auto-treinamento iterativo pode amplificar erros de classificação iniciais sem critérios de parada cuidadosos.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Aproveita dados não rotulados baratos para melhorar a acurácia além do que os dados rotulados sozinhos podem alcançar.
- Herda todas as vantagens do Random Forest: robustez, importância de características intrínseca e resistência ao overfitting via bagging.
- Limiar de confiança flexível permite controlar a agressividade com que os dados não rotulados são incorporados.
- Naturalmente lida com tipos de características mistas, relações não lineares e entrada de alta dimensão sem suposições de distribuição.
- Estimativas out-of-bag da porção rotulada fornecem um sinal de validação mesmo com pequenos conjuntos rotulados.
- Aplicável a tarefas de classificação e regressão com alterações mínimas no algoritmo.
Aplicações
- Classificação de imagens médicas onde a anotação de especialistas é cara, como histopatologia e radiologia.
- Análise de sensoriamento remoto e imagens de satélite com rótulos de verdade (ground-truth) limitados.
- Classificação de texto e documentos quando apenas um subconjunto de documentos pode ser rotulado manualmente.
- Análise de dados biológicos e genômicos onde a validação em laboratório (wet-lab) consome muitos recursos.
- Controle de qualidade industrial com rótulos de falha esparsos, mas leituras de sensores não rotuladas abundantes.
- Detecção de fraude onde casos de fraude confirmados são raros em relação a transações não rotuladas.
Como funciona
Como funciona
O processo começa com um pequeno conjunto rotulado e um grande conjunto não rotulado. As observações rotuladas estabelecem o espaço de características inicial e a distribuição de classes, garantindo que exista pelo menos um sinal confiável antes que qualquer etapa de pseudo-rotulagem seja tentada.
Um Random Forest padrão é treinado apenas nos dados rotulados. Amostragem bootstrap e seleção aleatória de características são aplicadas exatamente como no caso supervisionado, produzindo um ensemble cujas previsões refletem apenas os rótulos de verdade (ground-truth) disponíveis nesta fase.
A floresta treinada prevê probabilidades de classe para cada observação não rotulada. Amostras cuja probabilidade prevista excede um limiar de confiança — frequentemente ajustado por validação cruzada — recebem um pseudo-rótulo. Amostras de baixa confiança podem ser deixadas sem rótulo ou com peso reduzido para evitar propagação de erros.
A floresta é retreinada no conjunto combinado de exemplos rotulados originais e os recém-pseudo-rotulados. A ponderação opcional de amostras pode descontar instâncias pseudo-rotuladas em relação aos rótulos verdadeiros. Regularização de manifold ou critérios de divisão baseados em entropia também podem ser aplicados nesta fase.
As etapas de pseudo-rotulagem e retreinamento são repetidas por um número fixo de iterações ou até que as atribuições de pseudo-rótulos se estabilizem entre rodadas sucessivas. A parada antecipada (early stopping) evita que a excessiva confiança acumule erros, particularmente em cenários de alto ruído ou alta sobreposição.
As previsões finais são obtidas agregando votos de todas as árvores na última floresta treinada: voto majoritário para classificação ou resposta média para regressão. Pontuações de confiança da floresta também podem servir como estimativas de incerteza calibradas para tomada de decisão subsequente.
Fórmula
\hat{y} = \text{mode/mean of } T \text{ trees over labeled + pseudo-labeled data}Erros comuns
- Definir o limiar de confiança muito baixo e inundar o conjunto de treinamento com pseudo-rótulos ruidosos.
- Ignorar o desvio de covariável entre os conjuntos rotulado e não rotulado, o que pode degradar em vez de melhorar a acurácia.
- Avaliar unicamente em estimativas out-of-bag sem um conjunto de teste rotulado verdadeiramente reservado.
- Executar muitas iterações de auto-treinamento sem parada antecipada, causando acúmulo de erros entre as rodadas.
- Tratar observações pseudo-rotuladas como igualmente confiáveis que os rótulos verdadeiros sem aplicar qualquer ponderação de amostra.
Perguntas frequentes
Quanta informação rotulada eu preciso para começar?
Não há um mínimo rígido, mas a floresta supervisionada inicial deve ser forte o suficiente para produzir pseudo-rótulos úteis. Na prática, pelo menos 5–10% das amostras totais rotuladas — ou algumas centenas de observações rotuladas — tende a fornecer previsões iniciais confiáveis. Com muito poucos rótulos, considere co-treinamento ou métodos baseados em grafos em vez disso.
Como escolho o limiar de confiança para pseudo-rotulagem?
Valide cruzadamente no conjunto rotulado em uma grade de valores de limiar (por exemplo, 0.60 a 0.95) e selecione o valor que maximiza o desempenho em dados retidos (held-out). Um limiar mais alto reduz o ruído, mas também o volume de dados não rotulados utilizados; começar conservadoramente em torno de 0.80 é uma prática comum.
O SSL-RF pode lidar com desequilíbrio de classes?
Sim, mas o desequilíbrio de classes no conjunto rotulado se propaga para os pseudo-rótulos. Use critérios de divisão ponderados por classe ou sobreamostre a classe minoritária no conjunto rotulado antes da primeira etapa de treinamento. Monitore a precisão e o recall por classe em vez da acurácia geral.
O SSL-RF é o mesmo que auto-treinamento com um aprendiz base random forest?
Auto-treinamento é o esquema algorítmico mais amplo; SSL-RF é uma de suas realizações. Implementações de SSL-RF também podem incorporar critérios de divisão regularizados por manifold ou estrutura baseada em grafos, indo além do auto-treinamento iterativo ingênuo.
Quando devo preferir gradient boosting ao SSL-RF?
Se todos os seus dados são rotulados, gradient boosting tipicamente produz maior acurácia e deve ser preferido. Use SSL-RF especificamente quando a fração rotulada é pequena e um grande conjunto de dados não rotulados está disponível para explorar.
Métodos relacionados
Fontes
Leistner, C., Saffari, A., Santner, J., & Bischof, H. (2009). Semi-supervised random forests. In Proceedings of the IEEE 12th International Conference on Computer Vision (ICCV), pp. 506–513. IEEE.
Abrir referência DOICopiado.Zhu, X. (2005). Semi-supervised learning literature survey. Computer Sciences Technical Report 1530, University of Wisconsin-Madison.
Abrir referência da publicaçãoCopiado.