Skip to content
Voltar aos resultados

Regressão Logística Online

Proposto por
Rosenblatt, F. / Widrow, B. (perceptron era); modern SGD form: Bottou, L.
Ano
1960s (perceptron); formalized for logistic loss ~2000s
Tipo
Incremental supervised classifier
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A Regressão Logística Online ajusta um classificador logístico uma amostra (ou mini-lote) por vez via gradiente descendente estocástico, atualizando os pesos do modelo à medida que cada observação chega, em vez de esperar para ver o conjunto de dados completo.

Isso a torna a escolha padrão para problemas de classificação binária de alto volume, em streaming ou com restrição de memória, onde o treinamento em lote é inviável.

A intuição por trás do método

A regressão logística clássica requer o carregamento de todos os dados na memória e a otimização sobre todo o conjunto de dados. A regressão logística online, em vez disso, lê cada exemplo de entrada, faz uma previsão de probabilidade, calcula o erro da previsão e dá um pequeno passo de gradiente para corrigir seus pesos antes de passar para o próximo exemplo. Ao longo de muitos exemplos, os pesos convergem para valores próximos aos que um resolvedor em lote encontraria, mas o modelo pode ser atualizado continuamente sem nunca armazenar o conjunto de dados completo. Uma taxa de aprendizado decrescente garante que as atualizações se tornem mais finas à medida que o modelo amadurece, trocando a velocidade de adaptação pela estabilidade.

História

As raízes do aprendizado online baseado em gradiente remontam ao perceptron de Rosenblatt (1958) e à regra LMS de Widrow e Hoff (1960). A variante de perda logística ganhou proeminência na literatura de aprendizado em larga escala dos anos 2000, particularmente através do trabalho de Bottou sobre gradiente descendente estocástico para aprendizado de máquina, e do framework teórico de Shalev-Shwartz para otimização convexa online. Tornou-se um padrão de produção em previsão de taxa de cliques em escala web e filtragem de spam, onde os conjuntos de dados fluem continuamente e os modelos devem ser atualizados em tempo real.

Quando usar

Use Regressão Logística Online quando os dados chegam como um fluxo ou quando o conjunto de dados completo é muito grande para caber na memória, quando espera-se que a fronteira de classe mude gradualmente ao longo do tempo (concept drift), ou quando atualizações de modelo de baixa latência são necessárias. É também uma linha de base rápida para conjuntos de dados estáticos muito grandes onde uma única passagem SGD é aceitável. Evite-a quando o conjunto de dados for pequeno o suficiente para treinamento em lote (a regressão logística em lote convergiria para uma solução melhor com menos ajuste), quando a fronteira de decisão for altamente não linear (métodos baseados em árvore ou kernel se ajustariam melhor), ou quando a interpretabilidade de erros padrão exatos de coeficientes e valores p for necessária para relatórios.

Limitações e considerações

  • Sensível à escolha da taxa de aprendizado: muito grande causa divergência, muito pequena causa convergência lenta ou subajuste.
  • Não fornece intervalos de confiança de forma fechada ou valores p para coeficientes.
  • Converge para uma solução mais ruidosa do que o gradiente descendente em lote dados os mesmos dados; múltiplas passagens ou média (Polyak-Ruppert) são necessárias para fechar a lacuna.
  • O desempenho degrada quando as características estão em escalas muito diferentes, a menos que a padronização ou AdaGrad seja aplicada.
  • Assume uma fronteira de decisão linear; não pode capturar estrutura não linear sem engenharia de características.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Pegada de memória constante: processa um exemplo por vez sem armazenar o conjunto de dados inteiro.
  • Adapta-se ao concept drift continuando a atualizar os pesos à medida que novos dados rotulados chegam.
  • Escala para bilhões de exemplos onde a otimização em lote seria proibitiva.
  • Produz saídas de probabilidade calibradas através do link sigmoide, adequadas para pontuação de risco.
  • Compatível com regularização L1 e L2 e programações de taxa de aprendizado que espelham soluções de lote completo.

Aplicações

  • Previsão de taxa de cliques em publicidade online com fluxos de dados contínuos.
  • Detecção de spam e fraude onde os padrões evoluem e os modelos devem se adaptar diariamente.
  • Classificação de sentimento em tempo real de postagens de mídia social à medida que chegam.
  • Pontuação de risco binária em larga escala quando o conjunto de dados completo não cabe na RAM.
  • Cenários de concept drift em monitoramento de transações financeiras.
  • Classificador de streaming de linha de base antes de avaliar ensembles online mais complexos.

Como funciona

Como funciona

1

O vetor de pesos e o viés são inicializados em zero (ou pequenos valores aleatórios). Nenhuma passagem de dados é necessária nesta fase — o modelo está pronto para processar sua primeira observação imediatamente.

Fórmula
\mathbf{w}_0 = \mathbf{0},\; b_0 = 0
2

Para cada observação de entrada, o modelo calcula a combinação linear de seus pesos e características atuais, em seguida, a passa pela função sigmoide para obter uma probabilidade de que o rótulo seja 1. Essa probabilidade é usada tanto como previsão quanto como ingrediente no cálculo do gradiente.

Fórmula
\hat{p}_t = \sigma(\mathbf{w}_t^\top \mathbf{x}_t + b_t),\quad \sigma(z)=\frac{1}{1+e^{-z}}
3

A entropia cruzada binária (log-loss) entre a probabilidade prevista e o rótulo verdadeiro mede o quão errada está a previsão atual. A entropia cruzada é convexa nos pesos, o que garante que os passos de gradiente reduzam confiavelmente o erro em média em todo o fluxo de dados.

Fórmula
\ell_t = -[y_t \log \hat{p}_t + (1-y_t)\log(1-\hat{p}_t)]
4

O gradiente da perda em relação aos pesos se reduz ao resíduo simples (probabilidade prevista menos rótulo verdadeiro) vezes o vetor de características. Um termo de regularização (L2 ou L1) é adicionado para penalizar pesos grandes e evitar overfitting. Os pesos são atualizados subtraindo o gradiente escalonado em uma única passagem por exemplo.

Fórmula
\mathbf{w}_{t+1} = \mathbf{w}_t - \eta_t (\hat{p}_t - y_t)\mathbf{x}_t - \eta_t \lambda \mathbf{w}_t
5

A taxa de aprendizado é recozida ao longo do tempo — começando grande para se mover rapidamente nas fases iniciais e diminuindo para que as atualizações posteriores façam correções finas sem oscilar. Programações comuns são decaimento inverso no tempo ou adaptação por característica no estilo AdaGrad, que lida automaticamente com características de escalas muito diferentes.

Fórmula
\eta_t = \eta_0 / (1 + \alpha t)

Erros comuns

  • Esquecer de padronizar características: SGD online é especialmente sensível a diferenças de escala porque a mesma taxa de aprendizado é aplicada a todas as dimensões.
  • Usar uma taxa de aprendizado fixa durante todo o treinamento: os pesos oscilam perto do ótimo e nunca se estabilizam.
  • Ignorar o desequilíbrio de classes no fluxo de dados: classes sub-representadas recebem poucos sinais de gradiente e o modelo se inclina para a classe majoritária.
  • Tratar estimativas de peso da fase inicial como finais: o modelo precisa de exemplos suficientes antes que seus pesos se estabilizem; não avalie muito cedo.
  • Confundir a capacidade de atualização online com detecção automática de concept drift: os pesos derivam com os dados, mas o monitoramento explícito de drift (por exemplo, ADWIN) ainda é necessário para detectar mudanças abruptas.

Perguntas frequentes

Como a regressão logística online difere da regressão logística padrão?

A regressão logística padrão usa todos os dados de uma vez (otimização em lote) e retorna coeficientes de máxima verossimilhança exatos com erros padrão. A regressão logística online atualiza os pesos após cada exemplo, usando apenas memória constante e tolerando fluxos infinitamente longos, mas suas estimativas são mais ruidosas e ela não produz estatísticas inferenciais.

Como escolho a taxa de aprendizado?

Um ponto de partida comum é uma taxa fixa pequena (por exemplo, 0,01) combinada com decaimento inverso no tempo, ou usando AdaGrad, que adapta automaticamente as taxas por característica. Sempre padronize as características primeiro, depois ajuste a taxa inicial em uma dobra de validação retida ou monitorando o log-loss em execução em uma janela deslizante do fluxo.

A regressão logística online pode lidar com problemas multiclasse?

Sim — estenda-a para classificadores binários um-contra-todos treinados em paralelo, ou use a generalização softmax (multinomial) com perda de entropia cruzada categórica e vetores de peso por classe, aplicando a mesma regra de atualização SGD a cada um.

Qual regularização devo usar?

A regularização L2 (ridge) é o padrão: ela encolhe todos os pesos suavemente e funciona bem com SGD. L1 (lasso) produz pesos esparsos e é útil quando você deseja seleção automática de características em espaços de alta dimensão, mas requer truncamento cuidadoso ou atualizações FOBOS para permanecer exatamente esparso online.

Como avalio um modelo que é continuamente atualizado?

Use avaliação prequencial (testar-then-train): preveja cada exemplo antes de usá-lo para uma atualização de peso, em seguida, relate o log-loss em execução ou AUC sobre uma janela deslizante. Isso fornece uma estimativa não enviesada da qualidade atual do modelo sem um conjunto fixo retido.

Métodos relacionados

Fontes

  1. Bottou, L. (2010). Large-Scale Machine Learning with Stochastic Gradient Descent. In Proceedings of COMPSTAT 2010, 177–186. Physica-Verlag.

    Abrir referência da publicação
    Copiado.
  2. Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    Abrir referência DOI
    Copiado.