Skip to content
Voltar aos resultados

Regressão Linear Online

Proposto por
Widrow, B. & Hoff, M. E. (LMS); Gauss / Plackett (RLS)
Ano
1960 (LMS); 1950 (RLS formalization)
Tipo
Incremental supervised regression
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A Regressão Linear Online ajusta um modelo linear uma observação de cada vez, atualizando os pesos incrementalmente à medida que cada novo ponto de dados chega.

Ao contrário dos mínimos quadrados em lote, nunca necessita de armazenar ou reprocessar o conjunto de dados completo, tornando-a a escolha natural para dados de fluxo contínuo, conjuntos de dados muito grandes e ambientes onde o processo de geração de dados pode mudar ao longo do tempo.

A intuição por trás do método

Imagine ajustar os seletores de um preditor linear após cada medição individual, em vez de esperar para recolher todos os dados primeiro. Cada nova observação diz-lhe o quão errada foi a sua estimativa atual, e você ajusta o vetor de pesos um pequeno passo na direção que teria reduzido esse erro. Ao longo de muitas observações, os pesos convergem para valores próximos da solução de mínimos quadrados ordinários — mas você chegou lá sem nunca carregar todo o conjunto de dados para a memória, e pode continuar a adaptar-se se a relação subjacente se desviar.

História

As fundações teóricas remontam ao método dos mínimos quadrados de Gauss (início do século XIX) e à formulação recursiva de Plackett de 1950. A variante online prática emergiu com o algoritmo Least Mean Squares (LMS) de Widrow e Hoff em 1960, originalmente desenvolvido para processamento adaptativo de sinais. A teoria de otimização convexa online, formalizada por Zinkevich (2003) e revista exaustivamente por Shalev-Shwartz (2012), colocou a regressão linear online num rigoroso quadro de minimização de perdas e demonstrou as suas garantias de convergência quase ótimas.

Quando usar

Use regressão linear online quando os dados chegam como um fluxo contínuo e as previsões devem ser servidas imediatamente, quando o conjunto de dados é muito grande para ser mantido na memória para um ajuste em lote, ou quando a relação entre preditores e resultado pode desviar-se ao longo do tempo e o modelo precisa de se adaptar. É também uma boa escolha como uma linha de base leve em sistemas de produção em tempo real. Evite-a quando a relação for fortemente não linear, quando a engenharia de características deve ser feita de forma holística sobre todo o conjunto de dados, ou quando necessita de coeficientes OLS exatos com intervalos de confiança para inferência estatística — use regressão linear em lote nesses casos.

Limitações e considerações

  • Sensível à escolha da taxa de aprendizagem: muito grande causa oscilação, muito pequena causa convergência lenta.
  • Não fornece erros padrão de forma fechada ou valores p, pelo que a inferência estatística clássica não está diretamente disponível.
  • Pode ter dificuldades com características altamente correlacionadas (multicolinearidade) a menos que seja adicionada regularização L2.
  • O desempenho degrada-se em relação ao OLS em lote quando todos os dados já estão disponíveis e não há deriva do conceito.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Processa dados uma observação de cada vez com memória O(p), onde p é o número de características — nenhum conjunto de dados completo é necessário.
  • Adapta-se continuamente à deriva do conceito, tornando-a adequada para ambientes não estacionários como séries temporais financeiras ou fluxos de sensores.
  • Computacionalmente barata por atualização: um único produto escalar e uma adição de vetor de pesos.
  • Naturalmente paralelizável em múltiplos fluxos ou fragmentos.
  • Produz previsões em tempo real sem esperar por uma re-ajustagem em lote.

Aplicações

  • Previsão de preços em tempo real e previsão de demanda em mercados de comércio eletrônico e de energia.
  • Processamento adaptativo de sinais e cancelamento de ruído usando mínimos quadrados recursivos.
  • Atualização contínua do modelo em ambientes de IoT e redes de sensores onde re-ajustes em lote são inviáveis.
  • Regressão de dados de tick financeiro onde o processo de geração de dados muda frequentemente.
  • Pesos de características de sistemas de recomendação em larga escala atualizados à medida que eventos de utilizador chegam.
  • Modelo de fluxo contínuo de linha de base em pipelines AutoML antes que modelos mais complexos sejam considerados.

Como funciona

Como funciona

1

Defina o vetor de pesos para zero (ou um pequeno valor aleatório) e escolha uma taxa de aprendizagem eta que controla o tamanho do passo. Opcionalmente, inicialize um termo de regularização como L2 (Ridge) para evitar que os pesos cresçam sem limites em fluxos não estacionários.

Fórmula
\mathbf{w}_0 = \mathbf{0},\; \eta > 0
2

Para cada observação x_t que chega, calcule a saída prevista como o produto escalar do vetor de pesos atual com o vetor de características. Esta previsão é feita antes que o rótulo verdadeiro y_t seja revelado, espelhando a natureza sequencial de cenários de fluxo contínuo reais.

Fórmula
\hat{y}_t = \mathbf{w}_t^\top \mathbf{x}_t
3

Após a revelação do rótulo verdadeiro, calcule o erro quadrático da previsão. Esta perda instantânea impulsiona o sinal do gradiente; o gradiente da perda quadrática em relação aos pesos é simplesmente o erro vezes o vetor de características.

Fórmula
\ell_t = (y_t - \hat{y}_t)^2
4

Aplique a regra de atualização LMS (mínimos quadrados médios): mova os pesos na direção do gradiente negativo da perda. O tamanho do passo eta controla o compromisso entre a velocidade de adaptação e a sensibilidade ao ruído. Um eta menor resulta numa convergência mais suave; um eta maior adapta-se mais rapidamente, mas corre o risco de oscilação.

Fórmula
\mathbf{w}_{t+1} = \mathbf{w}_t + \eta\,(y_t - \hat{y}_t)\,\mathbf{x}_t
5

Processe a próxima observação imediatamente, ou armazene um pequeno mini-lote para uma variante online de mini-lote. Em cenários não estacionários, uma taxa de aprendizagem decrescente ou um fator de esquecimento de janela deslizante mantém o modelo responsivo à deriva do conceito. Nenhuma re-ajustagem completa é nunca necessária.

Erros comuns

  • Usar uma taxa de aprendizagem fixa em dados com escalas de características muito diferentes — padronize sempre as características online (por exemplo, média e variância correntes) antes de atualizar.
  • Esquecer de adicionar regularização em cenários de alta dimensão ou quase colineares, o que permite que os pesos diverjam em fluxos esparsos.
  • Tratar os pesos online como equivalentes às estimativas OLS e reportá-los com intervalos de confiança OLS — eles não são idênticos.
  • Ignorar a deteção de deriva do conceito: se a distribuição dos dados mudar drasticamente, uma taxa de aprendizagem fixa pode seguir o ruído em vez do sinal.
  • Avaliar a precisão apenas no final de um longo fluxo em vez de usar avaliação prequencial (testar-treinar) ao longo de todo o processo.

Perguntas frequentes

Como a regressão linear online difere da regressão linear padrão (em lote)?

A regressão linear em lote resolve as equações normais em todo o conjunto de dados de uma vez, dando a solução OLS exata. A regressão linear online atualiza os pesos incrementalmente após cada observação usando um passo de gradiente, convergindo para uma solução quase OLS sem nunca carregar todos os dados — ao custo de perder estatísticas de inferência exatas.

Que taxa de aprendizagem devo usar?

Um ponto de partida comum é eta = 0.01 dividido pela norma quadrática esperada dos vetores de características. A pesquisa em grade ou métodos adaptativos (AdaGrad, Adam) escalam automaticamente a taxa de aprendizagem por característica e são frequentemente mais fáceis de ajustar do que uma taxa global fixa.

A regressão linear online pode lidar com a deriva do conceito?

Sim. Uma taxa de aprendizagem constante (não decrescente) mantém o modelo responsivo à deriva. Para mudanças abruptas, testes explícitos de deteção de deriva (por exemplo, ADWIN) podem acionar um reajuste parcial dos pesos. Uma taxa decrescente é melhor quando a relação é estacionária e você deseja convergência eventual.

A regularização é possível no cenário online?

Sim. Adicionar uma penalidade L2 dá a atualização online Ridge (Tikhonov): subtraia uma pequena fração do vetor de pesos atual a cada passo. Isso evita que os pesos se tornem grandes em fluxos esparsos ou ruidosos e é fortemente recomendado em cenários de alta dimensão.

Como avalio um modelo online de forma justa?

Use avaliação prequencial (testar-treinar): registe o erro de previsão em cada observação antes de a usar para atualizar o modelo. Isto fornece uma estimativa não enviesada e sequencial do erro de generalização sem um conjunto de teste separado retido.

Métodos relacionados

Fontes

  1. Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    Abrir referência DOI
    Copiado.
  2. Haykin, S. (2002). Adaptive Filter Theory (4th ed.). Prentice Hall.

    ISBN: 978-0130901262
    Copiado.