Skip to content
Назад к результатам поиска

Онлайновая линейная регрессия

Автор метода
Widrow, B. & Hoff, M. E. (LMS); Gauss / Plackett (RLS)
Год
1960 (LMS); 1950 (RLS formalization)
Тип
Incremental supervised regression
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Онлайновая линейная регрессия подгоняет линейную модель по одному наблюдению за раз, инкрементально обновляя веса по мере поступления каждой новой точки данных.

В отличие от пакетного метода наименьших квадратов, ей никогда не требуется хранить или повторно обрабатывать полный набор данных, что делает ее естественным выбором для потоковых данных, очень больших наборов данных и сред, где процесс генерации данных может меняться со временем.

Интуиция метода

Представьте себе настройку регуляторов линейного предиктора после каждого отдельного измерения, а не ожидание сбора всех данных. Каждое новое наблюдение говорит вам, насколько ошибочным было ваше текущее предположение, и вы немного сдвигаете вектор весов в направлении, которое уменьшило бы эту ошибку. За множество наблюдений веса сходятся к значениям, близким к решению методом обычных наименьших квадратов — но вы достигли этого, никогда не загружая весь набор данных в память, и вы можете продолжать адаптироваться, если исходная зависимость дрейфует.

История

Теоретические основы восходят к методу наименьших квадратов Гаусса (начало 19 века) и рекурсивной формулировке Плaкетта 1950 года. Практический онлайновый вариант появился с алгоритмом LMS (метод наименьших квадратов) Видроу и Хоффа в 1960 году, первоначально разработанным для адаптивной обработки сигналов. Теория онлайновой выпуклой оптимизации, формализованная Зинкевичем (2003) и всесторонне рассмотренная Шaлевым-Шварцем (2012), поместила онлайновую линейную регрессию в строгие рамки минимизации регрета и продемонстрировала ее почти оптимальные гарантии сходимости.

Когда применять

Используйте онлайновую линейную регрессию, когда данные поступают в виде непрерывного потока и прогнозы должны выдаваться немедленно, когда набор данных слишком велик, чтобы поместиться в памяти для пакетной подгонки, или когда зависимость между предикторами и исходом может дрейфовать со временем, и модель должна адаптироваться. Это также хороший выбор в качестве легковесной базовой линии в производственных системах реального времени. Избегайте ее, когда зависимость сильно нелинейна, когда инжиниринг признаков должен выполняться целостно по всему набору данных, или когда вам нужны точные коэффициенты OLS с доверительными интервалами для статистического вывода — в этих случаях используйте пакетную линейную регрессию.

Ограничения и замечания

  • Чувствительна к выбору скорости обучения: слишком большая вызывает колебания, слишком маленькая — медленное схождение.
  • Не предоставляет стандартных ошибок или p-значений в замкнутой форме, поэтому классический статистический вывод недоступен напрямую.
  • Может испытывать трудности с сильно коррелированными признаками (мультиколлинеарность), если не добавлена L2-регуляризация.
  • Производительность снижается по сравнению с пакетным OLS, когда все данные доступны и нет дрейфа концепции.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Обрабатывает данные по одному наблюдению за раз с памятью O(p), где p — количество признаков — полный набор данных не требуется.
  • Непрерывно адаптируется к дрейфу концепции, что делает ее подходящей для нестационарных сред, таких как финансовые временные ряды или потоки датчиков.
  • Вычислительно дешевое обновление: одно скалярное произведение и сложение векторов весов.
  • Естественно распараллеливается по нескольким потокам или шардам.
  • Выдает прогнозы в реальном времени без ожидания пакетной повторной подгонки.

Применение

  • Прогнозирование цен в реальном времени и прогнозирование спроса в электронной коммерции и на энергетических рынках.
  • Адаптивная обработка сигналов и шумоподавление с использованием рекурсивного метода наименьших квадратов.
  • Непрерывное обновление моделей в средах Интернета вещей и сенсорных сетей, где пакетные повторные подгонки невозможны.
  • Регрессия финансовых тиковых данных, где процесс генерации данных часто меняется.
  • Обновление весов признаков в крупномасштабных рекомендательных системах по мере поступления событий пользователя.
  • Базовая потоковая модель в конвейерах AutoML перед рассмотрением более сложных моделей.

Как это работает

Как это работает

1

Установите вектор весов в ноль (или небольшое случайное значение) и выберите скорость обучения eta, которая контролирует размер шага. Опционально инициализируйте член регуляризации, такой как L2 (Ридж), чтобы предотвратить неограниченный рост весов в нестационарных потоках.

Формула
\mathbf{w}_0 = \mathbf{0},\; \eta > 0
2

Для каждого поступающего наблюдения x_t вычислите прогнозируемый выход как скалярное произведение текущего вектора весов на вектор признаков. Этот прогноз делается до того, как будет раскрыта истинная метка y_t, отражая последовательный характер реальных потоковых настроек.

Формула
\hat{y}_t = \mathbf{w}_t^\top \mathbf{x}_t
3

После раскрытия истинной метки вычислите ошибку прогноза по квадрату. Эта мгновенная потеря является движущей силой градиентного сигнала; градиент квадратичной потери по отношению к весам — это просто ошибка, умноженная на вектор признаков.

Формула
\ell_t = (y_t - \hat{y}_t)^2
4

Примените правило обновления LMS (метод наименьших квадратов): переместите веса в направлении отрицательного градиента потерь. Скорость обучения eta контролирует компромисс между скоростью адаптации и чувствительностью к шуму. Меньшее eta обеспечивает более плавное схождение; большее eta адаптируется быстрее, но рискует вызвать колебания.

Формула
\mathbf{w}_{t+1} = \mathbf{w}_t + \eta\,(y_t - \hat{y}_t)\,\mathbf{x}_t
5

Обработайте следующее наблюдение немедленно или буферизуйте небольшую мини-партию для варианта онлайновой мини-партии. В нестационарных условиях затухающая скорость обучения или фактор забывания скользящего окна сохраняют отзывчивость модели к дрейфу концепции. Полная повторная подгонка никогда не требуется.

Частые ошибки

  • Использование фиксированной скорости обучения на данных с очень разными масштабами признаков — всегда стандартизируйте признаки онлайн (например, с помощью скользящего среднего и дисперсии) перед обновлением.
  • Забывание добавить регуляризацию в высокоразмерных или почти коллинеарных условиях, что позволяет весам расходиться на разреженных потоках.
  • Рассмотрение онлайновых весов как эквивалентных оценкам OLS и представление их с доверительными интервалами OLS — они не идентичны.
  • Игнорирование обнаружения дрейфа концепции: если распределение данных резко смещается, фиксированная скорость обучения может отслеживать шум, а не сигнал.
  • Оценка точности только в конце длинного потока вместо использования преквенциальной (тест-перед обучением) оценки на протяжении всего процесса.

Часто задаваемые вопросы

Чем онлайновая линейная регрессия отличается от стандартной (пакетной) линейной регрессии?

Пакетная линейная регрессия решает нормальные уравнения на всем наборе данных сразу, давая точное решение OLS. Онлайновая линейная регрессия инкрементально обновляет веса после каждого наблюдения, используя градиентный шаг, сходясь к решению, близкому к OLS, без загрузки всех данных — ценой потери точной статистики вывода.

Какую скорость обучения следует использовать?

Общая отправная точка: eta = 0.01, деленное на ожидаемую норму квадратов векторов признаков. Поиск по сетке или адаптивные методы (AdaGrad, Adam) автоматически масштабируют скорость обучения для каждого признака и часто легче настраиваются, чем фиксированная глобальная скорость.

Может ли онлайновая линейная регрессия обрабатывать дрейф концепции?

Да. Постоянная (не затухающая) скорость обучения сохраняет отзывчивость модели к дрейфу. Для резких сдвигов явные тесты обнаружения дрейфа (например, ADWIN) могут инициировать частичный сброс весов. Затухающая скорость лучше, когда зависимость стационарна и вы хотите окончательного схождения.

Возможна ли регуляризация в онлайновом режиме?

Да. Добавление L2-штрафа дает онлайновое обновление Риджа (Тихонова): вычитание небольшой доли текущего вектора весов на каждом шаге. Это предотвращает чрезмерный рост весов на разреженных или зашумленных потоках и настоятельно рекомендуется в высокоразмерных условиях.

Как справедливо оценивать онлайновую модель?

Используйте преквенциальную (тест-перед обучением) оценку: записывайте ошибку прогноза для каждого наблюдения перед использованием его для обновления модели. Это дает несмещенную, последовательную оценку обобщающей ошибки без отдельного отложенного тестового набора.

Похожие методы

Источники

  1. Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    Открыть ссылку DOI
    Скопировано.
  2. Haykin, S. (2002). Adaptive Filter Theory (4th ed.). Prentice Hall.

    ISBN: 978-0130901262
    Скопировано.