Линейная регрессия (МО)
- Автор метода
- Legendre, A.-M. & Gauss, C.F.
- Год
- 1805–1809
- Тип
- Supervised regression
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Линейная регрессия устанавливает прямолинейную зависимость между одной или несколькими входными признаками и непрерывным числовым результатом путем минимизации суммы квадратов ошибок прогнозирования.
Как модель машинного обучения, она обучается на размеченных примерах и оценивается на отложенных данных, что делает ее простейшим эталонным методом обучения с учителем для любой задачи регрессии.
Интуиция метода
Представьте, что вы проводите наилучшую подходящую прямую линию через диаграмму рассеяния точек данных. Линейная регрессия делает именно это для множества предикторов одновременно: она находит комбинацию весов признаков, которая минимизирует суммарное квадратичное расстояние между предсказаниями линии и истинными значениями. Поскольку зависимость выражается как простая взвешенная сумма входных данных, каждый коэффициент напрямую показывает, насколько изменяется прогнозируемый результат при увеличении этого признака на единицу, при условии постоянства всех остальных факторов. Эта прозрачность делает линейную регрессию уникально простой для объяснения и аудита, даже если она будет недообучаться всякий раз, когда истинная зависимость является криволинейной или включает взаимодействия.
История
Метод наименьших квадратов был независимо опубликован Лежандром в 1805 году и Гауссом около 1809 года. К середине двадцатого века линейная регрессия стала основополагающим методом прикладной статистики. Ее переосмысление как модели машинного обучения — обучаемой на примерах, оцениваемой на отложенных данных и регуляризованной для предотвращения переобучения — дало ей вторую жизнь в прогнозном моделировании, где она остается каноническим первым шагом для любой регрессионной задачи.
Когда применять
Используйте линейную регрессию, когда результат является непрерывным, ожидаемая зависимость между предикторами и результатом приблизительно линейна, и требуются интерпретируемые коэффициенты. Это правильный начальный эталон перед попыткой использования более сложных моделей, и хорошая окончательная модель, когда ее предположения выполняются. Не используйте ее для бинарных или категориальных результатов (вместо этого используйте логистическую регрессию), когда доминируют сильные нелинейные закономерности или взаимодействия, или когда количество предикторов превышает размер выборки без регуляризации.
Ограничения и замечания
- Предполагает линейную зависимость; упускает кривые, пороговые значения и взаимодействия, если они не закодированы вручную.
- Чувствительна к выбросам, поскольку возведение ошибок в квадрат усиливает влияние экстремальных точек.
- Мультиколлинеарность среди предикторов увеличивает стандартные ошибки и дестабилизирует оценки коэффициентов.
- Требует, чтобы остатки были приблизительно нормально распределены и гомоскедастичны для действительных выводов.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Коэффициенты напрямую интерпретируемы: каждое значение представляет собой предельный эффект в единицах результата.
- Вычислительно тривиальна — подгоняется почти мгновенно даже на больших наборах данных.
- Предоставляет стандартные ошибки и p-значения, поддерживая формальное тестирование гипотез.
- Служит незаменимым эталоном, с которым следует сравнивать более сложные модели.
- Хорошо работает и полностью оправдана, когда выполняется предположение о линейности.
- Высокая совместимость с расширениями регуляризации (Ridge, Lasso, Elastic Net), когда предикторов много.
Применение
- Прогнозирование непрерывного числового результата на основе табличных признаков в любой области.
- Установление базового уровня производительности перед тестированием моделей градиентного бустинга или нейронных сетей.
- Оценка размеров эффекта и предельных воздействий в наблюдательных исследованиях при выполнении предположения о линейности.
- Прогнозирование спроса, моделирование цен и оценка ресурсов в бизнес-аналитике.
- Быстрое разведочное моделирование для выявления наиболее важных предикторов перед более сложным анализом.
- Интерпретируемые функции оценки в ситуациях, где прозрачность модели требуется по закону или этике.
Как это работает
Как это работает
Модель выражает предсказание как взвешенную сумму входных признаков плюс свободный член. Целевая переменная должна быть непрерывной и числовой; категориальные входные данные должны быть закодированы как фиктивные или числовые переменные перед подгонкой.
Формула
\hat{y} = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_pМетод наименьших квадратов находит вектор коэффициентов, минимизирующий сумму квадратов остатков. Для наборов данных умеренного размера это решается аналитически с помощью нормальных уравнений; для очень больших наборов данных вместо этого используются итеративные решатели или стохастический градиентный спуск.
Формула
\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}Коэффициент детерминации (R-квадрат) обобщает, какую долю дисперсии в результате объясняет модель. Он дополняется среднеквадратичной ошибкой (root mean squared error) и средней абсолютной ошибкой (mean absolute error), которые сообщают об ошибках в исходных единицах измерения результата.
Формула
R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}Пригодность оценивается на отложенном тестовом наборе или посредством k-кратной перекрестной проверки для обнаружения переобучения. Остаточные графики — остатки против подогнанных значений и Q-Q график остатков — проверяются для подтверждения линейности, гомоскедастичности и нормальности ошибок перед доверием к выводам.
Частые ошибки
- Экстраполяция предсказаний далеко за пределы диапазона обучающих данных, где линейное приближение нарушается.
- Игнорирование остаточных диагностик и предположение о валидности модели без проверки графиков.
- Включение сильно коррелирующих предикторов без устранения мультиколлинеарности (проверьте VIF).
- Путаница R-квадрата с точностью прогнозирования на новых данных — всегда оценивайте на отложенном наборе.
- Применение линейной регрессии к бинарному или счетному результату вместо логистической или пуассоновской регрессии.
Часто задаваемые вопросы
Чем линейная регрессия отличается от логистической регрессии?
Линейная регрессия напрямую прогнозирует непрерывный результат. Логистическая регрессия моделирует логарифм шансов бинарного исхода и выдает вероятности, ограниченные между 0 и 1. Использование линейной регрессии для бинарного исхода может привести к предсказаниям за пределами [0, 1] и нарушает предположение о постоянстве дисперсии.
Нужно ли стандартизировать мои признаки?
Стандартизация не требуется для предсказаний, но она делает коэффициенты напрямую сопоставимыми, когда признаки имеют очень разные масштабы. Она особенно рекомендуется при использовании регуляризованных вариантов, таких как Ridge или Lasso.
Как справиться с большим количеством предикторов по отношению к размеру выборки?
Переключитесь на регуляризованную линейную регрессию (Ridge для сжатия, Lasso для разреженности, Elastic Net для обоих). Метод наименьших квадратов становится ненадежным или неопределенным, когда количество предикторов приближается или превышает количество наблюдений.
Какие остаточные графики следует проверить?
Как минимум: (1) остатки против подогнанных значений для проверки наличия закономерностей, указывающих на нелинейность или гетероскедастичность, и (2) Q-Q график остатков для оценки нормальности. График масштаба-положения и статистики рычага/влияния (расстояние Кука) также информативны.
Достаточно ли высокого R-квадрата, чтобы объявить модель хорошей?
Нет. R-квадрат измеряет пригодность в выборке и может быть завышен за счет нерелевантных предикторов. Всегда сообщайте перекрестно проверенную RMSE или RMSE на тестовом наборе вместе с R-квадратом и проверяйте остаточные диагностики, чтобы убедиться, что предположения модели выполнены.
Похожие методы
Источники
Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed., Ch. 3). Springer.
ISBN: 978-0-387-84858-7Скопировано.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 3). Springer.
ISBN: 978-1-4614-7138-7Скопировано.