Логистическая регрессия (МО)
- Автор метода
- Cox, D. R.
- Год
- 1958
- Тип
- Probabilistic linear classifier
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Логистическая регрессия — это фундаментальный вероятностный классификатор, который моделирует логарифм шансов (log-odds) бинарного (или мультиномиального) исхода как линейную функцию предикторов.
Введенная Д. Р. Коксом в 1958 году, она остается одним из наиболее широко используемых и интерпретируемых методов классификации как в статистике, так и в машинном обучении, ценится за калиброванные вероятностные выходные данные и четкую интерпретацию коэффициентов.
Интуиция метода
Логистическая регрессия отвечает на вопрос: при заданном наборе признаков какова вероятность того, что наблюдение принадлежит к определенному классу? Она подгоняет прямую линию к логарифму шансов исхода, а затем сжимает этот линейный показатель с помощью сигмоидной (S-образной) кривой, чтобы получить вероятность от 0 до 1. Коэффициент каждого предиктора напрямую показывает, как изменение этого признака на единицу смещает логарифм шансов положительного класса, что делает модель очень прозрачной. Прогнозируемая вероятность выше 0,5 классифицируется как положительный класс, хотя этот порог настраивается.
История
Дэвид Кокс формализовал логистическую регрессию для бинарных исходов в 1958 году, расширив более ранние работы по пробит-моделям. В 1970-х–1980-х годах она стала стандартным классификатором в эпидемиологии и социальных науках. Структура максимального правдоподобия, расширенная до мультиномиальных исходов и регуляризованных вариантов, была консолидирована Lasso Тибширани (1996) и книгой Hastie, Tibshirani и Friedman "The Elements of Statistical Learning" (2001). Сегодня она остается каноническим интерпретируемым классификатором и является обязательным базовым уровнем во многих руководствах по рецензированию.
Когда применять
Используйте логистическую регрессию, когда исход бинарный или категориальный, размер выборки как минимум умеренный (правило большого пальца: n > 10 событий на предиктор), и требуются интерпретируемые коэффициенты или калиброванные вероятности. Это классификатор по умолчанию в социальных науках, медицине и эпидемиологии, и его следует попробовать перед более сложными моделями. Избегайте, когда граница принятия решений сильно нелинейна, когда потребуется много членов взаимодействия, или когда точность прогнозирования на сложных табличных данных важнее интерпретируемости — в этих случаях древовидные ансамбли или SVM обычно превосходят ее.
Ограничения и замечания
- Предполагает линейную зависимость между признаками и логарифмом шансов исхода; нелинейные закономерности требуют ручного инжиниринга признаков или нелинейной модели.
- Чувствительна к мультиколлинеарности среди предикторов: коррелированные признаки увеличивают стандартные ошибки коэффициентов и дестабилизируют оценки.
- Требует разумного количества событий на предиктор (правило большого пальца: не менее 10); редкие классы исходов вызывают проблемы сходимости и переобучение.
- Может уступать ансамблевым методам (случайный лес, градиентный бустинг) на сложных табличных данных с множеством взаимодействий.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Производит калиброванные вероятности классов, а не просто метки, которые могут быть непосредственно использованы для ранжирования и установки порогов принятия решений.
- Коэффициенты интерпретируются как отношения шансов (odds ratios), что соответствует стандартам, ожидаемым в клинических, социальных и политических исследованиях.
- Вычислительно быстрая и эффективная по памяти даже на больших наборах данных.
- Регуляризованные варианты (Ridge, Lasso, Elastic Net) обрабатывают высокоразмерные признаки и выполняют автоматический отбор признаков.
- Меньше предположений по сравнению с дискриминантным анализом: не требует многомерной нормальности предикторов.
- Надежный и хорошо изученный; служит сильным, заслуживающим доверия базовым уровнем, с которым следует сравнивать сложные модели.
Применение
- Диагностика заболеваний и оценка клинического риска (например, прогнозирование повторной госпитализации или смертности).
- Кредитный риск и обнаружение мошенничества в финансовой сфере.
- Моделирование бинарных ответов на опросы в социальных науках и эпидемиологии.
- Классификация спама и анализ тональности как быстрая, интерпретируемая текстовая базовая модель.
- Базовый классификатор перед развертыванием более сложных ансамблевых моделей.
Как это работает
Как это работает
Вычисляется взвешенная сумма всех входных признаков. Каждый признак получает коэффициент (вес), который обучается на данных; свободный член (intercept) отражает базовый логарифм шансов, когда все признаки равны нулю. Формально это идентично линейной регрессии, но выходные данные интерпретируются как оценка логарифма шансов, а не как прямое числовое предсказание.
Формула
z = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
Линейный показатель преобразуется сигмоидной функцией, которая отображает любое действительное число в открытый интервал (0, 1). Это дает хорошо калиброванную вероятность класса. Для многоклассовых задач функция softmax обобщает этот шаг для получения распределения вероятностей по всем классам.
Формула
P(y=1|\mathbf{x}) = \sigma(z) = \frac{1}{1 + e^{-z}}Параметры модели оцениваются путем максимизации логарифма правдоподобия наблюдаемых меток при заданных прогнозируемых вероятностях. Это эквивалентно минимизации бинарной кросс-энтропийной потери. В отличие от метода наименьших квадратов, здесь нет аналитического решения: используется итерационный алгоритм оптимизации (обычно метод Ньютона — Рафсона или градиентный спуск).
Формула
\ell(\boldsymbol{\beta}) = \sum_{i=1}^{n} \left[ y_i \log \hat{p}_i + (1-y_i) \log(1-\hat{p}_i) \right]Итеративный решатель — такой как L-BFGS, Ньютон — Рафсон или стохастический градиентный спуск — обновляет вектор коэффициентов до сходимости. Термы регуляризации (L1 или L2) могут быть добавлены к целевой функции для сжатия коэффициентов, предотвращения переобучения и обеспечения автоматического отбора признаков (L1 / Lasso).
Подгоняемая вероятность сравнивается с порогом классификации (по умолчанию 0,5) для присвоения метки класса. В несбалансированных условиях или когда затраты на ложноположительные и ложноотрицательные срабатывания различаются, этот порог следует настраивать с использованием кривой точность-полнота (precision-recall) или ROC-анализа, а не оставлять на уровне 0,5.
Формула
\hat{y} = \mathbf{1}[\hat{p} \geq 0.5]Частые ошибки
- Пропуск разделения на обучающую/тестовую выборки или кросс-валидации и оценка на обучающих данных, что завышает кажущуюся производительность.
- Использование точности как единственной метрики при несбалансированных классах вместо сообщения AUC-ROC, F1 и матрицы ошибок.
- Игнорирование предположения о линейности и применение логистической регрессии к данным с сильно нелинейными границами классов без диагностических проверок.
- Неприменение регуляризации, когда количество предикторов велико по отношению к размеру выборки, что приводит к переобучению.
- Непроверка на мультиколлинеарность (с помощью VIF) перед интерпретацией величин коэффициентов.
Часто задаваемые вопросы
Когда следует предпочесть логистическую регрессию случайному лесу?
Когда вам нужны калиброванные вероятности, интерпретируемые коэффициенты или необходимо соблюсти стандарты отчетности, требующие явных отношений шансов — как в клинических испытаниях или оценке политики. Случайный лес обычно достигает более высокой предсказательной точности, но не дает прямой интерпретации коэффициентов.
Сколько наблюдений мне нужно?
Широко цитируемое эмпирическое правило — не менее 10 событий (положительных исходов) на переменную-предиктор. При меньшем количестве событий оценки параметров становятся нестабильными, а доверительные интервалы ненадежными. Регуляризация или пенализированное правдоподобие могут несколько расширить диапазон применимости.
Следует ли стандартизировать мои признаки?
Стандартизация признаков не требуется для прогнозирования, но она важна при сравнении величин коэффициентов между предикторами или при использовании регуляризации (L1 или L2), поскольку штрафы применяются ко всем коэффициентам в одном масштабе.
В чем разница между бинарной и мультиномиальной логистической регрессией?
Бинарная логистическая регрессия моделирует двуклассовый исход с использованием сигмоидной функции. Мультиномиальная (softmax) логистическая регрессия обобщает это для трех или более неупорядоченных классов, оценивая один набор коэффициентов для каждого класса относительно эталонного класса.
Как справиться с несбалансированностью классов?
Установите class_weight='balanced' в scikit-learn для перевзвешивания функции потерь или выполните оверсэмплинг миноритарного класса (SMOTE). Всегда оценивайте с помощью AUC-ROC и кривых точность-полнота, а не точности, и настраивайте порог классификации на валидационной выборке.
Похожие методы
Источники
Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society, Series B, 20(2), 215–242.
Открыть ссылку DOIСкопировано.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 4). Springer.
ISBN: 978-1-4614-7138-7Скопировано.