Регуляризованная логистическая регрессия
- Автор метода
- Tibshirani, R. (lasso); Hoerl & Kennard (ridge); Zou & Hastie (elastic net)
- Год
- 1996–2005
- Тип
- Penalized classification model
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Регуляризованная логистическая регрессия расширяет стандартную логистическую регрессию добавлением штрафа L1 (lasso), L2 (ridge) или elastic net к логарифмической правдоподобности, сжимая коэффициенты к нулю и предотвращая переобучение.
Это выбор по умолчанию для бинарной или мультиномиальной классификации, когда требуются интерпретируемые, разреженные или устойчивые оценки коэффициентов в пространствах признаков высокой размерности или коллинеарных признаков.
Интуиция метода
Стандартная логистическая регрессия максимизирует вероятность наблюдаемых меток классов. В условиях высокой размерности — множество признаков, мало наблюдений или коррелированные предикторы — оцененные коэффициенты могут неограниченно расти или сильно колебаться, вызывая плохую обобщающую способность. Регуляризация ограничивает величины коэффициентов, добавляя штраф, который растет с размером коэффициента, обменивая небольшое улучшение подгонки на обучающем наборе на гораздо лучшее обобщение. Штраф L1 приводит некоторые коэффициенты точно к нулю (автоматический отбор признаков), штраф L2 плавно сжимает все коэффициенты, не обнуляя их, а elastic net сочетает оба поведения.
История
Регрессия Риджа была формализована Хёрлом и Кеннардом в 1970 году и применена к обобщенным линейным моделям, включая логистическую регрессию. Работа Тибширани 1996 года по Lasso представила регуляризацию L1 с разреженными решениями, трансформировав моделирование высокой размерности. Зу и Хэсти (2005) объединили оба штрафа в elastic net, устранив ограничение Lasso с группами коррелированных признаков. Сегодня регуляризованная логистическая регрессия является фундаментальным алгоритмом в scikit-learn, glmnet (R) и LIBLINEAR, и обычно используется как эталонный классификатор в биомедицинских приложениях и обработке естественного языка.
Когда применять
Используйте регуляризованную логистическую регрессию для бинарной или мультиномиальной классификации, когда требуются интерпретируемые вероятностные выходы, когда количество признаков велико по отношению к размеру выборки, или когда предикторы коррелированы. Это предпочтительная начальная модель в клиническом прогнозировании, классификации текстов с признаками bag-of-words и высокоразмерных исследованиях биомаркеров. Выбирайте L1, когда требуется автоматический отбор признаков, L2 — для устойчивой оценки коэффициентов, и elastic net — когда признаки поступают в коррелированных группах. Избегайте ее, когда зависимость между исходом и признаками сильно нелинейна или когда существуют сильные эффекты взаимодействия, которые линейная формулировка логарифма шансов не может уловить; в таких случаях ансамбли деревьев или методы ядер могут быть более подходящими.
Ограничения и замечания
- Предполагает линейную зависимость между признаками и логарифмом шансов; не может уловить нелинейные эффекты или эффекты взаимодействия без ручного инжиниринга признаков.
- Требует, чтобы исход был категориальным; непрерывные исходы требуют линейной (а не логистической) регрессии.
- Производительность снижается, когда релевантные признаки сильно взаимодействуют, поскольку модель аддитивна по логарифму шансов.
- Оптимальное лямбда должно быть выбрано с помощью перекрестной проверки, что добавляет вычислительные затраты и шаг настройки.
- Сильно несбалансированные классы могут смещать предсказанные вероятности в сторону большинства без перевзвешивания.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Генерирует калиброванные вероятности классов и интерпретируемые, знаковые коэффициенты в отличие от большинства классификаторов типа «черный ящик».
- Штраф L1 выполняет автоматический отбор признаков, создавая разреженные модели, которые легко отчитывать.
- Надежно обрабатывает пространства признаков высокой размерности (p >> n) за счет сжатия коэффициентов.
- Штраф elastic net корректно обрабатывает группы коррелированных признаков, распределяя вес между связанными предикторами.
- Очень быстро подгоняется даже на больших наборах данных с использованием решателей координатного спуска; масштабируется до миллионов наблюдений.
Применение
- Клинические шкалы риска и диагностические классификаторы на основе высокоразмерных панелей биомаркеров.
- Классификация текстов с признаками bag-of-words или TF-IDF, где L1 дает интерпретируемые разреженные веса слов.
- Геномика и протеомика, где количество признаков значительно превышает размер выборки.
- Кредитный скоринг и обнаружение мошенничества, требующие вероятностных выходов для принятия решений на основе пороговых значений.
- Базовый эталон классификации перед оценкой более сложных ансамблевых моделей или моделей глубокого обучения.
Как это работает
Как это работает
Линейная комбинация признаков предсказывает логарифм шансов положительного класса. Сигмоидная функция преобразует логарифм шансов в вероятность от 0 до 1, делая выход непосредственно интерпретируемым как вероятность класса.
Формула
\log\frac{p}{1-p} = \mathbf{x}^\top\boldsymbol{\beta}Целевая функция оптимизации — это отрицательная логарифмическая правдоподобность (перекрестная энтропия) плюс штрафной член. Штраф масштабируется в зависимости от величин коэффициентов, контролируемый гиперпараметрами лямбда (сила) и альфа (смесь L1/L2). Большее лямбда налагает более сильное сжатие; альфа=1 дает чистый lasso, альфа=0 дает чистый ridge.
Формула
\mathcal{L}(\boldsymbol{\beta}) = -\ell(\boldsymbol{\beta}) + \lambda\left[\alpha\|\boldsymbol{\beta}\|_1 + \tfrac{1-\alpha}{2}\|\boldsymbol{\beta}\|_2^2\right]Выбор штрафа определяет поведение: L1 (lasso) дает разреженные решения, обнуляя нерелевантные признаки, и предпочтителен, когда требуется отбор признаков. L2 (ridge) предпочтителен, когда ожидается, что все признаки вносят вклад и коллинеарность высока. Elastic net (альфа между 0 и 1) лучше обрабатывает группы коррелированных признаков, чем один lasso.
Наказанный лосс минимизируется с использованием итеративных алгоритмов, таких как координатный спуск (решатели liblinear/saga в scikit-learn). Оптимальное лямбда определяется перекрестной проверкой, обычно по логарифмической сетке. Стандартизация признаков перед подгонкой имеет решающее значение, чтобы штраф применялся последовательно ко всем предикторам.
Предсказанные вероятности преобразуются в метки классов с использованием порога принятия решения, обычно 0.5 по умолчанию. В несбалансированных условиях порог следует настраивать для балансировки точности и полноты в соответствии со структурой затрат приложения.
Формула
\hat{y} = \mathbf{1}[\hat{p} \ge t]Частые ошибки
- Подгонка без стандартизации признаков: штраф одинаково относится ко всем коэффициентам, поэтому признаки с большими числовыми значениями получают непропорционально меньшее сжатие, искажая решение.
- Использование порога по умолчанию 0.5 без проверки калибровки и баланса классов, что незаметно снижает полноту для миноритарного класса.
- Отчетность только по точности вместо AUC, F1 и метрик калибровки, маскирующая плохую производительность миноритарного класса.
- Пропуск перекрестной проверки для выбора лямбда и вместо этого оценка на обучающих данных, что приводит к переобученным моделям.
- Интерпретация отобранных методом lasso коэффициентов как причинно-следственных без учета смещения из-за пропущенных переменных и нестабильности отбора переменных вблизи границы принятия решений.
Часто задаваемые вопросы
Как выбрать между L1, L2 и elastic net?
Используйте L1, если вы считаете, что только подмножество признаков релевантно и вам нужен автоматический отбор. Используйте L2, если все признаки, вероятно, вносят вклад или предикторы сильно коррелированы, поскольку ridge распределяет вес между коррелированными группами. Используйте elastic net, если вам нужна разреженность, но также есть блоки коррелированных признаков; настраивайте альфа вместе с лямбда с помощью вложенной перекрестной проверки.
Должен ли я стандартизировать признаки перед подгонкой?
Да, всегда. Штрафной член одинаково относится ко всем коэффициентам, поэтому признак с большими числовыми значениями получит пропорционально меньшее сжатие, если не будет стандартизирован. Центрируйте и масштабируйте каждый признак до нулевого среднего и единичной дисперсии перед подгонкой и примените ту же трансформацию к тестовым данным.
Как выбирается лямбда?
Лямбда — это гиперпараметр, выбираемый с помощью перекрестной проверки, обычно k-кратной (k=5 или 10) по логарифмической сетке. В R's glmnet это автоматизировано с помощью cv.glmnet. В scikit-learn следует использовать LogisticRegressionCV или GridSearchCV с перекрестной проверкой по обратному коэффициенту регуляризации C (C=1/лямбда).
Дает ли регуляризованная логистическая регрессия калиброванные вероятности?
В целом да, лучше, чем ансамбли деревьев, потому что логистическая регрессия напрямую моделирует вероятности классов через сигмоиду. Однако экстремальная регуляризация может сжать предсказанные вероятности к 0.5. При необходимости можно выполнить перекалибровку с помощью масштабирования Платта или изотонической регрессии.
Как справиться с несбалансированностью классов?
Установите class_weight='balanced' (scikit-learn), чтобы наблюдения миноритарного класса получили больший вес потерь, или вручную передискретизируйте обучающий набор. Также настройте порог принятия решения, используя кривую точность-полнота, а не фиксируя его на 0.5.
Похожие методы
Источники
Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.
Открыть ссылку DOIСкопировано.Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 4, 18). Springer.
ISBN: 978-0-387-84857-0Скопировано.