Skip to content
Назад к результатам поиска

Логистическая регрессия с частичной разметкой

Автор метода
Nigam, K.; McCallum, A. et al. (EM variant); Yarowsky, D. (self-training)
Год
1995–2000
Тип
Semi-supervised classifier
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Логистическая регрессия с полуавтоматическим обучением расширяет стандартный логистический классификатор за счет включения неразмеченных данных в процессе обучения.

Используя обертки на основе самообучения (self-training), ожидания-максимизации (expectation-maximization) или распространения меток (label-propagation), она итеративно присваивает нечеткие метки неразмеченным примерам и уточняет параметры модели, улучшая обобщающую способность, когда размеченных данных недостаточно по сравнению с полным набором данных.

Интуиция метода

Представьте себе обучение классификатора заболеваний при наличии всего 50 подтвержденных диагнозов, но 5000 записей о пациентах, исход которых неизвестен. Стандартная логистическая регрессия полностью игнорирует эти неразмеченные записи. Логистическая регрессия с полуавтоматическим обучением использует собственные вероятностные предсказания модели для присвоения предварительных меток неразмеченным случаям, переобучается на расширенном наборе псевдо-размеченных данных и повторяет процесс. Каждая итерация смещает границу принятия решений в сторону областей высокой плотности данных, фактически позволяя неразмеченным данным определять положение границы без необходимости дорогостоящей экспертной разметки.

История

Полуавтоматическое обучение вероятностных классификаторов было систематизировано в конце 1990-х годов. Yarowsky (1995) популяризировал самообучение для задач обработки естественного языка (NLP), а Nigam et al. (2000) формализовали подход EM для классификации текстов с использованием наивного байесовского классификатора и моделей, подобных логистической регрессии. Том 2006 года от MIT Press под редакцией Chapelle, Scholkopf и Zien консолидировал теоретические основы. Логистическая регрессия с полуавтоматическим обучением теперь является стандартной техникой в условиях ограниченных бюджетов на разметку, реализованной в обертке SelfTrainingClassifier библиотеки scikit-learn и специализированных библиотеках SSL.

Когда применять

Выбирайте логистическую регрессию с полуавтоматическим обучением, когда размеченных примеров мало — обычно, когда доля размеченных данных составляет менее 20% от общего объема доступных данных — но существует большой пул неразмеченных данных из того же распределения, а разметка является дорогостоящей. Она хорошо подходит для классификации текстов, прогнозирования клинических исходов и исследований на основе опросов, где исходы наблюдаются частично. Не используйте ее, когда неразмеченные данные поступают из другого распределения, чем размеченные (сдвиг ковариат), когда метки отсутствуют не случайным образом и это отсутствие информативно, или когда размеченный набор уже достаточно велик, чтобы стандартная логистическая регрессия обеспечивала хорошую производительность — в этих случаях шум псевдо-меток приносит больше вреда, чем пользы.

Ограничения и замечания

  • Если начальные размеченные данные слишком немногочисленны или нерепрезентативны, ранние псевдо-метки будут зашумлены, и ошибки будут накапливаться между итерациями.
  • Предполагает, что неразмеченные данные извлечены из того же распределения, что и размеченные данные — это предположение нарушается во многих сценариях сбора данных в реальном мире.
  • Сходимость к локальному оптимуму не гарантирует улучшения по сравнению с базовой моделью с полным обучением.
  • Пороги уверенности при самообучении требуют настройки и нетривиально взаимодействуют с дисбалансом классов.
  • Интерпретация коэффициентов становится сложнее, поскольку эффективный обучающий набор включает алгоритмически сгенерированные метки.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Использует большие пулы неразмеченных данных для улучшения логистического классификатора без дополнительных затрат на разметку.
  • Сохраняет интерпретируемость коэффициентов логистической регрессии и отношений шансов (odds ratios).
  • Обертка самообучения (self-training wrapper) не зависит от модели и легко добавляется к любому существующему конвейеру логистической регрессии.
  • Вариант EM обеспечивает принципиальную вероятностную основу с формальной гарантией сходимости.
  • Регуляризацию (L1/L2) можно легко объединить для контроля переобучения на псевдо-размеченных данных.

Применение

  • Прогнозирование клинических исходов, когда только подмножество пациентов имеет подтвержденные диагнозы.
  • Классификация текстов с большими корпусами и небольшими наборами данных, размеченных экспертами.
  • Исследования на основе опросов, когда респонденты отвечают только на часть вопросов об исходах.
  • Анализ тональности и извлечение мнений с частично размеченными данными из социальных сетей.
  • Обнаружение мошенничества, когда подтвержденные случаи мошенничества редки, но объемы транзакций велики.
  • Исследования медицинской визуализации, когда метки от радиологов доступны для подмножества снимков.

Как это работает

Как это работает

1

На имеющихся размеченных примерах подгоняется стандартная модель логистической регрессии. Это дает начальные оценки коэффициентов и оценки вероятности класса для каждого наблюдения. Даже при малом количестве меток этот «теплый старт» создает разумную начальную границу принятия решений, которую последующие итерации будут уточнять.

2

Обученная модель оценивает каждый неразмеченный пример, генерируя апостериорную вероятность P(y=k | x) для каждого класса. При самообучении примерам, максимальная вероятность которых превышает порог уверенности, присваивается жесткая псевдо-метка. В подходах на основе EM вместо жесткого класса присваиваются нечеткие дробные принадлежности, сохраняя неопределенность явной на протяжении всего процесса.

Формула
\hat{y}_u = \arg\max_k \, p(y=k \mid x_u; \theta)
3

Логистическая регрессия переподгоняется на объединенном наборе истинно размеченных примеров и псевдо-размеченных (или нечетко размеченных) неразмеченных примеров. Применяется регуляризация — L1 или L2 — чтобы предотвратить слишком агрессивное смещение коэффициентов в сторону зашумленного сигнала псевдо-меток из-за расширенного набора данных.

4

Шаги оценки неразмеченных данных и переобучения повторяются до сходимости — обычно, когда изменение логарифмической правдоподобности или значений коэффициентов между итерациями падает ниже малого допуска. Вариант EM формально чередует E-шаг (вычисление ожидаемых меток) и M-шаг (максимизация логарифмической правдоподобности полных данных).

5

После сходимости финальная модель оценивается на отложенном разменном тестовом наборе с использованием стандартных метрик, таких как точность (accuracy), AUC и F1. Перекрестная проверка (cross-validation) должна проводиться только на размеченном разделе, чтобы избежать утечки меток из неразмеченного пула в оценку валидности.

Частые ошибки

  • Включение неразмеченных примеров в набор для валидации или тестирования, что завышает оценки производительности за счет утечки информации о распределении.
  • Установка низкого порога уверенности, который переполняет обучающий набор неуверенными псевдо-метками, усугубляя ранние ошибки.
  • Игнорирование дисбаланса классов при присвоении псевдо-меток, что приводит к доминированию основного класса в последующих итерациях.
  • Рассмотрение псевдо-размеченных данных как эквивалентных истинно размеченным данным при последующей квантификации неопределенности или проверке значимости.
  • Пропуск регуляризации на расширенном обучающем наборе, позволяющий шуму псевдо-меток привести к переобучению.

Часто задаваемые вопросы

Чем логистическая регрессия с полуавтоматическим обучением отличается от стандартной логистической регрессии?

Стандартная логистическая регрессия использует только размеченные примеры. Вариант с полуавтоматическим обучением итеративно присваивает предварительные метки неразмеченным данным и включает их в переобучение, поэтому граница принятия решений формируется как подтвержденными метками, так и структурой большего набора неразмеченных данных.

Какой порог уверенности следует использовать для самообучения?

Общие отправные точки — 0.85–0.95 для бинарной классификации. Правильный порог зависит от баланса классов и качества меток. Настройте его на размеченном валидационном наборе и отслеживайте долю неразмеченных примеров, добавляемых на каждой итерации, чтобы избежать переполнения неуверенными псевдо-метками.

Могу ли я по-прежнему интерпретировать коэффициенты как отношения шансов?

Да, но с осторожностью. Оцененные коэффициенты сохраняют интерпретацию логарифма шансов, но их доверительные интервалы занижены, поскольку псевдо-размеченные данные рассматриваются как реальные наблюдения. Выводы о значимости следует делать только на основе истинно размеченной части.

Что, если мои неразмеченные данные поступают из другого временного периода или источника?

Сдвиг распределения между размеченными и неразмеченными наборами является одним из основных сценариев отказа. Если неразмеченные данные поступают из другой совокупности или периода, псевдо-метки могут усилить систематические ошибки. Проверьте наличие сдвига ковариат перед продолжением.

Существует ли готовая реализация?

Да. SelfTrainingClassifier из библиотеки scikit-learn оборачивает любой вероятностный классификатор, включая LogisticRegression, для самообучения. Вариант EM требует ручной реализации или специализированных библиотек SSL, таких как SKSSL или LASSL.

Похожие методы

Источники

  1. Nigam, K., McCallum, A., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39, 103–134.

    Открыть ссылку DOI
    Скопировано.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Скопировано.