Skip to content
Назад к результатам поиска

Полуавтоматический градиентный бустинг

Автор метода
Chapelle, Scholkopf & Zien (eds.); applied to GBM variants in subsequent literature
Год
2006–2010s
Тип
Semi-supervised ensemble (self-training + gradient boosted trees)
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Полуавтоматический градиентный бустинг (Semi-supervised gradient boosting) объединяет градиентно-бустированные деревья с самообучением или псевдомаркировкой для использования больших объемов неразмеченных данных наряду с небольшим размеченным набором.

Первоначальная подгонка GBM на размеченных данных присваивает уверенные предсказания неразмеченным примерам; эти псевдомаркированные точки включаются обратно в обучение, и модель переобучается с усилением (re-boosted), итеративно до сходимости. Это позволяет практикам использовать дешевые неразмеченные данные, когда метки редки или дороги.

Интуиция метода

Представьте, что у вас есть 200 размеченных ответов на опрос и 10 000 неразмеченных. Модель градиентного бустинга, обученная только на 200 размеченных примерах, уже достаточно хороша. Полуавтоматический градиентный бустинг использует эту модель для классификации неразмеченных ответов, в которых она уверена, предварительно маркирует их, а затем переобучается на гораздо большем объединенном наборе. Цикл повторяется: каждый раунд модель улучшается, поскольку она видит больше примеров, а лучшие предсказания переводятся в более качественные псевдометки для следующего раунда. Неразмеченное большинство фактически действует как бесплатное средство регуляризации и устройство для аугментации данных.

История

Полуавтоматическое обучение (Semi-supervised learning) было систематизировано в томе 2006 года издательства MIT Press под редакцией Chapelle, Scholkopf и Zien. Вариант самообучения / псевдомаркировки восходит к Yarowsky (1995) в области обработки естественного языка (NLP) и был позже формализован Lee (2013) в контексте глубоких сетей, но тот же принцип напрямую применим к градиентно-бустированным деревьям. CatBoost (Prokhorenkova et al., 2018) представил встроенные полуавтоматические расширения; последующие работы исследовали расписания псевдомаркировки и калибровку уверенности специально для GBM в биомедицинских и промышленных условиях в 2010-х и 2020-х годах.

Когда применять

Используйте полуавтоматический градиентный бустинг, когда размеченных данных мало (например, менее нескольких сотен примеров), но имеется большое количество неразмеченных данных из того же распределения, а сбор дополнительных меток дорог. Он хорошо подходит для табличных задач классификации и регрессии, где модель градиентного бустинга сама по себе уже показывает приличные результаты на размеченном наборе. Избегайте его, когда: размеченные и неразмеченные данные поступают из разных распределений (сдвиг распределения усилит ошибку); точность базовой модели на размеченных данных очень низка (плохие псевдометки искажают переобучение); или размеченный набор уже достаточно велик, чтобы насытить стандартный GBM, в этом случае накладные расходы на полуавтоматический режим дают незначительную выгоду.

Ограничения и замечания

  • Качество псевдометок зависит от базовой модели; слабая начальная модель может исказить последующие итерации.
  • Предполагает, что размеченные и неразмеченные данные взяты из одного распределения — нарушение этого приводит к усилению ошибок.
  • Настройка порога (tau) добавляет гиперпараметр без принципиального значения по умолчанию.
  • Вычислительные затраты растут с каждой итерацией самообучения, особенно на больших неразмеченных пулах.
  • Валидация должна проводиться только на размеченных данных; стандартная перекрестная валидация на дополненном наборе завышает оценки.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Использует дешевые неразмеченные данные для улучшения производительности, когда метки дороги или редки.
  • Совместим с любой реализацией градиентного бустинга (XGBoost, LightGBM, CatBoost, scikit-learn) без архитектурных изменений.
  • Пороговая фильтрация по уверенности обеспечивает встроенный контроль качества, ограничивающий шум псевдометок.
  • Сохраняет полную предсказательную мощность и моделирование взаимодействий признаков градиентно-бустированных деревьев.
  • Итеративное уточнение позволяет постепенно включать неразмеченные данные по мере улучшения модели.

Применение

  • Медицинская диагностика, где размеченные записи пациентов ограничены, но неразмеченные клинические заметки многочисленны.
  • Промышленное обнаружение дефектов с использованием небольшого набора размеченных примеров неисправностей и большого потока неразмеченных данных производства.
  • Классификация текстов и анализ тональности с использованием размеченных начальных примеров, дополненных неразмеченными корпусами.
  • Кредитный скоринг, когда только часть исторических заявок имеет проверенные исходы дефолта.
  • Дистанционное зондирование и геопространственная классификация, сочетающая несколько размеченных полевых измерений с большими неразмеченными признаками спутниковых снимков.

Как это работает

Как это работает

1

Стандартная модель градиентного бустинга (XGBoost, LightGBM, CatBoost, scikit-learn GBM и т. д.) обучается на доступных размеченных примерах с использованием стандартной минимизации потерь при обучении с учителем. Эта базовая модель должна быть хотя бы умеренно точной, чтобы псевдомаркировка помогала, а не вредила.

2

Базовая модель применяется к каждому неразмеченному примеру. Предсказания, превышающие порог уверенности tau (например, вероятность предсказания выше 0.9 для классификации или предсказания в узком интервале для регрессии), принимаются в качестве псевдометок. Фильтрация по высокой уверенности ограничивает распространение ошибок на ранних раундах.

Формула
\hat{y}_u = f^{(t)}(x_u),\; \text{confidence} \geq \tau
3

Принятые псевдомаркированные примеры добавляются к размеченному обучающему набору, опционально с весом ниже 1.0, чтобы отразить их неопределенное происхождение. Объединенный набор данных теперь значительно больше и может лучше покрывать пространство признаков.

4

Новая модель градиентного бустинга обучается с нуля (или с продолжением обучения) на дополненном наборе данных. Поскольку градиентный бустинг по своей природе последователен и чувствителен к шуму в метках, мониторинг потерь на валидационном наборе размеченных данных имеет важное значение для обнаружения деградации, вызванной шумными псевдометками.

5

Шаги 2–4 повторяются фиксированное количество раундов или до сходимости, определяемой как незначительное изменение метрики валидации или отсутствие новых неразмеченных примеров, пересекающих порог уверенности. На каждом раунде порог уверенности может постепенно ослабляться, чтобы включить больше псевдомаркированных данных.

Частые ошибки

  • Использование псевдомаркированных данных в фолде валидации, что дает оптимистично смещенную оценку производительности.
  • Установка порога уверенности слишком низким на ранних раундах, перегружая переобучение шумными метками и вызывая отрицательный перенос.
  • Игнорирование сдвига распределения между размеченными и неразмеченными данными, что может снизить производительность ниже базового уровня обучения с учителем.
  • Неспособность присвоить псевдомаркированным примерам вес ниже 1.0, придавая неопределенным предсказаниям такое же значение, как и проверенным человеком меткам.
  • Остановка после одного раунда псевдомаркировки вместо итераций до сходимости.

Часто задаваемые вопросы

Как выбрать порог уверенности?

Начинайте консервативно — для бинарной классификации значения выше 0.9 часто используются в первом раунде. Отслеживайте точность валидации на размеченном наборе после каждого раунда и постепенно ослабляйте порог только в том случае, если производительность сохраняется или улучшается. Нет единого принципиального значения; рассматривайте его как настраиваемый гиперпараметр.

Следует ли присваивать псевдомаркированным примерам такой же вес, как и размеченным?

Обычно нет. Присвоение веса менее 1.0 (например, 0.5) псевдомаркированным примерам снижает влияние неопределенных предсказаний на функцию потерь. Некоторые реализации связывают вес с предсказанной моделью уверенностью, придавая больший вес псевдометкам с более высокой уверенностью.

Когда полуавтоматический градиентный бустинг ухудшает производительность?

Он ухудшает, когда начальная модель слишком слаба, чтобы дать надежные псевдометки, когда размеченные и неразмеченные данные отличаются по распределению, или когда неразмеченный набор мал по сравнению с размеченным. В этих сценариях стандартный GBM, обученный только на размеченных данных, обычно безопаснее.

Отличается ли это от встроенного полуавтоматического режима CatBoost?

CatBoost реализует полуавтоматическое обучение нативно, совместно оптимизируя потери при обучении с учителем на размеченных данных и потери при обучении без учителя или псевдомаркировке на неразмеченных данных в рамках одного тренировочного прогона, что может быть более стабильным, чем итеративная внешняя псевдомаркировка. Ручные циклы самообучения более универсальны и работают с любой библиотекой GBM.

Сколько итераций псевдомаркировки требуется?

Обычно достаточно 3–10 раундов; сходимость определяется, когда метрика валидации на размеченном наборе перестает улучшаться или количество вновь принятых псевдометок падает почти до нуля. Большее количество раундов рискует усугубить ошибки псевдометок.

Похожие методы

Источники

  1. Yarowsky, D. (1995). Unsupervised word sense disambiguation rivaling supervised methods. Proceedings of ACL 1995, 189–196. (Foundational self-training framework underlying pseudo-label approaches.)

    Открыть ссылку на публикацию
    Скопировано.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Скопировано.