Skip to content
Назад к результатам поиска

Стекирование ансамблей с частичной разметкой

Автор метода
Combines Wolpert (1992) stacking with semi-supervised learning principles
Год
2000s–2010s
Тип
Ensemble (stacked generalization with unlabeled data augmentation)
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Полуавтоматическое стекирование ансамблей расширяет классическую структуру стекированной обобщенности на случаи, когда метки несут лишь доли обучающих примеров.

Базовые модели сначала обучаются на размеченных данных, затем используются для присвоения псевдометок неразмеченным примерам; расширенный набор данных обучает более сильные базовые модели, чьи предсказания вне фолда формируют входные данные для мета-обучателя, создавая двухуровневый ансамбль, который использует как размеченную, так и неразмеченную структуру.

Интуиция метода

Стекирование уже превосходит отдельные модели, обучая мета-обучателя на предсказаниях разнообразных базовых моделей. Полуавтоматическое стекирование добавляет еще один трюк: вместо того, чтобы отбрасывать большой пул неразмеченных примеров, оно использует текущие базовые модели для угадывания их меток с некоторым порогом уверенности, возвращает эти псевдо-размеченные примеры обратно в обучение, переобучает базовые модели и повторяет. Каждая итерация дает базовым моделям больше данных для обучения, поэтому мета-признаки, которые они производят для мета-обучателя, становятся все более информативными — и все это без необходимости дополнительной ручной разметки.

История

Стекированная обобщенность была формализована Волпертом в 1992 году как способ объединения нескольких моделей посредством обученного мета-обучателя. Принципы полуавтоматического обучения — использование неразмеченных данных для улучшения контролируемых моделей — были консолидированы Шапеллем, Шёлкопфом и Зиеном в их томе MIT Press 2006 года. Явное объединение этих двух подходов, полуавтоматическое стекирование, появилось в прикладной литературе по машинному обучению в 2000-х и 2010-х годах, с особым принятием в соревновательном машинном обучении и в областях, где разметка дефицитна.

Когда применять

Используйте полуавтоматическое стекирование, когда у вас есть задача классификации или регрессии с небольшим размеченным набором данных и большим пулом неразмеченных векторов признаков — распространенная ситуация в медицинской визуализации, обработке естественного языка или дистанционном зондировании, где разметка дорога. Это особенно эффективно, когда неразмеченные данные взяты из того же распределения, что и размеченные данные, и когда доступны по крайней мере 3–5 разнообразных семейств базовых моделей. Избегайте этого, когда пул неразмеченных данных мал (не давая преимущества перед стандартным стекированием), когда размеченный набор уже достаточно велик, чтобы прирост от полуавтоматического обучения был незначительным, или когда подозревается сдвиг распределения между размеченными и неразмеченными примерами, поскольку ошибки псевдометок будут накапливаться по итерациям.

Ограничения и замечания

  • Ошибки псевдометок накапливаются по итерациям; если начальные базовые модели слабы, ошибочные псевдометки могут ухудшить, а не улучшить производительность.
  • Поверхность гиперпараметров широка: количество итераций, порог уверенности, количество фолдов и разнообразие базовых моделей — все это взаимодействует.
  • Вычислительно затратно: k-кратное переобучение нескольких базовых моделей повторяется в течение нескольких итераций, поэтому время выполнения быстро растет.
  • Требует, чтобы распределение неразмеченных данных тесно соответствовало распределению размеченных данных; сдвиг ковариат аннулирует предположение о псевдо-разметке.
  • Интерпретируемость низкая — два стекированных уровня плюс итеративная псевдо-разметка затрудняют отслеживание того, как было сформировано любое отдельное предсказание.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Использует большие пулы неразмеченных данных без дополнительных затрат на разметку, часто существенно повышая точность по сравнению с чисто контролируемым стекированием.
  • Наследует все преимущества классического стекирования: разнообразие базовых моделей одновременно снижает дисперсию и смещение.
  • Гибкость: любая контролируемая модель может служить базовой или мета-моделью, что делает структуру широко применимой.
  • Пороговая обработка уверенности обеспечивает принципиальный механизм контроля качества псевдометок, вводимых на каждой итерации.
  • Хорошо масштабируется — неразмеченные данные дешевы, поэтому метод становится более ценным по мере роста соотношения неразмеченных к размеченным примерам.

Применение

  • Классификация медицинских изображений, где размеченные сканы редки, а неразмеченные сканы многочисленны.
  • Задачи обработки естественного языка (тональность, тема) с большими неразмеченными корпусами и небольшими размеченными обучающими наборами.
  • Классификация землепокрытия в дистанционном зондировании с использованием обильных спутниковых снимков с небольшим количеством наземных меток.
  • Обнаружение мошенничества, где подтвержденные случаи мошенничества редки по сравнению с непроверенными транзакциями.
  • Задачи биоинформатики, такие как предсказание функций белков, с ограниченным числом экспериментально подтвержденных примеров.

Как это работает

Как это работает

1

Базовые модели (например, градиентно-усиленные деревья, SVM, нейронные сети) обучаются на размеченной подвыборке. Затем они предсказывают вероятности классов для каждого неразмеченного примера; примеры, максимальная предсказанная вероятность которых превышает порог уверенности, получают псевдометки и добавляются в рабочий обучающий набор для следующей итерации.

2

Разнообразные базовые модели (пере)обучаются на объединенном наборе истинно-размеченных и псевдо-размеченных примеров с использованием k-кратной перекрестной проверки для предотвращения утечки данных. Разнообразие между базовыми моделями — в семействе алгоритмов, силе регуляризации или подмножествах признаков — имеет решающее значение; однородные стеки мало выигрывают от второго уровня.

3

Предсказания вне фолда от каждой базовой модели на размеченных примерах собираются в матрицу мета-признаков. Каждая строка соответствует размеченному обучающему примеру; каждый столбец — это предсказание одной базовой модели, оцененное на фолде, который не видел этот пример, сохраняя несмещенное представление для мета-обучателя.

4

Мета-обучатель (обычно логистическая регрессия, мелкая нейронная сеть или другая древовидная модель) обучается на матрице мета-признаков с истинными метками. Он учится наилучшим образом комбинировать выходные данные базовых моделей, корректируя их систематические смещения и используя их комплементарные сильные стороны.

5

Шаги 1–4 повторяются в течение фиксированного числа итераций или до тех пор, пока набор псевдометок не стабилизируется (мало новых примеров пересекает порог уверенности). На каждом проходе порог уверенности может быть немного ослаблен для включения большего количества неразмеченных данных, но требуется осторожность: слишком низкий порог распространяет ошибочные псевдометки и ухудшает производительность.

Частые ошибки

  • Установка слишком низкого порога уверенности на ранних итерациях, затапливая обучающий набор шумными псевдометками, которые ухудшают качество базовых моделей.
  • Использование только одной или двух сильно коррелированных базовых моделей; без разнообразия мета-обучатель получает избыточные сигналы, и стек не превосходит одну модель.
  • Неиспользование перекрестной проверки при генерации мета-признаков, что приводит к утечке данных, которая раздувает точность обучения и вводит в заблуждение обучение мета-обучателя.
  • Оценка конечной производительности на псевдо-размеченных примерах вместо выделенного истинно-размеченного тестового набора, что приводит к чрезмерно оптимистичным метрикам.
  • Игнорирование сходимости — выполнение слишком большого количества итераций после стабилизации набора псевдометок тратит вычислительные ресурсы и рискует переобучением на уверенных, но неверных предсказаниях.

Часто задаваемые вопросы

Как выбрать порог уверенности для псевдо-разметки?

Общая отправная точка — 0.9 или выше для классификации, что означает, что только примеры, где вероятность ведущего класса превышает 90%, получают псевдометку. Порог может быть ослаблен на более поздних итерациях по мере улучшения базовых моделей. Всегда отслеживайте точность на валидационном наборе по итерациям, чтобы выявить значения порога, которые вводят слишком много шума.

Какие базовые модели следует использовать?

Ключевым принципом является разнообразие. Типичная комбинация включает градиентно-усиленные деревья (например, XGBoost), SVM с радиальным ядром и нейронную сеть. Комбинирование моделей, различающихся по профилю смещения-дисперсии и по взаимосвязям признаков, которые они улавливают, дает наиболее информативные мета-признаки для второго уровня.

Чем это отличается от стандартного стекирования?

Стандартное стекирование использует только размеченные данные. Полуавтоматическое стекирование добавляет цикл псевдо-разметки, который итеративно расширяет эффективный обучающий набор высокоуверенными неразмеченными примерами, поэтому оно наиболее полезно, когда размеченных данных мало, а неразмеченных — много.

Может ли оно обрабатывать регрессию так же хорошо, как и классификацию?

Да. Для регрессии пороговая обработка уверенности заменяется критерием, основанным на остатках — например, включением псевдо-размеченных примеров, чье предсказанное значение стабильно (низкая дисперсия) по базовым моделям. Затем мета-обучатель комбинирует непрерывные выходные данные, а не вероятности классов.

Каков риск ошибок распространения меток?

Если начальные базовые модели неточны, их уверенные предсказания все равно могут быть неверными, и эти ошибки усиливаются на последующих итерациях. Использование высокого начального порога уверенности, отслеживание выделенного размеченного валидационного набора по итерациям и остановка, когда производительность на валидации перестает улучшаться, являются основными мерами защиты.

Похожие методы

Источники

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.

    Открыть ссылку DOI
    Скопировано.
  2. Chapelle, O., Schölkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Скопировано.