Полуавтоматическое бустирование (Semi-supervised Boosting)
- Автор метода
- Mallapragada, P. K.; Bennett, K. P.; and others
- Год
- 1999–2009
- Тип
- Semi-supervised ensemble method
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Полуавтоматическое бустирование — это парадигма ансамблевого обучения, которая расширяет классические алгоритмы бустинга, такие как AdaBoost, для использования как размеченных, так и неразмеченных данных.
Распространяя информацию о метках через структуру подобия на неразмеченные экземпляры, оно обучает более сильные классификаторы, чем чистое полуавтоматическое бустирование, когда размеченных данных мало.
Интуиция метода
Классический бустинг итеративно фокусируется на неправильно классифицированных размеченных примерах. Полуавтоматическое бустирование добавляет новое измерение: оно использует геометрическую структуру неразмеченных данных для вывода мягких меток или перевзвешивания примеров. Интуитивно, если две неразмеченные точки очень похожи друг на друга, они должны получить одинаковую метку. Включая это давление согласованности в обновления весов бустинга, ансамбль может лучше обобщаться, даже когда доступно всего несколько размеченных примеров. Результатом является модель, которая заимствует сигнал у неразмеченного большинства, оставаясь при этом под руководством размеченного меньшинства.
История
Идея объединения бустинга с неразмеченными данными возникла в конце 1990-х годов, причем Bennett и Demiriz (1999) были одними из первых, кто исследовал полуавтоматические ансамблевые стратегии. Алгоритм SemiBoost, формализованный Mallapragada et al. в статье IEEE TPAMI 2009 года, стал каноническим эталоном для полуавтоматического бустинга на основе графов. Последующие работы расширили фреймворк на многоклассовые настройки и связали его с теорией регуляризации многообразий, установив полуавтоматическое бустирование как стандартный базовый уровень в литературе по полуавтоматическому обучению.
Когда применять
Полуавтоматическое бустирование подходит, когда размеченные данные редки и дороги в получении, но имеется большой пул легкодоступных неразмеченных данных — что часто встречается при аннотировании медицинских изображений, классификации текстов и мониторинге на основе датчиков. Оно лучше всего подходит для задач бинарной или многоклассовой классификации, где предположение о кластерах или многообразии правдоподобно выполняется (похожие входы имеют одинаковые метки). Избегайте его, когда неразмеченные данные не репрезентативны для тестового распределения, когда предположение о кластерах неправдоподобно (например, данные из принципиально разных процессов), или когда размеченный набор уже достаточно велик, чтобы насытить супервизорный бустер — в этом случае обычный градиентный бустинг будет соответствовать или превосходить его производительность при гораздо меньшей сложности.
Ограничения и замечания
- Производительность резко падает, если неразмеченные данные не имеют того же распределения, что и размеченные данные (сдвиг набора данных).
- Шум псевдо-меток может накапливаться в течение раундов бустинга, приводя к усилению ошибок, когда первоначальные прогнозы плохие.
- Построение графа подобия требует выбора ширины полосы пропускания ядра или количества соседей, что чувствительно и требует валидации.
- Вычислительная стоимость значительно выше, чем у полуавтоматического бустинга, из-за построения графа и пересчета псевдо-меток на каждом этапе.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Использует обильные неразмеченные данные для повышения точности сверх того, что может обеспечить только размеченный набор.
- Наследует высокую эмпирическую производительность и гибкость бустинговых фреймворков, таких как AdaBoost.
- Структура подобия на основе графа делает распространение меток интерпретируемым и настраиваемым.
- Работает с любым базовым учеником, который принимает веса экземпляров, сохраняя модульность фреймворка.
- Стабильно превосходит чистое полуавтоматическое бустирование в режимах низкой частоты размеченных данных, задокументированных в эталонных экспериментах.
Применение
- Классификация текстов и документов, где размеченные корпуса малы, но доступны большие неразмеченные корпуса.
- Классификация медицинских изображений с ограниченным количеством изображений, аннотированных экспертами, наряду с большими неразмеченными архивами.
- Классификация веб-контента с использованием структуры графа гиперссылок в качестве источника подобия.
- Промышленное обнаружение неисправностей с обильными показаниями датчиков, но небольшим количеством вручную размеченных событий неисправностей.
- Задачи биоинформатики, такие как предсказание функций белков, с ограниченным количеством проверенных аннотаций.
Как это работает
Как это работает
Базовый классификатор — обычно решающий пень (decision stump) или неглубокое дерево — обучается на размеченной части набора данных. Это обеспечивает первоначальную гипотезу и настраивает фреймворк бустинга. Всем размеченным экземплярам присваиваются равномерные веса на этом первом этапе.
Парная мера подобия или граф строится на объединенных размеченных и неразмеченных данных, часто с использованием ядра радиальной базисной функции (RBF) или графа k-ближайших соседей. Это кодирует предположение, что близкие точки в пространстве признаков, вероятно, имеют одинаковый класс.
Используя текущую ансамблевую модель и граф подобия, неразмеченным экземплярам присваиваются мягкие псевдо-метки. Точки, близкие к уверенно классифицированным размеченным примерам, наследуют их метки; точки, близкие к границам принятия решений, получают псевдо-метки с низкой степенью уверенности и вносят меньший вклад в обновление.
Текущий слабый ученик подгоняется под расширенный набор данных — размеченные примеры плюс псевдо-размеченные неразмеченные — с использованием распределения весов бустинга. Вес ученика alpha_t вычисляется из взвешенной ошибки, точно так же, как в AdaBoost, но взвешенная ошибка теперь отражает вклады как от размеченных, так и от неразмеченных экземпляров.
Формула
F_t(x) = F_{t-1}(x) + \alpha_t h_t(x)Веса экземпляров обновляются таким образом, чтобы примеры, неправильно классифицированные текущим учеником, получали больший вес на следующем этапе. Для неразмеченных экземпляров обновление веса модулируется уверенностью в псевдо-метке: псевдо-метки с высокой степенью уверенности взвешиваются подобно размеченным примерам, в то время как псевдо-метки с низкой степенью уверенности взвешиваются меньше, чтобы ограничить распространение шума.
После T раундов бустинга окончательный прогноз — это знак взвешенного большинства голосов всех слабых учеников. Ансамбль объединяет сигнал от размеченной супервизии и структурную информацию, распространяемую от неразмеченных данных, в единую, надежную границу принятия решений.
Формула
\hat{y} = \text{sign}\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)Частые ошибки
- Предположение, что неразмеченные данные репрезентативны, без проверки совпадения распределений с размеченными примерами.
- Использование слишком большого количества раундов бустинга с шумными псевдо-метками, что приводит к переобучению модели на неправильных мягких назначениях.
- Игнорирование настройки гиперпараметров графа (ширина полосы пропускания ядра, k в k-NN) — плохое качество графа обесценивает весь шаг распространения.
- Отчетность только по точности без стратифицированных метрик (F1, AUC), когда размеченный набор несбалансирован по классам.
- Пропуск выделенного размеченного тестового набора и оценка на том же размеченном пуле, который использовался для инициализации псевдо-меток.
Часто задаваемые вопросы
Когда полуавтоматическое бустирование превосходит обычный AdaBoost?
Наиболее надежно, когда размеченный набор очень мал — обычно менее нескольких сотен примеров на класс — а неразмеченные данные обильны и взяты из того же распределения. При больших размеченных наборах разрыв сокращается, и стандартный полуавтоматический бустинг проще и быстрее.
Как следует конструировать граф подобия?
Ядро радиальной базисной функции (RBF) с шириной полосы пропускания, настроенной с помощью кросс-валидации на размеченном наборе, является наиболее распространенным выбором. Графы k-ближайших соседей — более простая альтернатива. Ключевым критерием является то, что граф должен соединять примеры одного класса и четко разделять кластеры разных классов.
Какой базовый ученик работает лучше всего?
Решающие пни (деревья глубиной 1) являются стандартным выбором, что соответствует классическому AdaBoost. Неглубокие деревья (глубиной 2–4) могут повысить точность, когда граница принятия решений сложна, но увеличивают риск чрезмерной зависимости от шумных псевдо-меток.
Сколько раундов бустинга необходимо?
Начните со 100–200 раундов и отслеживайте ошибку на размеченной валидационной выборке. В отличие от чистого полуавтоматического бустинга, добавление слишком большого количества раундов может усилить шум псевдо-меток, поэтому настоятельно рекомендуется раннее прекращение обучения на небольшой разметной валидационной выборке.
Является ли дисбаланс классов проблемой?
Да. Когда размеченный пул несбалансирован по классам, первоначальные прогнозы смещены, и псевдо-метки будут распространять это смещение на неразмеченный набор. Перевзвесьте размеченные классы перед обучением или сделайте оверсэмплинг миноритарного класса для смягчения этого.
Похожие методы
Источники
Mallapragada, P. K., Jin, R., Jain, A. K., & Liu, Y. (2009). SemiBoost: Boosting for Semi-supervised Learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(11), 2000–2014.
Открыть ссылку DOIСкопировано.Bennett, K. P., & Demiriz, A. (1999). Semi-supervised Support Vector Machines. Advances in Neural Information Processing Systems (NIPS), 11, 368–374.
Открыть ссылку на публикациюСкопировано.