Активное обучение с бустингом
- Автор метода
- Abe, N. & Mamitsuka, H.
- Год
- 1998
- Тип
- Hybrid active-learning ensemble
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Активное обучение с бустингом сочетает выборку данных для разметки в активном обучении с логикой взвешенных ансамблей бустинговых алгоритмов, таких как AdaBoost.
Модель итеративно отбирает наиболее информативные неразмеченные примеры для аннотирования — руководствуясь разногласиями или неопределенностью внутри бустингового ансамбля — и переобучается после получения каждой новой метки, достигая высокой точности при гораздо меньшем количестве размеченных примеров, чем при пассивном обучении.
Интуиция метода
Разметка данных — дорогостоящий процесс. Бустинг уже строит сильный классификатор из слабых учеников, фокусируясь на наиболее сложных примерах посредством адаптивного перевзвешивания. Активное обучение использует схожую идею на этапе сбора данных: вместо разметки всего, просим оракула разметить только те примеры, в отношении которых текущий бустинговый ансамбль наиболее неопределен или наиболее разделен. Оба принципа усиливают друг друга — бустинг определяет, какие области являются сложными, а активное обучение концентрирует усилия по разметке именно там, благодаря чему модель эффективно обучается на небольшом бюджете разметки.
История
Стратегии запросов, сочетающие бустинг и бэггинг, были представлены Абе и Мамицукой на ICML 1998, установив, что маржи ансамбля предоставляют принципиальный сигнал неопределенности для активных запросов. Обзор Сеттлса 2009 года консолидировал область и каталогизировал стратегии на основе бустинга наряду с подходами SVM и гауссовских процессов. С тех пор варианты градиентного бустинга (XGBoost, LightGBM) использовались в качестве основы ансамбля в прикладных конвейерах активного обучения в медицине, обработке естественного языка и дистанционном зондировании.
Когда применять
Используйте активное обучение с бустингом, когда разметка данных дорога (клиническая аннотация, экспертная оценка, юридическое кодирование), но имеется большой пул неразмеченных данных, и вы хотите получить высокую точность ансамбля, а не простой модели. Он хорошо подходит для табличных задач классификации с умеренным дисбалансом классов, поскольку бустинг естественным образом фокусируется на сложных экземплярах благодаря перевзвешиванию. Он менее подходит, когда разметка дешева (пассивное обучение на полном наборе может быть проще), когда пул неразмеченных данных мал (нет значительного выигрыша от запросов), когда задача требует принятия решений в реальном времени или в потоковом режиме (стандартный бустинг ориентирован на пакетную обработку), или когда требуется полная интерпретируемость коэффициентов.
Ограничения и замечания
- Требует наличия оракула (человека или автоматизированного) на каждом цикле запроса, что усложняет полностью автоматизированные конвейеры.
- Начальный набор размеченных данных должен быть репрезентативным; смещенный начальный набор приводит к смещенным ранним запросам и медленной сходимости.
- Запрос наиболее неопределенных экземпляров может привести к сдвигу распределения — размеченный набор больше не отражает естественное распределение данных.
- Вычислительные затраты растут с каждым циклом переобучения, особенно для глубоких бустинговых ансамблей на больших пулах.
- Прирост производительности по сравнению с пассивным обучением уменьшается по мере увеличения бюджета разметки.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Резко снижает затраты на разметку, необходимые для достижения заданной цели точности, по сравнению со случайной выборкой.
- Наследует сильную обобщающую способность и устойчивость к дисбалансу классов бустинга за счет адаптивного взвешивания образцов.
- Стратегия запроса напрямую основана на собственной неопределенности модели, что делает ее принципиальной и адаптивной.
- Хорошо работает с табличными данными, содержащими смешанные типы признаков, без необходимости предположений о распределении.
- Совместим с любым вариантом бустинга (AdaBoost, градиентный бустинг, XGBoost) в качестве базового ученика.
Применение
- Аннотирование медицинских записей, где экспертная разметка редка и дорога.
- Классификация документов и текстов с ограниченными размеченными корпусами.
- Картографирование землепользования по данным дистанционного зондирования, где сбор истинных данных требует трудоемких полевых работ.
- Построение модели обнаружения мошенничества, когда подтвержденные метки мошенничества требуют ручной проверки.
- Промышленный контроль качества, где маркировка дефектов требует специализированного осмотра.
Как это работает
Как это работает
Собирается большой пул неразмеченных экземпляров и небольшой начальный набор размеченных примеров. Начальный набор должен быть достаточно репрезентативным для обучения начального слабого бустингового ансамбля; как правило, для начала цикла достаточно нескольких десятков размеченных примеров.
Бустинговый алгоритм (например, AdaBoost или градиентный бустинг) обучается на текущем размеченном наборе. Это дает ансамбль слабых учеников вместе с их весами и, что важно, маржи предсказаний или оценки уверенности для каждого экземпляра, которые будут использоваться стратегией запроса.
Критерий информативности, полученный из бустингового ансамбля, вычисляется для каждого неразмеченного экземпляра. Распространенные стратегии включают запрос экземпляров с наименьшей маржой ансамбля (т.е. выборка по марже), наибольшим разногласием ансамбля или использование весов бустинга для идентификации сложных для классификации областей. Фиксированный пакет наиболее ранжированных экземпляров выбирается для разметки.
Выбранные экземпляры представляются человеку-аннотатору или оракулу для разметки. Это единственный шаг, требующий внешних усилий; его стоимость пропорциональна размеру пакета запросов. Новые размеченные экземпляры добавляются в размеченный обучающий набор.
Бустинговая модель переобучается с нуля — или обновляется инкрементально — на расширенном размеченном наборе. Цикл, начиная с шага 3, повторяется до тех пор, пока не будет исчерпан бюджет разметки или не достигнут порог производительности. Окончательные предсказания производятся полностью обученным бустинговым ансамблем.
Частые ошибки
- Использование начального набора, который слишком мал или нерепрезентативен, что приводит к тому, что первый цикл запросов фокусируется на зашумленных граничных областях.
- Забывание оценить модель на отложенном тестовом наборе, который никогда не использовался в цикле запросов, что приводит к оптимистичным оценкам точности.
- Игнорирование сдвига распределения: сообщение о точности на естественном распределении, когда размеченный набор был выбран активно.
- Применение активного обучения с бустингом, когда стоимость разметки незначительна — дополнительная сложность неоправданна.
- Смешение запросов на основе маржи с отбором выбросов; проверка того, что запрошенные экземпляры действительно информативны, а не просто зашумлены.
Часто задаваемые вопросы
Какой бустинговый алгоритм лучше всего подходит в качестве базового ученика?
Любой вариант бустинга, обеспечивающий оценку уверенности или маржи для каждого экземпляра. AdaBoost наиболее изучен в оригинальной литературе по активному обучению; градиентный бустинг (XGBoost, LightGBM) на практике дает более высокую точность и становится все более распространенным в современных конвейерах.
Насколько большим должен быть начальный размеченный набор данных?
Общее руководство — 1–5% от общего пула или по крайней мере несколько примеров на класс, в зависимости от того, что больше. Слишком маленький начальный набор приводит к нестабильной начальной модели, чьи ранние запросы могут быть ошибочными.
Всегда ли активное обучение с бустингом превосходит случайную выборку?
Не всегда. Когда бюджет разметки велик по сравнению с пулом, случайная выборка приближается к той же точности. Наибольший выигрыш наблюдается в режимах с низким бюджетом, где аннотация дорога, а пул неразмеченных данных велик.
Как справедливо оценить модель?
Выделите тестовый набор до начала цикла активного обучения и никогда не включайте его в решения о запросах или обучение. Оцените окончательный бустинговый ансамбль на этом нетронутом наборе; точность на активно выбранном размеченном наборе оптимистично смещена.
Могу ли я использовать пакетные запросы вместо запроса одного примера за раз?
Да. Пакетное активное обучение выбирает набор разнообразных экземпляров с высокой неопределенностью за цикл, чтобы сократить количество взаимодействий с оракулом. Большинство практических реализаций используют пакеты размером от 10 до 100, балансируя информативность и разнообразие, чтобы избежать запроса очень похожих экземпляров.
Похожие методы
Источники
Abe, N. & Mamitsuka, H. (1998). Query Learning Strategies Using Boosting and Bagging. Proceedings of the 15th International Conference on Machine Learning (ICML 1998), pp. 1–9. Morgan Kaufmann.
Открыть ссылку на публикациюСкопировано.Settles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
Открыть ссылку на публикациюСкопировано.