Активное обучение с LightGBM
- Автор метода
- Settles, B. (active learning); Ke, G. et al. (LightGBM)
- Год
- 2017–present
- Тип
- Hybrid (active learning query strategy + gradient boosting classifier)
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Active Learning LightGBM сочетает стратегию выбора запросов с высокой эффективностью активного обучения с скоростью и точностью LightGBM, основанной на гистограммах системы градиентного бустинга.
Модель итеративно выбирает наиболее информативные неразмеченные экземпляры для аннотирования человеком, переобучает LightGBM на растущем размеченном наборе и сходится к высокой точности с гораздо меньшим количеством размеченных примеров, чем пассивное обучение с учителем.
Интуиция метода
Разметка данных — дорогостоящий процесс. Active Learning LightGBM решает эту проблему, используя текущую модель LightGBM для определения того, в каких неразмеченных образцах она наиболее неуверена — тех, что находятся вблизи границы принятия решений, или с наибольшей энтропией предсказания — и запрашивая у аннотатора только эти метки. Поскольку LightGBM быстро обучается и производит хорошо откалиброванные оценки вероятности посредством градиентного бустинга, этот сигнал неуверенности является надежным. За несколько раундов запросов модель учится, где ей больше всего нужна информация, повышая точность при минимальных усилиях по аннотированию.
История
Активное обучение как область было систематизировано Settles (2012), опираясь на более ранние работы по выборочной выборке и обучению по запросам из 1990-х годов. LightGBM был представлен Ke et al. на NeurIPS 2017 как высокоэффективная реализация градиентного бустинга, использующая гистограммные разбиения и рост по листьям. Их комбинация стала популярной в прикладном машинном обучении примерно с 2018 года, особенно в аннотировании биомедицинских текстов, дистанционном зондировании и контроле качества в промышленности, где затраты на разметку высоки, а табличные или богатые признаками данные обильны.
Когда применять
Используйте Active Learning LightGBM, когда стоимость аннотирования является основным ограничением: существуют большие пулы неразмеченных табличных данных, но разметка каждого экземпляра дорога по времени или деньгам, и требуется точность уровня LightGBM. Он превосходен, когда распределение классов несбалансировано или неразмеченных данных много, а размеченных мало. Не используйте его, когда весь набор данных может быть дешево размечен, когда данные поступают только как полностью размеченный пакет (достаточно пассивного обучения), когда оракул (аннотатор) ненадежен или недоступен в интерактивном режиме, или когда интерпретируемость каждого решения строго требуется без пост-хок инструментов.
Ограничения и замечания
- Стратегия запросов и критерий остановки требуют тщательного выбора; неправильный выбор приводит к пустой трате бюджета на разметку.
- Каждый раунд вносит задержку при переобучении с нуля; большие наборы данных с множеством раундов могут быть медленными.
- Производительность зависит от надежного оракула; шумные или непоследовательные человеческие метки быстро ухудшают модель.
- Не подходит для чисто потоковых или онлайн-настроек без адаптации к инкрементальному обучению LightGBM.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Резко снижает усилия по аннотированию, фокусируя разметку на наиболее информативных экземплярах.
- Скорость LightGBM позволяет быстро переобучать между раундами запросов, делая интерактивные рабочие процессы практичными.
- Хорошо обрабатывает высокоразмерные табличные данные, включая категориальные признаки благодаря встроенной поддержке LightGBM.
- Совместим с несколькими стратегиями запросов (выборка по неуверенности, разница, энтропия, комитет запросов).
- Естественно обрабатывает несбалансированность классов с помощью параметров LightGBM class-weight и scale-pos-weight.
Применение
- Аннотирование медицинских записей и клинический NLP, где экспертная разметка дорога.
- Дистанционное зондирование и классификация спутниковых изображений с частичным покрытием наземной истиной.
- Промышленное обнаружение дефектов на табличных данных датчиков с дорогостоящей ручной проверкой.
- Обнаружение мошенничества и оценка рисков с ограниченным количеством подтвержденных меток мошенничества.
- Отбор научной литературы в систематических обзорах для приоритезации документов для полного чтения.
Как это работает
Как это работает
Небольшой начальный набор размеченных примеров выбирается случайным образом из доступных данных. Они формируют начальный обучающий пул. Оставшиеся неразмеченные экземпляры формируют пул запросов, из которого модель будет запрашивать аннотации в последующих раундах.
LightGBM обучается на текущем размеченном пуле, используя рост дерева по листьям на основе гистограмм, что обеспечивает быструю тренировку и высокую предсказательную производительность даже на небольших размеченных наборах. Оценки вероятности для каждого класса производятся для всех экземпляров в неразмеченном пуле.
Функция приобретения оценивает каждый неразмеченный экземпляр по его информативности — обычно энтропия предсказания H(y|x), выборка по разнице или разногласие в комитете запросов. Экземпляр(ы) с наивысшей оценкой выбираются для аннотирования в этом раунде.
Формула
x^* = \arg\max_{x \in U}\, H(y \mid x, \mathcal{L})Выбранный(е) экземпляр(ы) представляются человеческому оракулу — эксперту в предметной области, платформе краудсорсинга или автоматическому разметчику — который предоставляет истинную метку класса. Это единственный шаг, требующий внешнего ввода; его стоимость и надежность напрямую ограничивают количество возможных раундов запросов.
Новоразмеченные экземпляры добавляются в обучающий пул, и LightGBM переобучается с нуля (или обновляется инкрементально, где это поддерживается). Цикл повторяется до тех пор, пока не будет достигнут бюджет разметки, порог точности или максимальное количество раундов запросов.
Частые ошибки
- Оценка производительности только на активно выбранном размеченном наборе, который смещен в сторону сложных примеров — всегда выделяйте случайный тестовый набор перед началом цикла AL.
- Игнорирование чувствительности к холодному старту: если начальный набор слишком мал или нерепрезентативен, ранние запросы могут быть вводящими в заблуждение.
- Использование неоткалиброванных вероятностей в качестве оценок неуверенности без проверки калибровки LightGBM (помогает масштабирование Платта или изотоническая регрессия).
- Рассмотрение размеченного пула как i.i.d. при сообщении метрик обобщения — активно выбранный набор не является случайной выборкой из генеральной совокупности.
Часто задаваемые вопросы
Какая стратегия запросов лучше всего работает с LightGBM?
Выборка по неуверенности через энтропию предсказания является наиболее распространенной отправной точкой, поскольку LightGBM напрямую производит вероятности классов. Выборка по разнице (разница между двумя наиболее вероятными классами) часто более надежна, когда количество классов очень неравно. Комитет запросов требует обучения нескольких моделей, но может уменьшить смещение оценок неуверенности одной модели.
Сколько размеченных примеров нужно для начала?
Требуется начальный набор как минимум из одного примера на класс; на практике 10–50 случайно выбранных размеченных экземпляров на класс дают LightGBM достаточно сигнала для производства значимых оценок неуверенности для первого раунда запросов.
Следует ли переобучать LightGBM с нуля каждый раунд?
Переобучение с нуля гарантирует, что модель полностью отражает обновленный размеченный набор и является стандартной практикой. Для очень больших наборов данных или множества раундов существуют инкрементальные подходы, но они требуют осторожности, чтобы избежать дрейфа модели.
Как узнать, когда прекратить запросы?
Общие правила остановки включают: достижение фиксированного бюджета разметки, плато точности на отложенной валидационной выборке в течение нескольких раундов или падение максимальной оценки неуверенности ниже порога. Мониторинг производительности случайной отложенной тестовой выборки по раундам является наиболее надежным индикатором.
Является ли Active Learning LightGBM тем же, что и полуавтоматическое обучение?
Нет. Полуавтоматическое обучение использует неразмеченные данные непосредственно в обучении (например, псевдо-метки или регуляризацию согласованности). Активное обучение запрашивает человеческий оракул для получения истинных меток для выбранных неразмеченных экземпляров; неразмеченные данные без запрошенной метки просто не используются для обучения.
Похожие методы
Источники
Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.
Открыть ссылку DOIСкопировано.Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q., & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems, 30, 3146–3154.
Открыть ссылку на публикациюСкопировано.