Skip to content
Назад к результатам поиска

Активное обучение со стекированием ансамбля

Автор метода
Wolpert, D. H. (stacking); Settles, B. (active learning survey)
Год
1992–2012
Тип
Hybrid (active learning + stacked ensemble)
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Активное обучение со стекированием ансамбля объединяет цикл запросов активного обучения с методом стекирования обобщений (stacked generalization): имеется пул неразмеченных данных, и модель итеративно выбирает наиболее информативные экземпляры для разметки человеком, используя эти метки для обучения и уточнения стекированного ансамбля из нескольких базовых моделей, увенчанного мета-моделью.

Такой подход снижает затраты на аннотирование, максимизируя при этом предсказательную силу ансамбля.

Интуиция метода

Разметка данных — дорогостоящий процесс. Активное обучение задает вопрос: какие неразмеченные примеры больше всего научат модель? Измеряя неопределенность или разногласия между базовыми моделями стекированного ансамбля, система может направить аннотатора к примерам, в которых ансамбль наиболее сбит с толку. Каждый новый размеченный пример подается обратно в конвейер стекирования, обновляя как базовые модели, так и мета-модель. Результатом является мощный ансамбль, построенный с использованием гораздо меньшего количества меток, чем потребовалось бы при стандартном обучении с учителем.

История

Стекирование обобщений было предложено Дэвидом Вольпертом в 1992 году как способ объединения разнообразных базовых моделей с помощью мета-модели. Активное обучение как систематическая структура для выбора информативных примеров было всесторонне рассмотрено Бёрром Сеттлсом в 2012 году. Комбинация — применение стратегий активных запросов к ансамблевым или стекированным архитектурам — возникла в 2000-х и 2010-х годах, когда исследователи стремились снизить затраты на аннотирование для сложных моделей, и теперь является устоявшейся парадигмой в области машинного обучения с низким уровнем ресурсов и эффективного аннотирования.

Когда применять

Используйте активное обучение со стекированием ансамбля, когда размеченные данные редки или дороги в получении, имеется большой пул неразмеченных данных, и требуется высокая предсказательная точность. Это особенно ценно в таких областях, как медицинская аннотация, классификация юридических документов и маркировка научных изображений, где время эксперта ограничено. Не используйте этот подход, когда все данные могут быть дешево размечены — стандартное стекирование будет проще и столь же эффективно. Избегайте его, когда пул неразмеченных данных мал (активный выбор дает мало преимуществ) или когда требуются предсказания в реальном времени во время цикла запросов, поскольку переобучение стека после каждого запроса вычислительно затратно.

Ограничения и замечания

  • Переобучение полного стекированного ансамбля после каждого запроса вычислительно затратно для больших наборов базовых моделей.
  • Проектирование стратегии запросов нетривиально: плохая функция приобретения может выбирать избыточные или неинформативные примеры.
  • Мета-модель требует достаточного количества размеченных данных для изучения надежных весов комбинации; при очень малом количестве меток мета-признаки являются зашумленными.
  • Задержка обратной связи от человека-оракула может замедлить итеративный цикл на практике.
  • Производительность сильно зависит от разнообразия базовых моделей и выбранной мета-модели.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Достигает высокой предсказательной точности с меньшим количеством размеченных примеров, чем при пассивном обучении со стекированием.
  • Разнообразие ансамбля из нескольких базовых моделей делает оценки неопределенности запросов более надежными.
  • Мета-модель адаптивно комбинирует базовые модели, корректируя смещение каждой базовой модели.
  • Совместимость практически с любой комбинацией базовых моделей и мета-модели.
  • Систематически снижает бюджет на аннотирование, делая время эксперта более эффективным.

Применение

  • Классификация медицинских изображений или клинических записей с ограниченным количеством аннотированных случаев.
  • Классификация юридических и нормативных документов, где аннотирование экспертами дорого.
  • Маркировка научных данных в биологии, химии и дистанционном зондировании.
  • Анализ тональности и классификация текстов при нехватке размеченных данных в конкретной предметной области.
  • Обнаружение мошенничества, где метки истинности требуют ручного расследования.
  • Любая задача предсказания на табличных данных с большим пулом неразмеченных данных и ограниченным бюджетом на разметку.

Как это работает

Как это работает

1

Небольшой начальный набор размеченных примеров используется для подгонки начальных базовых моделей в стеке. Остальные данные остаются неразмеченными в пуле кандидатов. Этот начальный набор определяет отправную точку для всех последующих активных запросов.

2

Функция приобретения — такая как неопределенность предсказания, выбор по разнице или разногласия в запросах между базовыми моделями — оценивает каждый неразмеченный кандидат. Экземпляр с наивысшей оценкой выбирается как наиболее информативный для разметки.

3

Выбранный экземпляр предъявляется аннотатору-человеку или автоматическому оракулу, который присваивает ему истинную метку. Этот размеченный пример добавляется в обучающий набор для следующего раунда обучения.

4

С обновленным размеченным набором каждая базовая модель (например, дерево решений, SVM, логистическая регрессия) переобучается. Предсказания вне фолда (out-of-fold predictions) от базовых моделей на обучающем наборе формируют матрицу мета-признаков, используемую для обучения мета-модели.

5

Мета-модель (обычно логистическая регрессия или линейная модель) обучается на мета-признаках, полученных от базовых моделей. Она учится наилучшим образом комбинировать их предсказания, корректируя систематические ошибки каждой базовой модели.

6

Шаги 2–5 повторяются для фиксированного бюджета запросов или до тех пор, пока производительность модели на отложенном валидационном наборе не стабилизируется. Окончательный стекированный ансамбль — это модель, обученная на всех накопленных размеченных данных.

Частые ошибки

  • Использование только одной базовой модели — это устраняет разнообразие ансамбля, которое делает сигналы активных запросов надежными.
  • Запросы большими пакетами без промежуточного переобучения, что сводит на нет преимущества инкрементной обратной связи.
  • Оценка только на обучающих данных после каждого раунда, а не на отложенном валидационном наборе.
  • Игнорирование дисбаланса классов при выборе запросов, что может привести к тому, что активный цикл будет чрезмерно выбирать примеры из большинства классов.
  • Смешение производительности начального размеченного набора с производительностью конечной модели.

Часто задаваемые вопросы

Какая стратегия запросов лучше всего подходит для стекированного ансамбля?

Запрос по комитету (query-by-committee), который измеряет разногласия между базовыми моделями, является естественным выбором, поскольку базовые модели уже образуют комитет. Также распространено использование выборки по неопределенности (uncertainty sampling) на выходе мета-модели, что проще в реализации.

Сколько размеченных примеров мне нужно для начала?

Требуется начальный набор как минимум из одного репрезентативного примера для каждого класса; на практике 10–50 размеченных примеров на класс дают базовым моделям достаточно сигнала для генерации осмысленных оценок неопределенности для первого раунда запросов.

Лучше ли запрашивать по одному примеру за раз или пакетами?

Обновления по одному запросу максимизируют информативность, но требуют переобучения после каждой метки, что дорого. Пакетное активное обучение (batch-mode active learning) выбирает пакет разнообразных запросов одновременно и переобучается один раз за пакет, предлагая практический компромисс между стоимостью и приростом информации.

Могу ли я использовать глубокие модели в качестве базовых моделей в стеке?

Да, но переобучение глубоких моделей после каждого раунда активных запросов очень дорого. Распространенным компромиссом является периодическое замораживание или дообучение (fine-tuning) базовых моделей при более частом выполнении цикла запросов с мета-моделью.

Когда мне следует прекратить запросы?

Прекратите, когда производительность на валидационном наборе стабилизируется в течение нескольких раундов, когда исчерпан бюджет на разметку, или когда функция приобретения присваивает всем оставшимся кандидатам равномерно низкие оценки информативности — указывая на то, что модель усвоила большую часть того, что может предложить пул.

Похожие методы

Источники

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.

    Открыть ссылку DOI
    Скопировано.
  2. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning. Morgan & Claypool Publishers.

    Открыть ссылку DOI
    Скопировано.