Активное обучение
- Автор метода
- Burr Settles
- Год
- 2009
- Тип
- Interactive supervised learning framework
- Семейство
- Interactive ML
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Активное обучение — это итерационная парадигма машинного обучения, в которой обучающий алгоритм выборочно запрашивает у оракула — как правило, человека-аннотатора — метки для наиболее информативных неразмеченных примеров.
Формализованное Берром Сеттлсом в его основополагающем обзоре литературы 2009 года, активное обучение решает практическую проблему стоимости аннотирования, достигая высокой точности модели при гораздо меньшем количестве размеченных примеров, чем требуется для пассивного обучения с учителем.
Интуиция метода
Представьте себе студента-медика, который вместо того, чтобы запоминать каждую страницу учебника, спрашивает лечащего врача только о самых сложных случаях. Студент учится быстрее, фокусируясь на неопределенности, а не на повторении примеров, которые он уже понимает. Активное обучение работает так же: модель определяет примеры, в которых она больше всего сомневается, запрашивает человеческие метки для этих конкретных экземпляров и обновляет себя — повторяя этот цикл до тех пор, пока производительность не станет удовлетворительной.
История
Концепция выборочного запроса информативных обучающих примеров восходит к оптимальному планированию экспериментов Федорова (1972) и обучению по запросу Коэна и др. (1994). Область была существенно объединена и популяризирована в техническом отчете Берра Сеттлса 2009 года, который каталогизировал стратегии запросов, теоретические границы и приложения в НЛП, биоинформатике и компьютерном зрении. Глубокое активное обучение появилось после 2016 года, когда нейронные сети стали доминирующим классом моделей, что привело к появлению новых методов оценки неопределенности.
Когда применять
Активное обучение наиболее полезно, когда неразмеченных данных много, но экспертная аннотация дорога, медленна или редка — что часто встречается в медицинской визуализации, классификации юридических документов, курации научных данных и обработке естественного языка. Оно предполагает наличие оракула и возможность стратегии запроса осмысленно идентифицировать информативные примеры. Оно менее подходит, когда стоимость аннотирования незначительна, пул неразмеченных данных мал, или распределение задач существенно смещается между запросами. Альтернативы включают обучение с частичным привлечением данных (когда метки не могут быть получены интерактивно) и самообучение (когда запросы к оракулу невозможны).
Ограничения и замечания
- Стратегии запросов могут вносить смещение выборки, приводя к тому, что размеченный набор не будет репрезентативным для истинного распределения данных.
- Прирост производительности сильно зависит от выбора стратегии запроса, которая специфична для задачи и модели.
- Переобучение модели после каждого запроса вычислительно затратно для больших нейронных сетей.
- Шум оракула (разногласия или ошибки аннотатора) может снизить производительность, если он явно не смоделирован.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Резко снижает стоимость разметки, фокусируя усилия по аннотированию на максимально информативных примерах.
- Применимо к любому обучающемуся с учителем — классификации, регрессии, структурированному прогнозированию — без изменения базовой архитектуры модели.
- Теоретически обосновано: выборка неопределенности и комитет запросов имеют обоснования PAC-обучения и байесовские обоснования.
- Совместимо с рабочими процессами краудсорсинга и современными платформами аннотирования.
Применение
- Аннотирование медицинских изображений (радиология, патология), где экспертная разметка дорога и редка.
- Распознавание именованных сущностей и извлечение отношений в НЛП, сокращая потребность в корпусах, размеченных вручную.
- Открытие лекарств: выбор молекулярных кандидатов для синтеза и анализа.
- Классификация данных дистанционного зондирования и спутниковых изображений с ограниченным количеством истинных меток.
- Автономное вождение: приоритизация аннотирования редких или критически важных для безопасности сценариев вождения.
Как это работает
Как это работает
Процесс начинается с большого пула неразмеченных примеров U и изначально пустого размеченного набора L. Базовая модель может быть предварительно обучена на любых доступных размеченных начальных данных или инициализирована случайным образом. Это разделение размеченных и неразмеченных данных является определяющим структурным предположением активного обучения на основе пула.
Формула
\mathcal{U} = \{\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n\}, \quad \mathcal{L} = \emptysetНа каждой итерации обучающийся оценивает каждый неразмеченный экземпляр в соответствии с критерием информативности — здесь выборка неопределенности выбирает пример, максимальная апостериорная вероятность класса которого является самой низкой, что указывает на максимальную неопределенность модели. Альтернативные критерии включают разногласия в комитете запросов и ожидаемое изменение модели.
Формула
\mathbf{x}^* = \arg\max_{\mathbf{x} \in \mathcal{U}} \phi(\mathbf{x}; \theta), \quad \phi(\mathbf{x}) = 1 - \max_{y} P_\theta(y \mid \mathbf{x})Выбранный экземпляр x* представляется оракулу (человеку-эксперту, краудсорсинговой платформе или автоматизированному аннотатору), который предоставляет метку y*. Новая размеченная пара перемещается из U в L, и счетчик бюджета запросов уменьшается. Стоимость оракула обычно рассматривается как равномерная за запрос.
Формула
y^* = \mathcal{O}(\mathbf{x}^*), \quad \mathcal{L} \leftarrow \mathcal{L} \cup \{(\mathbf{x}^*, y^*)\}, \quad \mathcal{U} \leftarrow \mathcal{U} \setminus \{\mathbf{x}^*\}Параметры модели переобучаются (или донастраиваются) на текущем размеченном наборе L путем минимизации эмпирической потери. Обновленная модель затем повторно оценивает оставшийся пул, и цикл запроса-выбора-метки-переобучения повторяется до тех пор, пока не будет исчерпан бюджет или не будет достигнут целевой порог точности.
Формула
\theta^* = \arg\min_\theta \frac{1}{|\mathcal{L}|} \sum_{(\mathbf{x},y) \in \mathcal{L}} \mathcal{L}_{\text{loss}}(f_\theta(\mathbf{x}), y)Частые ошибки
- Проблема холодного старта: при очень малом количестве начальных меток оценки неопределенности ненадежны, что приводит к плохим ранним запросам.
- Активное обучение в пакетном режиме может выбирать избыточные экземпляры, если игнорируются корреляции между запросами.
- Применение активного обучения к глубоким нейронным сетям с неопределенностью на основе dropout (например, MC Dropout) может недооценивать неопределенность в областях вне распределения.
- Сравнение запусков активного обучения по различным начальным значениям или бюджетам запросов без доверительных интервалов приводит к вводящим в заблуждение выводам о превосходстве стратегий.
Часто задаваемые вопросы
Чем активное обучение отличается от обучения с частичным привлечением данных?
Обучение с частичным привлечением данных использует структуру неразмеченных данных (например, кластеризацию, предположения о многообразии) без запроса к оракулу, обновляя модель с использованием псевдо-меток или регуляризации согласованности. Активное обучение явно запрашивает истинные метки у оракула для выбранных примеров. Оба подхода являются взаимодополняющими и могут быть объединены.
Какую стратегию запросов следует использовать на практике?
Выборка неопределенности является наиболее широко используемым базовым методом и хорошо работает для бинарных и многоклассовых классификаторов. Комитет запросов предпочтительнее, когда ансамбль уже доступен. Ожидаемое изменение модели или BALD (байесовское активное обучение по разногласиям), как правило, показывают лучшие результаты для глубоких моделей, но являются более вычислительно затратными. Начните с выборки неопределенности и сравните с альтернативами.
Можно ли применять активное обучение к задачам регрессии?
Да. Для регрессии информативность обычно измеряется дисперсией прогноза (например, из гауссовского процесса или ансамбля), а не энтропией вероятности класса. Обучающийся запрашивает точки, где дисперсия максимальна. Это стандартная практика в байесовской оптимизации и проектировании экспериментов на основе суррогатных моделей.
Похожие методы
Источники
Settles, B. (2009). Active learning literature survey. University of Wisconsin-Madison Computer Sciences Technical Report 1648.
Открыть ссылку на публикациюСкопировано.