Skip to content
Назад к результатам поиска

Активное обучение логистической регрессии

Автор метода
Lewis, D. D. & Gale, W. A.; Settles, B. (survey)
Год
1994–2010
Тип
Active learning framework with logistic regression base learner
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Активное обучение с логистической регрессией — это итеративный, ресурсоэффективный фреймворк, в котором модель логистической регрессии выбирает неразмеченные примеры, в отношении которых она наиболее неопределенна; оракул (человек-аннотатор) размечает их, а модель переобучается.

Этот процесс повторяется до тех пор, пока не будет достигнут бюджет разметки или целевая точность. Он значительно снижает затраты на аннотирование по сравнению со случайной разметкой.

Интуиция метода

Разметка данных — дорогостоящий процесс. Вместо аннотирования случайной выборки представьте, что логистическая модель указывает только на те примеры, где её предсказанная вероятность наиболее близка к 0.5 — это означает, что она действительно не может принять решение. Эксперт размечает только эти пограничные случаи, и модель переобучается. Поскольку каждый размеченный пример несёт максимальный объём информации, модель достигает хорошей точности с гораздо меньшим количеством разметок, чем при пассивном обучении. Логистическая регрессия здесь предпочтительна, потому что она предоставляет калиброванные вероятности, которые напрямую отражают неопределённость.

История

Активное обучение как фреймворк было формализовано в начале 1990-х годов. Льюис и Гейл (Lewis and Gale, 1994) представили выборку по неопределённости для классификации текста с использованием наивного байесовского классификатора, и этот подход был быстро адаптирован к логистической регрессии. Обзор Сеттлза (Settles, 2010) стал каноническим справочником, каталогизирующим стратегии запросов, включая наименьшую уверенность (least confidence), выборку по отступу (margin sampling) и энтропию. Логистическая регрессия остаётся наиболее часто цитируемым базовым классификатором в бенчмарках активного обучения на основе пула, потому что её вероятности калиброваны, а стоимость переобучения низка.

Когда применять

Используйте активное обучение с логистической регрессией, когда аннотирование дорого (медицинские записи, юридические документы, специализированные опросы) и неразмеченных данных много, но общий бюджет разметки ограничен. Оно отлично подходит для бинарной или многоклассовой классификации текста, анализа настроений и клинического кодирования, когда признаки достаточно линейно разделимы. Избегайте его, когда (а) граница принятия решений сильно нелинейна, и логистическая регрессия не может её смоделировать даже с помощью инженерии признаков, (б) оракул ненадёжен или его многократный запрос дорог, (в) размеченный пул уже достаточно велик для полного обучения с учителем, или (г) неразмеченный пул слишком мал, чтобы получить выгоду от выборочных запросов.

Ограничения и замечания

  • Производительность ухудшается, когда истинная граница принятия решений нелинейна; в таких случаях предпочтительнее использовать SVM с ядром или нейронный активный обучающийся алгоритм.
  • Выборка по неопределённости может создать смещённый размеченный набор, который перепредставляет пограничные экземпляры и недопредставляет основную часть каждого класса.
  • Требует многократного взаимодействия с оракулом, что увеличивает логистические накладные расходы по сравнению с одной партией разметки.
  • Холодный старт: начальный набор сильно влияет на ранние запросы, поэтому плохо выбранный начальный набор может замедлить сходимость.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Значительно сокращает количество разметок, необходимых для достижения целевой точности, по сравнению со случайной выборкой.
  • Логистическая регрессия обеспечивает нативно калиброванные вероятности, что делает оценки неопределённости надёжными без дополнительной калибровки.
  • Прозрачность и возможность аудита: линейная модель и критерий запроса поддаются проверке.
  • Вычислительно дёшево переобучать после каждого запроса, что позволяет использовать рабочие процессы аннотирования в реальном или почти реальном времени.
  • Бесшовно переносится на классификацию текста с использованием TF-IDF или представлений признаков «мешка слов».

Применение

  • Классификация текста и анализ настроений с ограниченными размеченными корпусами.
  • Кодирование медицинских записей и клиническая обработка естественного языка (NLP), где экспертная аннотация дорога.
  • Конвейеры активной аннотации для опросов в социальных науках и модерации контента.
  • Обратная связь по релевантности в информационном поиске, где пользователи размечают только неопределённые документы.
  • Начальная загрузка распознавания биомедицинских сущностей с минимальными начальными аннотациями.

Как это работает

Как это работает

1

Собирается небольшой начальный набор размеченных примеров — часто от 10 до нескольких сотен экземпляров в зависимости от предметной области. Модель логистической регрессии обучается на этом начальном наборе для установления исходной границы принятия решений. Оставшиеся неразмеченные экземпляры формируют пул, из которого будут выбираться запросы.

2

Логистическая регрессия строит линейную границу принятия решений, максимизируя логарифмическое правдоподобие размеченного набора. Выходные данные — это вероятность P(y=1|x) = sigmoid(w^T x) для каждого экземпляра. Поскольку логистическая регрессия производит калиброванные вероятности, её оценки достоверности напрямую интерпретируются как оценки неопределённости — ключевая причина, по которой она естественным образом сочетается с активным обучением.

Формула
P(y=1 \mid x) = \sigma(\mathbf{w}^\top x)
3

Каждый неразмеченный экземпляр в пуле оценивается по критерию неопределённости. Наиболее распространённым является выборка по наименьшей уверенности (least-confidence sampling): модель выбирает экземпляр, чья максимальная вероятность класса является наименьшей (т.е. модель наименее уверена). Для бинарных задач это сводится к выбору точек, ближайших к границе принятия решений (предсказанная вероятность наиболее близка к 0.5).

Формула
x^* = \arg\min_{x \in U} \max_y P(y \mid x, \hat{\theta})
4

Наиболее неопределённый экземпляр (или пакет из k наиболее неопределённых экземпляров) представляется человеку-аннотатору или оракулу для разметки. Оракул предоставляет истинную метку класса, которая добавляется к размеченному обучающему набору. Фиксированный бюджет разметки определяет, сколько запросов разрешено сделать циклу.

5

Модель логистической регрессии переобучается на расширенном размеченном наборе. Производительность оценивается на отложенном валидационном наборе. Если бюджет не исчерпан и целевая точность не достигнута, цикл возвращается к шагу оценки неопределённости. Процесс завершается, когда исчерпан бюджет или производительность стабилизируется.

Частые ошибки

  • Оценка производительности только на активно выбранном размеченном наборе, а не на отдельном i.i.d. отложенном наборе, что завышает оценки точности.
  • Игнорирование дисбаланса классов в начальном наборе — несбалансированный начальный набор приводит к тому, что модель запрашивает почти исключительно из границы миноритарного класса.
  • Применение выборки по неопределённости к пулу с распределительным сдвигом между размеченными и неразмеченными данными без взвешивания по плотности или коррекции репрезентативности.
  • Рассмотрение конечной модели как стандартной логистической регрессии без учёта смещённой выборки при сообщении доверительных интервалов или проверке гипотез.

Часто задаваемые вопросы

Почему стоит использовать логистическую регрессию вместо более мощной модели?

Логистическая регрессия обеспечивает хорошо калиброванные вероятности, быстро переобучается после каждого запроса и интерпретируема — всё это критически важно в циклах активного обучения, где модель обновляется многократно, а оценки неопределённости должны быть надёжными. Более сложные модели могут быть использованы, но они увеличивают стоимость переобучения и могут потребовать калибровки вероятностей (например, масштабирование Платта для SVM).

Сколько начальных разметок мне нужно, чтобы начать?

Нет фиксированного правила, но 10–50 размеченных примеров на класс являются обычными отправными точками в литературе. Слишком мало начальных разметок приводит к нестабильной начальной модели, чьи оценки неопределённости ненадёжны; слишком много сводит на нет цель активного обучения.

В чём разница между выборкой по неопределённости и запросом комитетом?

Выборка по неопределённости использует уверенность предсказания одной модели для выбора запросов. Запрос комитетом обучает комитет моделей и выбирает точки, по которым они расходятся больше всего. Для логистической регрессии выборка по неопределённости (наименьшая уверенность или энтропия) более распространена, поскольку ей нужна только одна модель.

Могу ли я использовать пакетные запросы вместо поодиночных?

Да. Активное обучение в пакетном режиме выбирает k наиболее неопределённых экземпляров за раунд, чтобы уменьшить частоту взаимодействия с оракулом. Распространённая эвристика — использовать размер пакета 10–50, переобучаясь после каждого пакета, а не после каждого отдельного запроса.

Как оценить кривую активного обучения?

Постройте график точности классификации (или F1, AUC) на фиксированном отложенном тестовом наборе как функцию от количества запрошенных разметок. Сравните эту кривую с базовой линией случайной выборки. Площадь под кривой обучения относительно случайной выборки количественно определяет прирост эффективности разметки.

Похожие методы

Источники

  1. Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.

    Открыть ссылку на публикацию
    Скопировано.
  2. Lewis, D. D., & Gale, W. A. (1994). A sequential algorithm for training text classifiers. Proceedings of the 17th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 3–12.

    Открыть ссылку DOI
    Скопировано.