Skip to content
Назад к результатам поиска

Активное обучение с линейной регрессией

Автор метода
Cohn, D. A.; Ghahramani, Z.; Jordan, M. I.
Год
1996
Тип
Active learning / iterative supervised learning
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Активное обучение с линейной регрессией — это итерационный подход машинного обучения, который сочетает модель линейной регрессии с интеллектуальной стратегией запросов для выбора наиболее информативных неразмеченных точек для разметки.

Фокусируя усилия по разметке там, где неопределенность максимальна, он достигает конкурентоспособной точности прогнозирования при гораздо меньшем количестве размеченных примеров по сравнению с пассивной случайной выборкой.

Интуиция метода

Разметка данных часто бывает дорогостоящей — например, клинические измерения, аннотации экспертов или лабораторные эксперименты. Вместо случайной разметки всего, активный ученик подгоняет линейную регрессию на небольшом имеющемся размеченном наборе, определяет, где его прогнозы наиболее неопределенны, запрашивает у оракула разметку этих точек, а затем переобучается. Этот цикл повторяется до исчерпания бюджета или достижения целевой производительности. Результатом является модель, которая обучается эффективно, расходуя ресурсы на разметку именно там, где это наиболее важно — вблизи границ принятия решений или в областях с низкой плотностью данных.

История

Формальная основа для активного обучения со статистическими моделями была заложена Коном, Гахрамани и Джорданом в 1996 году, которые показали, что снижение дисперсии в рамках вероятностной модели обеспечивает принципиальный критерий запроса. Эта работа объединила активное обучение с классической литературой по оптимальному экспериментальному дизайну (начиная с Кифера и Вольфовица, 1959 г.). Позже Сеттлс (2012 г.) обобщил более широкую область активного обучения, и активная линейная регрессия остается каноническим примером, иллюстрирующим основные принципы запроса по неопределенности.

Когда применять

Используйте активное обучение с линейной регрессией, когда зависимость между предикторами и непрерывным исходом приблизительно линейна, метки редки или дороги в получении (например, эксперименты в мокрой лаборатории, клинические анализы, экспертная аннотация), и существует большой пул неразмеченных кандидатов. Он особенно хорошо подходит для низкоразмерных задач экспериментального дизайна. Избегайте его, когда истинная зависимость сильно нелинейна (предпочтительнее варианты активного обучения с гауссовскими процессами или нейронными сетями), когда стоимость метки незначительна (достаточно пассивной выборки) или когда пул неразмеченных данных слишком мал, чтобы получить выгоду от выбора.

Ограничения и замечания

  • Предполагает, что истинная зависимость линейна; неправильная спецификация может привести к плохим решениям о запросах и смещенным оценкам.
  • Производительность снижается в высокоразмерных сценариях, где начальный размеченный пул слишком разрежен для надежной оценки дисперсии.
  • Жадная стратегия запросов может чрезмерно фокусироваться на граничных областях, пренебрегая общим охватом.
  • Требует доступа к оракулу (эксперту-человеку или эксперименту), который может разметить любую запрошенную точку по требованию.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Резко снижает объем усилий по разметке, сначала нацеливаясь на наиболее информативные примеры.
  • Основан на классической теории оптимального экспериментального дизайна, предоставляя теоретические гарантии снижения дисперсии.
  • Прост и интерпретируем: базовая модель остается обычной линейной регрессией с прозрачными коэффициентами.
  • Вычислительно недорог — дисперсия прогноза для линейной регрессии имеет замкнутую форму обновления.
  • Хорошо работает в низко- и среднеразмерных сценариях с истинно линейными зависимостями.

Применение

  • Разработка лекарств и материаловедение: выбор того, какие химические соединения синтезировать и тестировать дальше.
  • Клинические испытания: итеративный выбор пациентов для измерения с целью минимизации размера выборки при оценке кривых зависимости доза-ответ.
  • Экологический мониторинг: выбор мест размещения датчиков для оптимальной оценки полей загрязнения или температуры.
  • Конвейеры обработки естественного языка с участием аннотатора: выбор предложений для экспертной разметки в задачах регрессионного скоринга.
  • Оптимизация промышленных процессов: последовательный дизайн экспериментов для картирования поверхности непрерывного отклика с минимальным количеством запусков.

Как это работает

Как это работает

1

Алгоритм начинается с небольшого размеченного начального набора и большого пула неразмеченных экземпляров. Начальный набор должен быть достаточно разнообразным, чтобы обеспечить начальной регрессии разумную начальную подгонку; обычным выбором является случайная выборка из 5–20 точек.

2

Модель линейной регрессии подгоняется на текущем размеченном наборе с использованием метода наименьших квадратов. Оцененный вектор коэффициентов beta-hat определяет текущую поверхность прогнозирования для всех входных данных.

Формула
\hat{\beta} = (X^\top X)^{-1} X^\top y
3

Для каждой неразмеченной точки вычисляется критерий запроса — обычно дисперсия прогноза модели регрессии в этой точке. Точка с наибольшей дисперсией (наибольшей неопределенностью) выбирается как наиболее информативный кандидат для разметки. Выбор на основе дисперсии соответствует классическим критериям оптимального экспериментального дизайна (критерии D-оптимальности или A-оптимальности).

Формула
x^* = \arg\max_{x \in \mathcal{U}} \sigma^2(x)
4

Выбранная неразмеченная точка предъявляется оракулу — аннотатору-человеку, лабораторному прибору или автоматизированной системе измерений — который предоставляет истинную метку (непрерывное значение отклика). Этот этап разметки обычно является узким местом по стоимости и времени.

5

Новая размеченная точка добавляется в размеченный набор, и модель линейной регрессии переподгоняется на расширенном наборе. Цикл запроса-разметки-переподгонки продолжается до тех пор, пока не будет исчерпан бюджет на разметку или не будет достигнут критерий остановки (например, порог минимальной дисперсии).

Частые ошибки

  • Начало с начальным набором, который слишком мал или нерепрезентативен, что приводит к тому, что ранние запросы обусловлены плохо подогнанной моделью.
  • Игнорирование неправильной спецификации модели — если данные нелинейны, критерий дисперсии будет систематически выбирать бесполезные точки.
  • Рассмотрение окончательной модели как подогнанной на пассивной случайной выборке; активные выборки не являются IID, что может сделать стандартные формулы стандартной ошибки недействительными.
  • Путаница между дисперсией прогноза и дисперсией остатков; критерием запроса должна быть дисперсия прогноза в новых точках, а не остаток обучения.

Часто задаваемые вопросы

Чем активное обучение отличается от обычной линейной регрессии?

Обычная линейная регрессия подгоняется на пассивно собранном размеченном наборе данных. Активное обучение с линейной регрессией добавляет цикл запросов: после каждой подгонки модель выбирает неразмеченную точку, в которой она наиболее неопределенна, запрашивает ее метку и переобучается — итеративно, пока не будет потрачен бюджет на разметку.

Какая стратегия запросов работает лучше всего?

Для линейной регрессии максимизация дисперсии прогноза (эквивалентная D-оптимальному или A-оптимальному экспериментальному дизайну) теоретически обоснована и практически эффективна. Она выбирает точку, которая больше всего снизит общую неопределенность параметров.

Могу ли я использовать это с регуляризованной регрессией (Ridge, Lasso)?

Да. Дисперсия прогноза может быть вычислена для регрессии Ridge с простой замкнутой корректировкой. Для Lasso выражение дисперсии менее очевидно, поэтому практики часто используют оценки неопределенности на основе бутстрэпа или переключаются на байесовскую формулировку линейной регрессии.

Смещает ли активная выборка стандартные ошибки коэффициентов регрессии?

Да. Поскольку размеченная выборка не извлекается IID из генеральной совокупности, стандартные формулы стандартной ошибки OLS являются смещенными. Решения включают оценщики с обратным взвешиванием вероятностей или переподгонку с пассивно выбранным случайным резервом.

Сколько начальных точек мне нужно для старта?

Минимум требуется p + 1 размеченных точек для подгонки регрессии с p предикторами, но рекомендуется начальный набор из как минимум 2p точек для получения стабильной оценки начальной дисперсии. Случайный выбор начального набора является стандартной практикой.

Похожие методы

Источники

  1. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.

    Открыть ссылку DOI
    Скопировано.
  2. Cohn, D. A., Ghahramani, Z., & Jordan, M. I. (1996). Active learning with statistical models. Journal of Artificial Intelligence Research, 4, 129–145.

    Открыть ссылку DOI
    Скопировано.