Skip to content
Назад к результатам поиска

Активное обучение с использованием гауссовой смеси (Active Learning Gaussian Mixture Model)

Автор метода
Settles, B. (active learning framework); Dempster, Laird & Rubin (GMM via EM, 1977)
Год
2000s (combination)
Тип
Active learning for probabilistic clustering / density estimation
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Модель гауссовой смеси с активным обучением (Active Learning Gaussian Mixture Model) сочетает итеративную стратегию запросов с моделью гауссовой смеси (GMM).

Алгоритм выбирает наиболее информативные неразмеченные точки — обычно те, которые имеют наибольшую неопределенность прогнозирования, — представляет их оракулу для разметки и переобучает GMM с использованием EM-алгоритма на растущем размеченном наборе данных. Результатом является модель плотности, которая соответствует качеству, достигаемому при использовании полных данных, но требует значительно меньшего количества размеченных примеров.

Интуиция метода

Разметка данных является дорогостоящей. Простая GMM, обученная на всех данных, работает хорошо, но требует много размеченных примеров. Активное обучение решает эту проблему, задавая вопрос: какая неразмеченная точка, если ее разметить сейчас, максимально уменьшит мою неопределенность относительно компонент смеси? Точки вблизи границ решений между компонентами или в редко семплированных областях являются наиболее информативными. Запрашивая только эти высокоценные точки и переобучая GMM после получения каждой метки, модель достигает хорошей производительности с частью бюджета на разметку. Это делает ее привлекательной для таких задач, как медицинская визуализация или обнаружение редких событий, где экспертная аннотация является дорогостоящей.

История

Модели гауссовой смеси (Gaussian Mixture Models) с использованием алгоритма максимизации ожидания (Expectation-Maximization) были формализованы Демпстером, Лэрдом и Рубином в 1977 году. Активное обучение как систематическая основа было сформулировано Сеттлзом в 2000-х годах, кульминацией чего стала широко цитируемая синтетическая лекция 2012 года. Комбинация активного запроса с GMM появилась в литературе по машинному обучению 2000-х и 2010-х годов, мотивированная оценкой плотности и полуконтролируемой кластеризацией, где бюджеты на аннотацию ограничены.

Когда применять

Используйте Active Learning GMM, когда у вас есть изобилие неразмеченных непрерывных данных, но разметка является дорогостоящей или медленной, и вам нужна вероятностная модель плотности или кластеризации. Она подходит для задач с мягким членством в кластерах, перекрывающимися классами и необходимостью количественной оценки неопределенности — таких как обнаружение аномалий, медицинская диагностика или научная классификация. Не используйте ее, когда метки уже многочисленны и дешевы, когда число компонент K сильно неопределенно и не может быть проверено извне, когда данные являются высокоразмерными без снижения размерности (оценка ковариации GMM ухудшается) или когда ваша основная потребность — дискриминация, а не оценка плотности.

Ограничения и замечания

  • Выбор количества компонент K требует предметных знаний или критериев выбора модели, таких как BIC/AIC.
  • Оценка ковариации GMM ухудшается в высокоразмерных пространствах признаков без предварительного снижения размерности.
  • Выигрыш от активного обучения уменьшается, если начальный размеченный набор слишком мал для загрузки значимой модели.
  • Последовательное запрашивание создает петлю обратной связи, которая может смещать размеченный пул, если начальная модель плохо специфицирована.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Значительно снижает затраты на разметку, ориентируясь только на наиболее неопределенные примеры.
  • Предоставляет мягкие вероятностные присвоения кластеров и полную модель плотности, а не только жесткие метки.
  • Оценки неопределенности из апостериорного распределения GMM служат непосредственно критерием запроса, сохраняя когерентность конвейера.
  • «Теплый старт» EM-алгоритма делает переобучение за раунд быстрым даже для умеренно больших наборов данных.
  • Хорошо работает с непрерывными данными умеренной размерности и естественным образом обрабатывает перекрывающиеся группы.

Применение

  • Сегментация медицинских изображений, где экспертная аннотация областей тканей является дорогостоящей.
  • Обнаружение редких событий в потоках датчиков с использованием разметки, управляемой неопределенностью.
  • Кластеризация научных данных (например, морфология галактик, семейства белков) с ограниченными метками истинности.
  • Оценка аномалий в промышленном контроле качества с итеративной обратной связью от экспертов.
  • Моделирование речи и аудио, где аннотация на уровне фонем является трудоемкой.

Как это работает

Как это работает

1

Начальная GMM с выбранным числом компонент K подгоняется к доступным размеченным данным или инициализируется из небольшого случайного начального набора. EM-алгоритм выдает веса смеси, средние значения компонент и ковариационные матрицы, которые определяют начальную оценку плотности.

2

Для каждой неразмеченной точки алгоритм вычисляет показатель информативности — обычно это предиктивная энтропия H(y|x,theta) по K компонентам или отступ между двумя верхними апостериорными вероятностями компонент. Точка с наивысшим показателем выбирается в качестве следующего запроса.

Формула
x^* = \arg\max_{x \in U}\, H(y \mid x, \theta)
3

Выбранная точка представляется эксперту-человеку или автоматизированному оракулу, который предоставляет метку кластера или класса. Эта метка добавляется в размеченный пул, удаляя точку из неразмеченного пула.

4

GMM переобучается с использованием EM-алгоритма на обновленном размеченном пуле. Поскольку за один раунд добавляется только одна или небольшая партия точек, «теплый старт» (warm-starting) с использованием предыдущих параметров сохраняет эффективность переобучения.

5

Запросы продолжаются до тех пор, пока не исчерпается бюджет аннотации, показатели неопределенности не упадут ниже порога или производительность модели на отложенной выборке не перестанет улучшаться. Окончательная GMM затем используется для оценки плотности, кластеризации или классификации.

Частые ошибки

  • Рассмотрение активно выбранного размеченного набора как i.i.d. выборки для стандартного вывода — это смещенная выборка по определению.
  • Фиксация K на ранней стадии без проверки BIC или перекрестной валидации логарифмической правдоподобности приводит к неправильно специфицированным компонентам.
  • Запрашивание очень большими пакетами за раунд, что нивелирует адаптивное преимущество активного выбора.
  • Игнорирование регуляризации ковариации (например, добавление небольшого диагонального члена) в малых размеченных пулах, что приводит к вырожденным обновлениям EM-алгоритма.
  • Оценка только на размеченном пуле вместо отложенного неразмеченного набора, что завышает кажущуюся производительность.

Часто задаваемые вопросы

Как выбрать количество гауссовых компонент K?

Подгоните GMM с различными K к доступным размеченным данным и сравните показатели BIC или AIC. Перекрестно валидированная логарифмическая правдоподобность на отложенном неразмеченном подмножестве более надежна, когда размеченных данных мало. Предметные знания об ожидаемом количестве кластеров или классов являются наиболее надежным руководством.

Могу ли я запрашивать более одной точки за раунд?

Да — активное обучение в пакетном режиме выбирает B наиболее неопределенных точек за раунд. Большие пакеты позволяют параллельную аннотацию, но снижают адаптивное преимущество обновления по одному запросу. На практике распространены размеры пакетов 5–20.

Что, если мои неразмеченные данные имеют высокую размерность?

Примените PCA или автокодировщик для снижения размерности перед подгонкой GMM. Оценка ковариации в GMM быстро ухудшается по мере роста числа признаков относительно числа размеченных наблюдений, а полные ковариационные матрицы становятся почти сингулярными.

Чем это отличается от полуконтролируемой GMM?

Полуконтролируемая GMM использует как размеченные, так и неразмеченные данные на каждом шаге EM-алгоритма, используя структуру плотности неразмеченных данных. Активное обучение GMM фокусируется на том, какие неразмеченные точки размечать следующими, и обычно сохраняет их только в размеченном пуле. Эти два подхода можно комбинировать: использовать полуконтролируемый EM для подгонки и активный запрос для принятия решения о том, что размечать.

Подходит ли активное обучение с GMM для обнаружения аномалий?

Да, но с осторожностью. Начальная GMM, обученная на преимущественно нормальных данных, может помечать точки с низкой вероятностью как аномалии. Активный запрос этих точек позволяет оракулу подтвердить или отклонить аномалии, постепенно уточняя границу между нормальными и аномальными областями плотности.

Похожие методы

Источники

  1. Zhu, X., Ghahramani, Z., & Lafferty, J. (2003). Semi-supervised learning using Gaussian fields and harmonic functions. Proceedings of the 20th International Conference on Machine Learning (ICML), 912–919.

    Открыть ссылку на публикацию
    Скопировано.
  2. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool Publishers.

    Открыть ссылку DOI
    Скопировано.