Skip to content
Назад к результатам поиска

Полуавтоматическая Гауссова Смесь (SS-GMM)

Автор метода
Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
Год
2000
Тип
Generative semi-supervised classifier
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Полуавтоматическая Гауссова Смесь (SS-GMM) — это генеративный вероятностный классификатор, который подгоняет Гауссову смесь как к размеченным, так и к неразмеченным данным с использованием алгоритма ожидания-максимизации.

Размеченные точки ограничивают присвоение компонентов, в то время как неразмеченные точки улучшают оценки плотности, обеспечивая эффективное обучение при недостатке аннотаций.

Интуиция метода

Представьте, что у вас есть несколько размеченных примеров и много неразмеченных. Чисто контролируемая модель полностью игнорирует неразмеченные данные; чистое кластеризация игнорирует ваши метки. SS-GMM находит золотую середину: она моделирует данные как смесь Гауссовых кластеров, фиксирует размеченные точки на их правильном компоненте и позволяет неразмеченным точкам вероятностно перемещаться между компонентами. Итерации EM постоянно подталкивают Гауссовы распределения к лучшему описанию всего облака данных, так что скудные метки распространяются на неразмеченное большинство через общую структуру плотности.

История

Полуавтоматические GMM возникли из более широкой литературы по полуавтоматическому обучению конца 1990-х годов. Nigam и др. (2000) продемонстрировали подход к классификации текстов с использованием EM на генеративной модели наивного Байеса (частный случай диагональной GMM), показав измеримые выгоды от неразмеченных документов. Общая структура была консолидирована во влиятельном томе MIT Press от Chapelle, Scholkopf и Zien (2006), который установил SS-GMM как канонический генеративный подход к полуавтоматической классификации наряду с дискриминативными и графовыми альтернативами.

Когда применять

Используйте SS-GMM, когда размеченных примеров мало, а неразмеченных данных много, и когда основные условно-классовые распределения приблизительно Гауссовы или могут быть таковыми путем преобразования. Она хорошо подходит для непрерывных пространств признаков с низкой или умеренной размерностью (до примерно 20–50 признаков без снижения размерности). Избегайте ее, когда признаки сильно не-Гауссовы или категориальны, когда количество классов велико по сравнению с размеченными выборками, когда структура кластера не совпадает с границами классов (нарушено предположение о кластере) или когда дискриминативная модель, такая как полуавтоматическая SVM или распространение меток, лучше соответствует геометрии данных.

Ограничения и замечания

  • Подгонка модели ухудшается, когда Гауссово предположение сильно нарушено — могут потребоваться нелинейные преобразования или методы ядра.
  • EM сходится к локальному оптимуму; результаты чувствительны к инициализации, и необходимы множественные перезапуски.
  • Высокоразмерные данные (проклятие размерности) делают оценку ковариации ненадежной без регуляризации или снижения размерности.
  • Неразмеченные данные могут навредить, а не помочь, если предположение о кластере не выполняется (кластеры не совпадают с границами классов).
  • Плохо масштабируется для очень больших неразмеченных наборов данных без стохастических вариантов EM или вариантов мини-пакетов.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Использует неразмеченные данные для улучшения оценки параметров, когда метки дороги или редки.
  • Предоставляет принципиальные вероятностные апостериорные классы, позволяя количественно оценить откалиброванную неопределенность.
  • Математически прозрачная генеративная модель с хорошо изученными гарантиями сходимости EM.
  • Естественно обрабатывает многоклассовые задачи без разложения «один против всех».
  • Может быть расширена с помощью нескольких Гауссовых распределений на класс для захвата мультимодальных распределений внутри класса.

Применение

  • Классификация текстов и документов, когда лишь небольшая доля текстов может быть вручную размечена.
  • Анализ медицинских изображений, где экспертная аннотация дорога, а неразмеченных сканов много.
  • Задачи биоинформатики, такие как кластеризация экспрессии генов с частичными метками классов.
  • Классификация сенсорных данных и временных рядов в развертываниях IoT с редкой истинной разметкой.
  • Полуавтоматическое обнаружение аномалий путем моделирования плотности нормального класса на основе обильных неразмеченных данных.
  • Извлечение признаков в обработке естественного языка до того, как глубокое обучение стало доминирующим.

Как это работает

Как это работает

1

Инициализируйте параметры смеси — средние значения компонентов, ковариации и веса смешивания — либо только из размеченной подвыборки (например, средние значения, условные для класса), либо с помощью k-средних по всем доступным данным. Количество компонентов K обычно устанавливается равным количеству известных классов, хотя возможны несколько компонентов на класс.

2

Для каждой неразмеченной точки вычислите мягкие ответственности: апостериорную вероятность того, что точка i принадлежит компоненту k, при заданных текущих параметрах. Размеченные точки получают жесткие присвоения — их ответственность за правильный компонент класса устанавливается в единицу, а в остальных местах — в ноль — обеспечивая контроль без нарушения структуры EM.

Формула
r_{ik} = \frac{\pi_k \mathcal{N}(x_i|\mu_k,\Sigma_k)}{\sum_j \pi_j \mathcal{N}(x_i|\mu_j,\Sigma_j)}
3

Жесткое ограничение на присвоение для размеченных точек является ключевым отличием от неконтролируемой GMM. Оно закрепляет идентичность компонента за семантикой класса, предотвращая известную проблему переключения меток и гарантируя, что структура кластера, изученная по неразмеченным данным, интерпретируема в терминах известных классов.

4

Обновите все параметры смеси, используя объединенную статистику, взвешенную по ответственности, как от размеченных, так и от неразмеченных точек. Поскольку неразмеченные точки вносят дробные подсчеты в каждый компонент, они эффективно сглаживают и стабилизируют оценки параметров в областях, где размеченные данные редки.

Формула
\mu_k = \frac{\sum_i r_{ik} x_i}{\sum_i r_{ik}},\quad \Sigma_k = \frac{\sum_i r_{ik}(x_i-\mu_k)(x_i-\mu_k)^T}{\sum_i r_{ik}}
5

Повторяйте шаги E и M до тех пор, пока логарифмическая правдоподобность наблюдаемых данных (суммированная по размеченным и неразмеченным точкам) не перестанет увеличиваться сверх малого допуска. Внимательно отслеживайте сходимость: рекомендуются множественные случайные перезапуски, поскольку EM сходится к локальному оптимуму, а окончательное решение зависит от инициализации.

6

Классифицируйте новую точку, найдя компонент с наибольшей апостериорной вероятностью при заданных сошедшихся параметрах. Предсказанный класс — это метка, связанная с этим компонентом. Апостериорные вероятности по компонентам также служат откалиброванными показателями уверенности.

Формула
\hat{y} = \arg\max_k \pi_k \mathcal{N}(x^*|\mu_k,\Sigma_k)

Частые ошибки

  • Запуск одной инициализации EM и принятие первого сошедшегося решения — всегда используйте множественные перезапуски.
  • Установка K равным количеству классов без учета внутриклассовой мультимодальности, что приводит к плохой аппроксимации плотности.
  • Применение модели в высоких размерностях без предварительного снижения размерности или регуляризации ковариационных матриц (например, диагональных или связанных ковариаций).
  • Предположение, что неразмеченные данные всегда помогают — если предположения о кластере и многообразии нарушены, неразмеченные данные могут снизить точность.
  • Пренебрежение соответствующим взвешиванием члена логарифмической правдоподобности размеченных данных — распространенное исправление заключается в увеличении вклада размеченных точек на фактор lambda.

Часто задаваемые вопросы

Чем SS-GMM отличается от полностью неконтролируемой GMM?

Неконтролируемая GMM находит структуру кластера без знания меток классов и страдает от переключения меток — индексы кластеров не несут семантического смысла. SS-GMM фиксирует размеченные точки на их правильных компонентах во время каждого шага E, закрепляя идентичность кластера за семантикой класса и позволяя неразмеченным точкам уточнять оценки плотности.

Что делать, если неразмеченные данные вредят моей точности?

Это проблема «нарушения предположения о кластере»: если границы классов не совпадают с естественными кластерами плотности, неразмеченные данные направляют модель в неправильном направлении. Диагностические шаги включают визуализацию данных в 2D (PCA/t-SNE), увеличение веса lambda для размеченных точек или переход к дискриминативному полуавтоматическому методу, такому как полуавтоматическая SVM.

Сколько Гауссовых компонентов следует использовать на класс?

Начните с одного компонента на класс. Если класс имеет явно мультимодальную структуру (например, две подпопуляции), разрешите два или более компонента для этого класса. Используйте BIC или правдоподобие на отложенной выборке для сравнения порядков моделей без переобучения.

Следует ли использовать полные, диагональные или связанные ковариационные матрицы?

Полная ковариация наиболее гибка, но требует много выборок на компонент. Диагональная ковариация (предполагается независимость признаков) является самым безопасным выбором по умолчанию в умеренных и высоких размерностях. Связанная ковариация (все компоненты разделяют одну матрицу) дополнительно уменьшает количество параметров и подходит, когда классы имеют схожее распределение.

Существует ли вес для вклада размеченных и неразмеченных данных?

Да. Распространенное расширение умножает логарифмическую правдоподобность размеченных данных на фактор lambda > 1, чтобы компенсировать обычно гораздо большее количество неразмеченных точек. Без этого неразмеченное большинство может доминировать в обновлениях параметров и размыть обучающий сигнал.

Похожие методы

Источники

  1. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Скопировано.
  2. Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39(2-3), 103-134.

    Открыть ссылку DOI
    Скопировано.