Модель гауссовских смесей
- Автор метода
- Dempster, Laird & Rubin (EM algorithm)
- Год
- 1977
- Тип
- Probabilistic (soft) clustering — mixture model
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Модель гауссовских смесей (Gaussian Mixture Model, GMM) — это вероятностный метод кластеризации, который моделирует данные как взвешенную смесь нескольких гауссовских распределений, подгоняемых с помощью алгоритма ожидания-максимизации (Expectation–Maximization, EM), формализованного Демпстером, Лэрдом и Рубином в 1977 году.
Это обобщение метода K-средних, в котором каждый кластер может иметь свою собственную форму, размер и ориентацию.
Интуиция метода
Представьте, что данные были получены путем генерации точек из нескольких перекрывающихся облаков в форме колокола, каждое со своим центром, разбросом и наклоном. Модель гауссовских смесей пытается реверс-инжинирингом восстановить эти скрытые облака: она определяет, сколько колоколов существует и где они расположены, и вместо того, чтобы принудительно относить каждую точку к одному кластеру, она присваивает каждой точке вероятность принадлежности к каждому компоненту. Это мягкое отнесение позволяет ей улавливать вытянутые или повернутые кластеры, которые жесткий сферический метод, такой как K-средние, разделил бы некорректно.
История
Алгоритм ожидания-максимизации, лежащий в основе моделей гауссовских смесей, был формализован Демпстером, Лэрдом и Рубином в их статье 1977 года о максимальном правдоподобии при неполных данных, которая представила кластеризацию как оценку параметров скрытой смеси. Представление в виде смеси превращает кластеризацию в задачу правдоподобия и лежит в основе инструментов кластеризации на основе моделей, широко используемых сегодня.
Когда применять
Используйте модель гауссовских смесей для кластеризации или исследования непрерывных данных, имеющих примерно гауссовскую форму, когда кластеры могут перекрываться, различаться по размеру или быть вытянутыми, а не сферическими, и вам нужны мягкие вероятностные членства, а не жесткие метки. Предполагается, что данные были сгенерированы смесью гауссиан, метод работает с непрерывными переменными и требует как минимум около 50 наблюдений. Количество компонентов может быть выбрано с помощью BIC или AIC, а предварительная обработка PCA рекомендуется для борьбы с проклятием размерности. При менее чем 50 наблюдениях или когда предположение о гауссовости не выполняется, K-средние являются более надежным выбором.
Ограничения и замечания
- Предполагает, что данные были сгенерированы смесью гауссиан; результаты страдают, когда это предположение не выполняется.
- EM может сойтись к локальному оптимуму, поэтому результаты зависят от инициализации.
- Ковариационные матрицы могут стать сингулярными, особенно в высоких размерностях или при малых выборках.
- Требует как минимум около 50 наблюдений и выигрывает от предварительной обработки PCA для избежания проклятия размерности.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Мягкие, вероятностные членства в кластерах вместо принудительных жестких присвоений.
- Каждый компонент имеет свою собственную ковариацию, поэтому кластеры могут быть вытянутыми, повернутыми или иметь разный размер.
- Истинное обобщение метода K-средних, которое снимает ограничение на сферические кластеры равного размера.
- Количество компонентов может быть объективно выбрано с помощью информационных критериев, таких как BIC или AIC.
Применение
- Мягкая, вероятностная кластеризация непрерывных данных, где кластеры перекрываются.
- Исследовательский анализ субпопуляций с кластерами разной формы или размера.
- Оценка плотности путем представления данных как взвешенной смеси гауссиан.
- Более гибкая альтернатива K-средним, когда сферические кластеры равного размера нереалистичны.
Как это работает
Как это работает
Данные рассматриваются как полученные из взвешенной суммы K гауссовских распределений. Каждый компонент имеет весовой коэффициент смешивания, вектор среднего и ковариационную матрицу, поэтому отдельный компонент может быть вытянутым или наклонным, а не принудительно сферическим. Цель состоит в том, чтобы найти веса, средние и ковариации, которые делают наблюдаемые данные наиболее вероятными.
Формула
p(x) = \sum_{k=1}^{K} \pi_k\, \mathcal{N}(x \mid \mu_k, \Sigma_k)На шаге E (ожидания) модель вычисляет для каждого наблюдения ответственность каждого компонента — апостериорную вероятность того, что точка была сгенерирована данным гауссовским распределением. Эти мягкие членства заменяют присвоения по принципу «всё или ничего» в методе K-средних и улавливают перекрытие между кластерами.
Формула
\gamma_{ik} = \dfrac{\pi_k\, \mathcal{N}(x_i \mid \mu_k, \Sigma_k)}{\sum_{j} \pi_j\, \mathcal{N}(x_i \mid \mu_j, \Sigma_j)}На шаге M (максимизации) параметры каждого компонента переоцениваются как статистики, взвешенные по ответственности: среднее, ковариация и весовой коэффициент смешивания обновляются с использованием каждой точки пропорционально тому, насколько сильно она принадлежит этому компоненту. Шаги E и M чередуются, увеличивая правдоподобие до тех пор, пока подгонка не сойдется.
Формула
\mu_k = \dfrac{\sum_i \gamma_{ik} x_i}{\sum_i \gamma_{ik}}Количество компонентов не фиксируется заранее: сравниваются кандидатные значения с использованием информационных критериев, таких как BIC или AIC, которые балансируют подгонку с учетом сложности. Поскольку EM может сойтись к локальному оптимуму, а ковариационные матрицы могут стать сингулярными, рекомендуются понижение размерности, такое как PCA, заранее и несколько перезапусков.
Частые ошибки
- Применение GMM к выборкам менее 50 наблюдений, когда EM застревает в локальных оптимумах, а ковариации становятся сингулярными.
- Пропуск PCA или другого понижения размерности для высокоразмерных данных, что ведет к сингулярным ковариационным матрицам.
- Фиксация количества компонентов «на глаз» вместо сравнения BIC/AIC для кандидатных значений.
- Полагаться на один запуск EM вместо нескольких перезапусков для выхода из плохих локальных оптимумов.
- Применение к явно не гауссовским данным, где K-средние были бы более надежными.
Часто задаваемые вопросы
Чем модель гауссовских смесей отличается от K-средних?
K-средние присваивают каждую точку ровно одному сферическому кластеру равного размера. Модель гауссовских смесей является ее обобщением: каждый компонент имеет свою собственную ковариацию, поэтому кластеры могут быть вытянутыми, повернутыми или иметь разный размер, и каждая точка получает вероятность принадлежности к каждому компоненту вместо одной жесткой метки.
Как выбрать количество компонентов?
Подгоните модель для нескольких кандидатных количеств компонентов и сравните их с помощью информационных критериев, таких как BIC или AIC, которые взвешивают качество подгонки против сложности модели, а затем выберите количество, которое оптимизирует критерий.
Почему моя GMM дает разные результаты при каждом запуске?
Она подгоняется с помощью EM, который может сойтись к локальному оптимуму в зависимости от инициализации. Несколько перезапусков и сохранение наилучшей подгонки, а также предварительное понижение размерности с помощью PCA, делают результат более стабильным.
Когда следует предпочесть K-средние?
Когда выборка мала (менее 50 наблюдений) или данные явно не гауссовские, EM может сойтись к локальному оптимуму, а ковариационные матрицы могут стать сингулярными; K-средние являются более надежным выбором в этих случаях.
Похожие методы
Источники
Dempster, A.P., Laird, N.M. & Rubin, D.B. (1977). Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–22.
Открыть ссылку DOIСкопировано.