Skip to content
Назад к результатам поиска

Байесовская гауссовская смесь

Автор метода
Attias, H.; Bishop, C. M.
Год
1999–2006
Тип
Probabilistic clustering / density estimation
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Байесовская гауссовская смесь (Bayesian Gaussian Mixture Model, BGM) размещает априорные распределения над всеми параметрами смеси и выводит их апостериорные распределения — обычно с помощью вариационного байесовского вывода (Variational Bayes) или методов Монте-Карло по схеме Марковских цепей (MCMC) — вместо подгонки фиксированных точечных оценок.

Это обеспечивает принципиальное количественное определение неопределенности, автоматический выбор эффективного числа компонент и устойчивость к переобучению на малых наборах данных.

Интуиция метода

Стандартная GMM задает вопрос, сколько кластеров следует подобрать, а затем фиксирует это число, оптимизируя фиксированные средние и ковариации с помощью алгоритма EM. Байесовская версия вместо этого удерживает вероятностные распределения для каждого параметра: она остается неопределенной относительно положения, формы каждого кластера и даже того, нужен ли кластер вообще. Компоненты, которые данные не поддерживают, автоматически сжимаются к нулевому весу через априорное распределение, так что модель может сама определять свою эффективную сложность без выбора модели методом кросс-валидации по многим значениям K.

История

Байесовский подход к моделям смеси был формализован с помощью MCMC-сэмплеров в 1990-х годах. Attias (1999) представил подход вариационного байесовского вывода к GMM, а этот фреймворк был популяризирован и систематизирован Bishop (2006) в книге «Pattern Recognition and Machine Learning», где глава 10 представляет полное вывод. Непараметрические расширения с использованием априорных распределений Дирихле-процесса, допускающие действительно неограниченное K, последовали в работах Rasmussen (2000) и Blei & Jordan (2006).

Когда применять

Используйте, когда вам требуется вероятностная мягкая кластеризация или оценка плотности для непрерывных многомерных данных и вы хотите избежать предварительного фиксирования числа компонент K, или когда вам нужны оценки неопределенности для присвоений кластеров и параметров. Идеально подходит для малых и умеренных наборов данных (от десятков до десятков тысяч наблюдений), где стандартные GMM с EM склонны к переобучению. Не подходит для очень высокоразмерных данных без снижения размерности, для категориальных или только порядковых признаков, или когда требуется только непробная жесткая разбивка и первостепенное значение имеет скорость.

Ограничения и замечания

  • Вариационный байесовский вывод находит локальный оптимум ELBO, а не глобальное апостериорное распределение; результаты могут зависеть от инициализации.
  • Выбор априорных гиперпараметров (особенно концентрации Дирихле) влияет на то, какие компоненты выживают, и должен быть обоснован.
  • Вычислительно более затратен, чем стандартный EM-GMM за итерацию, и сложнее в реализации с нуля.
  • Высокоразмерные данные (много признаков) требуют тщательной параметризации ковариаций или предварительного снижения размерности.
  • Интерпретация апостериорных распределений компонент требует знакомства с концепциями вариационного вывода.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Автоматически отсекает неиспользуемые компоненты, уменьшая необходимость предварительного задания K путем повторных поисков по сетке.
  • Возвращает полные апостериорные распределения над параметрами, обеспечивая калиброванное количественное определение неопределенности для присвоений кластеров.
  • Устойчив к переобучению на малых наборах данных, поскольку априорное распределение регуляризует ковариации и веса компонент.
  • Мягкие присвоения делают его пригодным для последующих вероятностных конвейеров и сетей оценки плотности смеси.
  • Реализация вариационного байесовского вывода масштабируется лучше, чем полный MCMC, сохраняя при этом байесовские преимущества.

Применение

  • Диаризация речи и сегментация аудио, когда число говорящих неизвестно.
  • Обнаружение аномалий путем идентификации наблюдений, которым присвоена низкая вероятность под всеми изученными компонентами.
  • Сегментация изображений и квантование цветов с мягким членством пикселей в кластере.
  • Оценка плотности для генеративного моделирования и симуляции непрерывных многомерных данных.
  • Кластеризация геномных или клинических профилей пациентов, когда истинное число подтипов неопределенно.
  • Инициализация более сложных генеративных моделей, таких как вариационные автокодировщики.

Как это работает

Как это работает

1

Сопряженные априорные распределения размещаются над пропорциями смешивания (Дирихле), средними компонент (Гауссово) и матрицами точности (Вишарта). Параметр концентрации Дирихле контролирует, насколько широко вес смеси распределяется по компонентам: малое значение направляет вес на немногие кластеры, эффективно штрафуя ненужные компоненты.

Формула
p(\pi, \mu, \Lambda) = \text{Dir}(\pi|\alpha_0)\prod_k \mathcal{N}(\mu_k|m_0, (\beta_0 \Lambda_k)^{-1}) \mathcal{W}(\Lambda_k|W_0, \nu_0)
2

Вариационный E-шаг вычисляет мягкие ответственности r_nk — приближенную апостериорную вероятность того, что наблюдение n принадлежит компоненте k — используя текущие ожидания логарифмов весов смешивания и логарифмов определителей матриц точности вместо точечных оценок, так что неопределенность параметров распространяется на присвоения кластеров.

Формула
r_{nk} = \frac{\rho_{nk}}{\sum_j \rho_{nj}}, \quad \ln \rho_{nk} = \mathbb{E}[\ln \pi_k] + \tfrac{1}{2}\mathbb{E}[\ln |\Lambda_k|] - \tfrac{D}{2}\ln 2\pi - \tfrac{1}{2}\mathbb{E}_{\mu_k,\Lambda_k}[(x_n - \mu_k)^\top \Lambda_k (x_n - \mu_k)]
3

Достаточные статистики для каждой компоненты накапливаются из мягких ответственностей: эффективное число N_k, взвешенное среднее и взвешенная матрица рассеяния. Они заменяют эквиваленты EM с жестким подсчетом и управляют последующими обновлениями апостериорных параметров.

Формула
N_k = \sum_n r_{nk}, \quad \bar{x}_k = N_k^{-1}\sum_n r_{nk} x_n, \quad S_k = N_k^{-1}\sum_n r_{nk}(x_n-\bar{x}_k)(x_n-\bar{x}_k)^\top
4

Естественные параметры каждого сопряженного апостериорного распределения обновляются путем добавления достаточных статистик к априорным гиперпараметрам. Апостериорное распределение Дирихле сжимает компоненты с низким N_k к нулевому весу, реализуя автоматическое отсечение неиспользуемых кластеров.

Формула
\alpha_k = \alpha_0 + N_k, \quad \beta_k = \beta_0 + N_k, \quad \nu_k = \nu_0 + N_k + 1
5

Сходимость контролируется нижней границей свидетельства (Evidence Lower BOund, ELBO) — нижней границей логарифма маргинальной правдоподобности. Гарантируется, что ELBO не убывает на каждом цикле вариационного EM; итерации продолжаются до тех пор, пока улучшение не упадет ниже заданного допуска.

Формула
\mathcal{L} = \mathbb{E}_q[\ln p(X, Z, \pi, \mu, \Lambda)] - \mathbb{E}_q[\ln q(Z, \pi, \mu, \Lambda)]

Частые ошибки

  • Установка начального числа компонент K слишком малым, что мешает модели обнаружить всю реальную структуру, даже если неиспользуемые компоненты отсекаются.
  • Игнорирование чувствительности к концентрации априорного распределения Дирихле без проведения краткого обзора гиперпараметров.
  • Доверие к одной случайной инициализации; важны множественные перезапуски с выбором лучшего ELBO.
  • Применение модели к дискретным или смешанным типам данных без преобразования признаков в приблизительно непрерывную гауссову форму.
  • Отчетность только о метках кластеров без мягких ответственностей, отбрасывая ключевой вероятностный вывод модели.

Часто задаваемые вопросы

Чем это отличается от стандартной GMM, подогнанной с помощью EM?

Стандартный EM дает точечные оценки (фиксированные средние, ковариации, веса) и требует фиксации K перед подгонкой. Байесовская GMM выводит полные апостериорные распределения для всех параметров, автоматически отсекает пустые компоненты и распространяет неопределенность параметров на предсказания.

Как выбрать начальное число компонент K?

Установите K значительно больше ожидаемого числа кластеров. Априорное распределение Дирихле сожмет эффективное число: компоненты, не поддерживаемые данными, накапливают вес, близкий к нулю, и автоматически отсекаются. Распространенным эвристическим правилом является начало с K = 2 × (ожидаемое число кластеров).

Всегда ли вариационный байесовский вывод лучше MCMC для этой модели?

Вариационный байесовский вывод быстрее и детерминирован, но аппроксимирует апостериорное распределение факторизованным распределением, которое может недооценивать неопределенность. MCMC асимптотически точен, но затратен. Для большинства практических задач с умеренными данными вариационный байесовский вывод является прагматичным выбором.

Какие гиперпараметры наиболее важны?

Концентрация Дирихле alpha_0 контролирует, насколько агрессивно отсекаются компоненты. Малое значение (например, от 0.01 до 1) способствует разреженным решениям; большое значение распределяет вес более равномерно. Число степеней свободы nu_0 и масштаб W_0 распределения Вишарта контролируют, насколько ограничены формы ковариаций.

Когда следует использовать Dirichlet Process GMM вместо этого?

Используйте GMM с Дирихле-процессом (бесконечная смесь), когда вам требуется полностью непараметрический подход, который не требует указания верхнего предела K. Компромиссом является более высокая сложность реализации и более медленный вывод.

Похожие методы

Источники

  1. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 10). Springer.

    ISBN: 978-0-387-31073-2
    Скопировано.
  2. Attias, H. (1999). Inferring parameters and structure of latent variable models by variational Bayes. Proceedings of the 15th Conference on Uncertainty in Artificial Intelligence (UAI), 21–30.

    Открыть ссылку на публикацию
    Скопировано.