Байесовская гауссовская смесь
- Автор метода
- Attias, H.; Bishop, C. M.
- Год
- 1999–2006
- Тип
- Probabilistic clustering / density estimation
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Байесовская гауссовская смесь (Bayesian Gaussian Mixture Model, BGM) размещает априорные распределения над всеми параметрами смеси и выводит их апостериорные распределения — обычно с помощью вариационного байесовского вывода (Variational Bayes) или методов Монте-Карло по схеме Марковских цепей (MCMC) — вместо подгонки фиксированных точечных оценок.
Это обеспечивает принципиальное количественное определение неопределенности, автоматический выбор эффективного числа компонент и устойчивость к переобучению на малых наборах данных.
Интуиция метода
Стандартная GMM задает вопрос, сколько кластеров следует подобрать, а затем фиксирует это число, оптимизируя фиксированные средние и ковариации с помощью алгоритма EM. Байесовская версия вместо этого удерживает вероятностные распределения для каждого параметра: она остается неопределенной относительно положения, формы каждого кластера и даже того, нужен ли кластер вообще. Компоненты, которые данные не поддерживают, автоматически сжимаются к нулевому весу через априорное распределение, так что модель может сама определять свою эффективную сложность без выбора модели методом кросс-валидации по многим значениям K.
История
Байесовский подход к моделям смеси был формализован с помощью MCMC-сэмплеров в 1990-х годах. Attias (1999) представил подход вариационного байесовского вывода к GMM, а этот фреймворк был популяризирован и систематизирован Bishop (2006) в книге «Pattern Recognition and Machine Learning», где глава 10 представляет полное вывод. Непараметрические расширения с использованием априорных распределений Дирихле-процесса, допускающие действительно неограниченное K, последовали в работах Rasmussen (2000) и Blei & Jordan (2006).
Когда применять
Используйте, когда вам требуется вероятностная мягкая кластеризация или оценка плотности для непрерывных многомерных данных и вы хотите избежать предварительного фиксирования числа компонент K, или когда вам нужны оценки неопределенности для присвоений кластеров и параметров. Идеально подходит для малых и умеренных наборов данных (от десятков до десятков тысяч наблюдений), где стандартные GMM с EM склонны к переобучению. Не подходит для очень высокоразмерных данных без снижения размерности, для категориальных или только порядковых признаков, или когда требуется только непробная жесткая разбивка и первостепенное значение имеет скорость.
Ограничения и замечания
- Вариационный байесовский вывод находит локальный оптимум ELBO, а не глобальное апостериорное распределение; результаты могут зависеть от инициализации.
- Выбор априорных гиперпараметров (особенно концентрации Дирихле) влияет на то, какие компоненты выживают, и должен быть обоснован.
- Вычислительно более затратен, чем стандартный EM-GMM за итерацию, и сложнее в реализации с нуля.
- Высокоразмерные данные (много признаков) требуют тщательной параметризации ковариаций или предварительного снижения размерности.
- Интерпретация апостериорных распределений компонент требует знакомства с концепциями вариационного вывода.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Автоматически отсекает неиспользуемые компоненты, уменьшая необходимость предварительного задания K путем повторных поисков по сетке.
- Возвращает полные апостериорные распределения над параметрами, обеспечивая калиброванное количественное определение неопределенности для присвоений кластеров.
- Устойчив к переобучению на малых наборах данных, поскольку априорное распределение регуляризует ковариации и веса компонент.
- Мягкие присвоения делают его пригодным для последующих вероятностных конвейеров и сетей оценки плотности смеси.
- Реализация вариационного байесовского вывода масштабируется лучше, чем полный MCMC, сохраняя при этом байесовские преимущества.
Применение
- Диаризация речи и сегментация аудио, когда число говорящих неизвестно.
- Обнаружение аномалий путем идентификации наблюдений, которым присвоена низкая вероятность под всеми изученными компонентами.
- Сегментация изображений и квантование цветов с мягким членством пикселей в кластере.
- Оценка плотности для генеративного моделирования и симуляции непрерывных многомерных данных.
- Кластеризация геномных или клинических профилей пациентов, когда истинное число подтипов неопределенно.
- Инициализация более сложных генеративных моделей, таких как вариационные автокодировщики.
Как это работает
Как это работает
Сопряженные априорные распределения размещаются над пропорциями смешивания (Дирихле), средними компонент (Гауссово) и матрицами точности (Вишарта). Параметр концентрации Дирихле контролирует, насколько широко вес смеси распределяется по компонентам: малое значение направляет вес на немногие кластеры, эффективно штрафуя ненужные компоненты.
Формула
p(\pi, \mu, \Lambda) = \text{Dir}(\pi|\alpha_0)\prod_k \mathcal{N}(\mu_k|m_0, (\beta_0 \Lambda_k)^{-1}) \mathcal{W}(\Lambda_k|W_0, \nu_0)Вариационный E-шаг вычисляет мягкие ответственности r_nk — приближенную апостериорную вероятность того, что наблюдение n принадлежит компоненте k — используя текущие ожидания логарифмов весов смешивания и логарифмов определителей матриц точности вместо точечных оценок, так что неопределенность параметров распространяется на присвоения кластеров.
Формула
r_{nk} = \frac{\rho_{nk}}{\sum_j \rho_{nj}}, \quad \ln \rho_{nk} = \mathbb{E}[\ln \pi_k] + \tfrac{1}{2}\mathbb{E}[\ln |\Lambda_k|] - \tfrac{D}{2}\ln 2\pi - \tfrac{1}{2}\mathbb{E}_{\mu_k,\Lambda_k}[(x_n - \mu_k)^\top \Lambda_k (x_n - \mu_k)]Достаточные статистики для каждой компоненты накапливаются из мягких ответственностей: эффективное число N_k, взвешенное среднее и взвешенная матрица рассеяния. Они заменяют эквиваленты EM с жестким подсчетом и управляют последующими обновлениями апостериорных параметров.
Формула
N_k = \sum_n r_{nk}, \quad \bar{x}_k = N_k^{-1}\sum_n r_{nk} x_n, \quad S_k = N_k^{-1}\sum_n r_{nk}(x_n-\bar{x}_k)(x_n-\bar{x}_k)^\topЕстественные параметры каждого сопряженного апостериорного распределения обновляются путем добавления достаточных статистик к априорным гиперпараметрам. Апостериорное распределение Дирихле сжимает компоненты с низким N_k к нулевому весу, реализуя автоматическое отсечение неиспользуемых кластеров.
Формула
\alpha_k = \alpha_0 + N_k, \quad \beta_k = \beta_0 + N_k, \quad \nu_k = \nu_0 + N_k + 1
Сходимость контролируется нижней границей свидетельства (Evidence Lower BOund, ELBO) — нижней границей логарифма маргинальной правдоподобности. Гарантируется, что ELBO не убывает на каждом цикле вариационного EM; итерации продолжаются до тех пор, пока улучшение не упадет ниже заданного допуска.
Формула
\mathcal{L} = \mathbb{E}_q[\ln p(X, Z, \pi, \mu, \Lambda)] - \mathbb{E}_q[\ln q(Z, \pi, \mu, \Lambda)]Частые ошибки
- Установка начального числа компонент K слишком малым, что мешает модели обнаружить всю реальную структуру, даже если неиспользуемые компоненты отсекаются.
- Игнорирование чувствительности к концентрации априорного распределения Дирихле без проведения краткого обзора гиперпараметров.
- Доверие к одной случайной инициализации; важны множественные перезапуски с выбором лучшего ELBO.
- Применение модели к дискретным или смешанным типам данных без преобразования признаков в приблизительно непрерывную гауссову форму.
- Отчетность только о метках кластеров без мягких ответственностей, отбрасывая ключевой вероятностный вывод модели.
Часто задаваемые вопросы
Чем это отличается от стандартной GMM, подогнанной с помощью EM?
Стандартный EM дает точечные оценки (фиксированные средние, ковариации, веса) и требует фиксации K перед подгонкой. Байесовская GMM выводит полные апостериорные распределения для всех параметров, автоматически отсекает пустые компоненты и распространяет неопределенность параметров на предсказания.
Как выбрать начальное число компонент K?
Установите K значительно больше ожидаемого числа кластеров. Априорное распределение Дирихле сожмет эффективное число: компоненты, не поддерживаемые данными, накапливают вес, близкий к нулю, и автоматически отсекаются. Распространенным эвристическим правилом является начало с K = 2 × (ожидаемое число кластеров).
Всегда ли вариационный байесовский вывод лучше MCMC для этой модели?
Вариационный байесовский вывод быстрее и детерминирован, но аппроксимирует апостериорное распределение факторизованным распределением, которое может недооценивать неопределенность. MCMC асимптотически точен, но затратен. Для большинства практических задач с умеренными данными вариационный байесовский вывод является прагматичным выбором.
Какие гиперпараметры наиболее важны?
Концентрация Дирихле alpha_0 контролирует, насколько агрессивно отсекаются компоненты. Малое значение (например, от 0.01 до 1) способствует разреженным решениям; большое значение распределяет вес более равномерно. Число степеней свободы nu_0 и масштаб W_0 распределения Вишарта контролируют, насколько ограничены формы ковариаций.
Когда следует использовать Dirichlet Process GMM вместо этого?
Используйте GMM с Дирихле-процессом (бесконечная смесь), когда вам требуется полностью непараметрический подход, который не требует указания верхнего предела K. Компромиссом является более высокая сложность реализации и более медленный вывод.
Похожие методы
Источники
Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 10). Springer.
ISBN: 978-0-387-31073-2Скопировано.Attias, H. (1999). Inferring parameters and structure of latent variable models by variational Bayes. Proceedings of the 15th Conference on Uncertainty in Artificial Intelligence (UAI), 21–30.
Открыть ссылку на публикациюСкопировано.