Skip to content
Назад к результатам поиска

Полу-контролируемый Гауссовский процесс

Автор метода
Lawrence, N. D. & Jordan, M. I.
Год
2004
Тип
Probabilistic model (semi-supervised)
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Полу-контролируемый Гауссовский процесс (Semi-supervised Gaussian Process, SSGP) расширяет вероятностную основу Гауссовских процессов (GP) для использования неразмеченных данных наряду с небольшим набором размеченных наблюдений.

Размещая GP-априорное распределение над функциями и используя геометрическую структуру, выявляемую неразмеченными входными данными, он позволяет построить более точные и лучше откалиброванные предикторы, чем чисто контролруемый GP, когда метки редки, что делает его хорошо подходящим для научных и медицинских задач, где аннотирование дорого.

Интуиция метода

Стандартный Гауссовский процесс определяет распределение над гладкими функциями и обусловливается на размеченных обучающих точках для формирования предсказаний. Когда метки редки, этот обусловленный апостериорный распределение обладает высокой неопределенностью в областях с редкими данными. Полу-контролируемый GP решает эту проблему, также используя неразмеченные входные данные для выявления лежащей в основе многообразия или структуры плотности входного пространства. Ядро — которое кодирует сходство — может затем формироваться множеством неразмеченных точек, так что модель узнает, где находятся данные, еще до получения какой-либо метки. Это резко снижает апостериорную неопределенность и улучшает обобщение по нескольким размеченным примерам.

История

Полу-контролируемый фреймворк GP был формально представлен Лоуренсом и Джорданом на NeurIPS 2004, опираясь на основополагающий GP для машинного обучения Расмуссена и Уильямса (книга 2006 года, ранние рукописи распространялись с 1996 года). Подход сочетает идеи из регуляризации многообразия, лапласианов графов и байесовского непараметрического анализа, и повлиял на последующие работы по разреженным GP, глубокому обучению на основе ядер и графовым нейронным сетям с вероятностными выходами.

Когда применять

Используйте полу-контролируемый Гауссовский процесс, когда размеченных данных мало, но неразмеченных данных много, вам нужны откалиброванные оценки неопределенности наряду с предсказаниями, и входное пространство имеет гладкую геометрическую структуру, которую могут осветить неразмеченные точки. Он превосходно подходит для биологических, медицинских и физико-научных приложений, где аннотирование дорого. Избегайте его, когда набор данных велик (тысячи размеченных точек), поскольку вывод GP масштабируется как O(n^3) по числу размеченных точек и становится вычислительно неподъемным. Также избегайте его, когда размерность входных данных очень высока (выше ~50 признаков) без тщательной инженерии ядра, или когда интерпретируемые коэффициенты, а не вероятностные предсказания, являются основным результатом.

Ограничения и замечания

  • Кубическое масштабирование O(n^3) по числу размеченных точек делает его непрактичным для более чем нескольких тысяч наблюдений без разреженных аппроксимаций.
  • Для не-гауссовских функций правдоподобия, таких как классификация, требуется приближенный вывод (Лаплас, EP), что вносит погрешность аппроксимации.
  • Производительность сильно зависит от выбора ядра и предположения, что неразмеченные точки точно представляют многообразие данных.
  • Вычислительно интенсивная оптимизация гиперпараметров может быть медленной и может сходиться к плохим локальным оптимумам в высоких размерностях.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Производит полные предиктивные распределения, предоставляя откалиброванную неопределенность для каждого предсказания.
  • Неразмеченные данные могут значительно повысить точность, когда метки редки, позволяя более эффективно использовать бюджет на аннотирование.
  • Гибкость ядра позволяет кодировать знания предметной области о гладкости, периодичности или геометрии входных данных.
  • Принципиальная байесовская основа поддерживает выбор гиперпараметров посредством максимизации маргинального правдоподобия.
  • Естественно обрабатывает многомерные и структурированные задачи предсказания с помощью расширений многомерных GP.

Применение

  • Предсказание активности лекарств по молекулярным дескрипторам с небольшим количеством размеченных соединениями в анализе.
  • Классификация медицинских изображений, где экспертные аннотации ограничены, но необработанные снимки многочисленны.
  • Моделирование окружающей среды с использованием редких откалиброванных показаний и плотных некалиброванных измерений.
  • Классификация экспрессии генов с ограниченными метками фенотипов, но большими транскриптомными наборами данных.
  • Предсказание свойств материалов в химии и физике, где размеченные экспериментальные измерения дороги.

Как это работает

Как это работает

1

Функция ядра k(x_i, x_j) кодирует априорные представления о гладкости и масштабе целевой функции. Для полу-контролируемых настроек ядра, основанные на графах или адаптированные к многообразию, строятся на основе всех доступных входных данных — как размеченных, так и неразмеченных — таким образом, чтобы метрика сходства отражала истинную геометрию данных, а не сырое евклидово расстояние.

Формула
k(x_i, x_j) = \sigma^2 \exp\!\left(-\frac{\|x_i - x_j\|^2}{2\ell^2}\right)
2

На скрытую функцию накладывается GP-априорное распределение с нулевым средним f ~ GP(0, k). Поскольку ядро было оценено по полному пулу неразмеченных данных, этот априор уже кодирует геометрическую структуру многообразия входных данных до включения каких-либо меток.

Формула
f \sim \mathcal{GP}(0, k)
3

Неразмеченные точки интегрируются в модель либо путем построения регуляризатора Лапласиана графа на всех входных данных, либо путем рассмотрения значений скрытой функции в неразмеченных местах как вспомогательных переменных, которые исключаются путем маргинализации в процессе вывода. Оба подхода позволяют большому пулу неразмеченных данных ограничивать и стабилизировать апостериорное распределение.

4

Обусловливание на размеченных наблюдениях обновляет GP-априорное распределение до апостериорного распределения над функциями. В задачах классификации это включает приближенный вывод (аппроксимация Лапласа или ожидаемая пропагация), поскольку гауссовская функция правдоподобия заменяется не-гауссовской моделью наблюдений.

Формула
p(f^* | X, y, X_*) \propto p(y | f) \, p(f | X, X_*)
5

Для любого нового входного значения x* апостериорное предиктивное распределение вычисляется аналитически (регрессия) или с помощью аппроксимации (классификация). Результатом является полное предиктивное распределение — среднее и дисперсия — дающее не только точечную оценку, но и откалиброванную неопределенность, что крайне важно в научных областях с ограниченным количеством меток.

Формула
\hat{y}^* = \mathbb{E}[f^* | X, y, x^*]

Частые ошибки

  • Игнорирование кубической стоимости O(n^3) и попытка подогнать плотный GP к тысячам точек без разреженных аппроксимаций с использованием индуктивных точек.
  • Использование стандартного ядра евклидова расстояния без адаптации его к многообразию данных, что приводит к неэффективному использованию пула неразмеченных данных.
  • Рассмотрение апостериорного среднего как жесткого предсказания и отбрасывание оценки неопределенности, что является основным преимуществом перед дискриминативными методами.
  • Неспособность валидировать на отложенном размеченном наборе, поскольку неразмеченные данные могут вносить тонкие сдвиги распределения, если они не соответствуют тестовому домену.
  • Применение метода, когда соотношение размеченных к неразмеченным данным уже высоко, где дополнительная сложность дает незначительную выгоду по сравнению с контролруемым GP.

Часто задаваемые вопросы

Чем это отличается от стандартного контролруемого Гауссовского процесса?

Контролруемый GP обусловливается только на размеченных данных и игнорирует неразмеченные входные данные. Полу-контролируемый вариант использует неразмеченные входные данные для формирования ядра или ограничения априорного распределения функции перед обусловливанием на метках, таким образом, он использует многообразие данных и достигает меньшей ошибки обобщения при редких метках.

Какова основная вычислительная проблема?

Вывод GP является кубическим по числу обучающих точек. Методы разреженных индуктивных точек (например, FITC, VFE) снижают это до O(nm^2), где m — число индуктивных точек (обычно 50–500), что делает крупномасштабный полу-контролируемый GP осуществимым.

Как выбрать ядро для интеграции неразмеченных данных?

Распространенный подход — это ядро Лапласиана графа или тепловой диффузии, вычисленное на всех входных данных. Альтернативно, стандартное RBF-ядро с длиной масштаба, настроенной на всем распределении входных данных (размеченных + неразмеченных), работает достаточно хорошо, когда данные имеют низкую размерность и равномерно распределены.

Сохраняется ли откалиброванная неопределенность после интеграции неразмеченных данных?

В принципе, да — байесовская основа производит откалиброванные апостериорные распределения — но аппроксимации, введенные для классификации (Лаплас, EP) и разреженных методов (индуктивные точки), могут снизить калибровку. Хорошей практикой является оценка ожидаемой ошибки калибровки (ECE) на размеченном валидационном наборе.

Когда следует предпочесть полу-контролируемый SVM этому методу?

Предпочтите полу-контролируемый SVM (S3VM/трансдуктивный SVM), когда вам нужна простая граница принятия решений на основе зазора, у вас есть высокоразмерные разреженные признаки (например, текст), и вам не нужны оценки неопределенности. Выберите полу-контролируемый GP, когда вероятностные выходы и гибкость ядра важны.

Похожие методы

Источники

  1. Lawrence, N. D., & Jordan, M. I. (2004). Semi-supervised learning via Gaussian processes. In Advances in Neural Information Processing Systems (NIPS), 17, 753–760. MIT Press.

    Открыть ссылку на публикацию
    Скопировано.
  2. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    Скопировано.