Полу-контролируемый Гауссовский процесс
- Автор метода
- Lawrence, N. D. & Jordan, M. I.
- Год
- 2004
- Тип
- Probabilistic model (semi-supervised)
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Полу-контролируемый Гауссовский процесс (Semi-supervised Gaussian Process, SSGP) расширяет вероятностную основу Гауссовских процессов (GP) для использования неразмеченных данных наряду с небольшим набором размеченных наблюдений.
Размещая GP-априорное распределение над функциями и используя геометрическую структуру, выявляемую неразмеченными входными данными, он позволяет построить более точные и лучше откалиброванные предикторы, чем чисто контролруемый GP, когда метки редки, что делает его хорошо подходящим для научных и медицинских задач, где аннотирование дорого.
Интуиция метода
Стандартный Гауссовский процесс определяет распределение над гладкими функциями и обусловливается на размеченных обучающих точках для формирования предсказаний. Когда метки редки, этот обусловленный апостериорный распределение обладает высокой неопределенностью в областях с редкими данными. Полу-контролируемый GP решает эту проблему, также используя неразмеченные входные данные для выявления лежащей в основе многообразия или структуры плотности входного пространства. Ядро — которое кодирует сходство — может затем формироваться множеством неразмеченных точек, так что модель узнает, где находятся данные, еще до получения какой-либо метки. Это резко снижает апостериорную неопределенность и улучшает обобщение по нескольким размеченным примерам.
История
Полу-контролируемый фреймворк GP был формально представлен Лоуренсом и Джорданом на NeurIPS 2004, опираясь на основополагающий GP для машинного обучения Расмуссена и Уильямса (книга 2006 года, ранние рукописи распространялись с 1996 года). Подход сочетает идеи из регуляризации многообразия, лапласианов графов и байесовского непараметрического анализа, и повлиял на последующие работы по разреженным GP, глубокому обучению на основе ядер и графовым нейронным сетям с вероятностными выходами.
Когда применять
Используйте полу-контролируемый Гауссовский процесс, когда размеченных данных мало, но неразмеченных данных много, вам нужны откалиброванные оценки неопределенности наряду с предсказаниями, и входное пространство имеет гладкую геометрическую структуру, которую могут осветить неразмеченные точки. Он превосходно подходит для биологических, медицинских и физико-научных приложений, где аннотирование дорого. Избегайте его, когда набор данных велик (тысячи размеченных точек), поскольку вывод GP масштабируется как O(n^3) по числу размеченных точек и становится вычислительно неподъемным. Также избегайте его, когда размерность входных данных очень высока (выше ~50 признаков) без тщательной инженерии ядра, или когда интерпретируемые коэффициенты, а не вероятностные предсказания, являются основным результатом.
Ограничения и замечания
- Кубическое масштабирование O(n^3) по числу размеченных точек делает его непрактичным для более чем нескольких тысяч наблюдений без разреженных аппроксимаций.
- Для не-гауссовских функций правдоподобия, таких как классификация, требуется приближенный вывод (Лаплас, EP), что вносит погрешность аппроксимации.
- Производительность сильно зависит от выбора ядра и предположения, что неразмеченные точки точно представляют многообразие данных.
- Вычислительно интенсивная оптимизация гиперпараметров может быть медленной и может сходиться к плохим локальным оптимумам в высоких размерностях.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Производит полные предиктивные распределения, предоставляя откалиброванную неопределенность для каждого предсказания.
- Неразмеченные данные могут значительно повысить точность, когда метки редки, позволяя более эффективно использовать бюджет на аннотирование.
- Гибкость ядра позволяет кодировать знания предметной области о гладкости, периодичности или геометрии входных данных.
- Принципиальная байесовская основа поддерживает выбор гиперпараметров посредством максимизации маргинального правдоподобия.
- Естественно обрабатывает многомерные и структурированные задачи предсказания с помощью расширений многомерных GP.
Применение
- Предсказание активности лекарств по молекулярным дескрипторам с небольшим количеством размеченных соединениями в анализе.
- Классификация медицинских изображений, где экспертные аннотации ограничены, но необработанные снимки многочисленны.
- Моделирование окружающей среды с использованием редких откалиброванных показаний и плотных некалиброванных измерений.
- Классификация экспрессии генов с ограниченными метками фенотипов, но большими транскриптомными наборами данных.
- Предсказание свойств материалов в химии и физике, где размеченные экспериментальные измерения дороги.
Как это работает
Как это работает
Функция ядра k(x_i, x_j) кодирует априорные представления о гладкости и масштабе целевой функции. Для полу-контролируемых настроек ядра, основанные на графах или адаптированные к многообразию, строятся на основе всех доступных входных данных — как размеченных, так и неразмеченных — таким образом, чтобы метрика сходства отражала истинную геометрию данных, а не сырое евклидово расстояние.
Формула
k(x_i, x_j) = \sigma^2 \exp\!\left(-\frac{\|x_i - x_j\|^2}{2\ell^2}\right)На скрытую функцию накладывается GP-априорное распределение с нулевым средним f ~ GP(0, k). Поскольку ядро было оценено по полному пулу неразмеченных данных, этот априор уже кодирует геометрическую структуру многообразия входных данных до включения каких-либо меток.
Формула
f \sim \mathcal{GP}(0, k)Неразмеченные точки интегрируются в модель либо путем построения регуляризатора Лапласиана графа на всех входных данных, либо путем рассмотрения значений скрытой функции в неразмеченных местах как вспомогательных переменных, которые исключаются путем маргинализации в процессе вывода. Оба подхода позволяют большому пулу неразмеченных данных ограничивать и стабилизировать апостериорное распределение.
Обусловливание на размеченных наблюдениях обновляет GP-априорное распределение до апостериорного распределения над функциями. В задачах классификации это включает приближенный вывод (аппроксимация Лапласа или ожидаемая пропагация), поскольку гауссовская функция правдоподобия заменяется не-гауссовской моделью наблюдений.
Формула
p(f^* | X, y, X_*) \propto p(y | f) \, p(f | X, X_*)
Для любого нового входного значения x* апостериорное предиктивное распределение вычисляется аналитически (регрессия) или с помощью аппроксимации (классификация). Результатом является полное предиктивное распределение — среднее и дисперсия — дающее не только точечную оценку, но и откалиброванную неопределенность, что крайне важно в научных областях с ограниченным количеством меток.
Формула
\hat{y}^* = \mathbb{E}[f^* | X, y, x^*]Частые ошибки
- Игнорирование кубической стоимости O(n^3) и попытка подогнать плотный GP к тысячам точек без разреженных аппроксимаций с использованием индуктивных точек.
- Использование стандартного ядра евклидова расстояния без адаптации его к многообразию данных, что приводит к неэффективному использованию пула неразмеченных данных.
- Рассмотрение апостериорного среднего как жесткого предсказания и отбрасывание оценки неопределенности, что является основным преимуществом перед дискриминативными методами.
- Неспособность валидировать на отложенном размеченном наборе, поскольку неразмеченные данные могут вносить тонкие сдвиги распределения, если они не соответствуют тестовому домену.
- Применение метода, когда соотношение размеченных к неразмеченным данным уже высоко, где дополнительная сложность дает незначительную выгоду по сравнению с контролруемым GP.
Часто задаваемые вопросы
Чем это отличается от стандартного контролруемого Гауссовского процесса?
Контролруемый GP обусловливается только на размеченных данных и игнорирует неразмеченные входные данные. Полу-контролируемый вариант использует неразмеченные входные данные для формирования ядра или ограничения априорного распределения функции перед обусловливанием на метках, таким образом, он использует многообразие данных и достигает меньшей ошибки обобщения при редких метках.
Какова основная вычислительная проблема?
Вывод GP является кубическим по числу обучающих точек. Методы разреженных индуктивных точек (например, FITC, VFE) снижают это до O(nm^2), где m — число индуктивных точек (обычно 50–500), что делает крупномасштабный полу-контролируемый GP осуществимым.
Как выбрать ядро для интеграции неразмеченных данных?
Распространенный подход — это ядро Лапласиана графа или тепловой диффузии, вычисленное на всех входных данных. Альтернативно, стандартное RBF-ядро с длиной масштаба, настроенной на всем распределении входных данных (размеченных + неразмеченных), работает достаточно хорошо, когда данные имеют низкую размерность и равномерно распределены.
Сохраняется ли откалиброванная неопределенность после интеграции неразмеченных данных?
В принципе, да — байесовская основа производит откалиброванные апостериорные распределения — но аппроксимации, введенные для классификации (Лаплас, EP) и разреженных методов (индуктивные точки), могут снизить калибровку. Хорошей практикой является оценка ожидаемой ошибки калибровки (ECE) на размеченном валидационном наборе.
Когда следует предпочесть полу-контролируемый SVM этому методу?
Предпочтите полу-контролируемый SVM (S3VM/трансдуктивный SVM), когда вам нужна простая граница принятия решений на основе зазора, у вас есть высокоразмерные разреженные признаки (например, текст), и вам не нужны оценки неопределенности. Выберите полу-контролируемый GP, когда вероятностные выходы и гибкость ядра важны.
Похожие методы
Источники
Lawrence, N. D., & Jordan, M. I. (2004). Semi-supervised learning via Gaussian processes. In Advances in Neural Information Processing Systems (NIPS), 17, 753–760. MIT Press.
Открыть ссылку на публикациюСкопировано.Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN: 978-0-262-18253-9Скопировано.