Конформное предсказание
- Автор метода
- Vovk, Gammerman & Shafer
- Год
- 2005
- Тип
- Distribution-free uncertainty quantification framework
- Семейство
- Trustworthy ML
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Конформное предсказание — это фреймворк, не зависящий от распределения, для построения статистически обоснованных предсказательных множеств (для классификации) или предсказательных интервалов (для регрессии) вокруг выходных данных любой предварительно обученной модели машинного обучения.
Представленный Вовком, Гаммерманом и Шефером в их монографии 2005 года, он обеспечивает гарантию покрытия на конечной выборке — истинная метка попадает в предсказательное множество с вероятностью не менее 1-альфа — без необходимости параметрических предположений о распределении данных.
Интуиция метода
Представьте метеостанцию, которая вместо того, чтобы говорить «завтра будет 22°C», говорит «завтра будет от 19°C до 25°C, и мы гарантируем, что этот интервал будет правильным в 90% случаев в течение длительного периода». Конформное предсказание работает аналогично: оно оборачивает точечное предсказание любой существующей модели маржой безопасности, определяемой данными и откалиброванной на отложенных примерах, так что результирующее множество является доказуемо надежным при очень мягких предположениях о том, как были собраны данные.
История
Конформное предсказание было формализовано Владимиром Вовком, Александром Гаммерманом и Гленном Шефером в их монографии Springer 2005 года, опираясь на более ранние идеи онлайн-трансдуктивного обучения конца 1990-х годов. Индуктивный (раздельный конформный) вариант, который разделяет обучение и калибровку, был позже популяризирован для масштабирования метода. В 2020-х годах наблюдалось быстрое внедрение в глубокое обучение, с расширениями, включая мондрианское конформное предсказание для условных гарантий, предсказательные множества с контролем риска и конформный контроль риска.
Когда применять
Используйте конформное предсказание, когда вам нужны строгие гарантии покрытия на конечной выборке для выходных данных модели о неопределенности без предположений о распределении. Оно подходит как для задач классификации, так и для регрессии, где доступны калибровочные данные из того же распределения, что и тестовые данные. Ограничения включают предположение об обмениваемости (нарушается при сдвиге ковариат) и то, что покрытие является предельным, а не условным, что означает, что некоторые подгруппы могут быть недо- или перекрыты. Альтернативы включают байесовские доверительные интервалы (требуют предположений о распределении) и квантильную регрессию (нет гарантии на конечной выборке без конформного оборачивания).
Ограничения и замечания
- Гарантия покрытия является предельной (усредненной по тестовым входным данным), а не условной для каждого отдельного x.
- Предполагает обмениваемость калибровочных и тестовых данных; производительность снижается при сдвиге ковариат или меток.
- Предсказательные множества могут быть неинформативно большими, когда базовая модель слаба или целевой уровень недопокрытия альфа мал.
- Методы раздельного конформного предсказания требуют выделенного калибровочного набора, уменьшая объем данных, доступных для обучения.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Предоставляет гарантии предельного покрытия на конечной выборке, не зависящие от распределения, действительные для любой базовой модели.
- Модельно-агностический: оборачивает любой предварительно обученный классификатор или регрессор без переобучения.
- Вычислительно легкий во время инференса — требует только хранения калибровочных показателей и вычисления квантиля.
- Гибкие показатели несоответствия позволяют адаптироваться к разнообразным задачам, включая обнаружение объектов и генерацию естественного языка.
Применение
- Медицинская диагностика: создание предсказательных множеств для классификации заболеваний, которые гарантируют включение истинного диагноза с высокой вероятностью, поддерживая безопасное принятие клинических решений.
- Разработка лекарств: генерация надежных областей уверенности для предсказаний свойств молекул, помогая химикам приоритизировать соединения для дорогостоящих лабораторных испытаний.
- Автономное вождение: построение областей неопределенности с гарантией покрытия вокруг выходных данных обнаружения объектов для запуска безопасных резервных действий.
- Обработка естественного языка: откалиброванные предсказательные множества для классификации текста и неопределенности на уровне токенов в выходных данных больших языковых моделей.
- Оценка финансовых рисков: предсказательные интервалы без распределения для прогнозов доходности, которые остаются действительными под нормативным контролем без необходимости в параметрических моделях.
Как это работает
Как это работает
Обычная модель машинного обучения — любой классификатор, регрессор или нейронная сеть — обучается на выделенном обучающем разделе. Конформное предсказание безразлично к этой модели; оно рассматривает ее как черный ящик. На качество конечных предсказательных множеств влияет точность базовой модели, но гарантия обоснованности сохраняется независимо от этого.
Формула
\hat{f} \leftarrow \text{Train}(\{(x_i, y_i)\}_{i=1}^{n_{\text{train}}})На отдельном калибровочном разделе, который базовая модель не видела, вычисляется показатель несоответствия для каждого примера. Для регрессии показатель обычно представляет собой абсолютный остаток |y - f_hat(x)|; для классификации это может быть 1 минус предсказанная вероятность истинного класса. Эти показатели измеряют, насколько «удивительной» является каждая калибровочная точка по отношению к модели.
Формула
s_i = \|y_i - \hat{f}(x_i)\|, \quad i = 1, \dots, n_{\text{cal}}Вычисляется эмпирический (1-альфа) квантиль калибровочных показателей несоответствия с поправочным коэффициентом для конечной выборки. Этот скорректированный квантиль q_hat является порогом, который благодаря обмениваемости данных обеспечит гарантию покрытия на новой тестовой точке с вероятностью не менее 1-альфа.
Формула
\hat{q} = \text{Quantile}\!\left(\{s_i\}_{i=1}^{n_{\text{cal}}};\ \frac{\lceil (n_{\text{cal}}+1)(1-\alpha) \rceil}{n_{\text{cal}}}\right)Для нового тестового входного сигнала x_new предсказательное множество содержит каждую кандидатскую метку y, показатель несоответствия которой не превышает q_hat. В регрессии это дает интервал [f_hat(x_new) - q_hat, f_hat(x_new) + q_hat]; в классификации это дает подмножество классов с достаточно высокой предсказанной вероятностью. Гарантируется, что множество покрывает истинную метку с предельной вероятностью не менее 1-альфа.
Формула
\mathcal{C}(x_{\text{new}}) = \{y : s(x_{\text{new}}, y) \leq \hat{q}\}Частые ошибки
- Использование обучающего набора в качестве калибровочного набора усиливает оптимизм и разрушает гарантию обоснованности — всегда используйте отложенный калибровочный раздел.
- Путаница между предельным и условным покрытием: гарантия не подразумевает, что каждое подмножество покрывается на уровне 1-альфа.
- Игнорирование сдвига распределения: применение конформного предсказателя, откалиброванного на исторических данных, к сдвинутому распределению развертывания нарушает теоретическую гарантию.
- Рассмотрение размера предсказательного множества как прямой меры уверенности без признания того, что размер множества зависит совместно от качества модели и выбранного альфа.
Часто задаваемые вопросы
Требует ли конформное предсказание знания распределения данных?
Нет. Гарантия предельного покрытия опирается только на предположение об обмениваемости — примерно на то, что калибровочные и тестовые точки извлекаются независимо и одинаково распределенно из одного и того же распределения. Нет необходимости указывать параметрическое семейство, что и делает фреймворк «не зависящим от распределения». Это его основное теоретическое преимущество перед байесовскими доверительными интервалами и классическими доверительными интервалами, основанными на нормальности.
Как выбирается размер калибровочного набора и как он влияет на результаты?
Больший калибровочный набор дает более точную, стабильную оценку эмпирического квантиля, что приводит к меньшим предсказательным множествам. Общее практическое правило — не менее нескольких сотен калибровочных примеров. При очень малых калибровочных наборах (менее 1/альфа точек) коррекция для конечной выборки заставляет использовать множества полного покрытия, делая метод неинформативным. Существует стандартный компромисс между смещением и дисперсией между размером обучающего набора и размером калибровочного набора.
Можно ли применять конформное предсказание к глубоким нейронным сетям?
Да. Поскольку фреймворк модельно-агностический, он оборачивает любую нейронную сеть без модификаций. Показатель несоответствия обычно определяется с использованием выходных данных softmax модели для классификации или ее точечного предсказания для регрессии. С вычислительной точки зрения калибровка требует только одного прямого прохода по калибровочному набору, что делает ее очень практичной для больших моделей.
Похожие методы
Источники
Vovk, V., Gammerman, A., & Shafer, G. (2005). Algorithmic Learning in a Random World. Springer.
ISBN: 978-0-387-00152-4Скопировано.