Дифференциальная приватность
- Автор метода
- Cynthia Dwork
- Год
- 2006
- Тип
- Privacy-preserving randomized mechanism
- Семейство
- Privacy-preserving analysis
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Дифференциальная приватность — это математическая основа для публикации статистической информации о наборе данных, обеспечивающая строгие гарантии невозможности идентификации или вывода отдельных записей.
Предложенная Синтией Дворк в 2006 году, она формализует приватность как вероятностное ограничение: присутствие или отсутствие любой отдельной записи в наборе данных изменяет распределение выходных данных не более чем в e^ε раз, где ε — бюджет приватности, контролирующий компромисс между приватностью и полезностью.
Интуиция метода
Представьте себе опрос, в котором каждый респондент сначала подбрасывает монету: орел означает ответить правдиво, решка — дать случайный ответ. Агрегированные статистики остаются осмысленными, поскольку случайные ответы в совокупности компенсируют друг друга, однако ни один индивидуальный ответ не может быть точно установлен. Дифференциальная приватность обобщает эту идею — она вводит тщательно откалиброванный шум в результаты запросов таким образом, что выходные данные выглядят почти одинаково независимо от того, включены ли данные одного человека или нет, что делает вывод о принадлежности практически невозможным.
История
Синтия Дворк, Фрэнк МакШерри, Кобби Ниссим и Адам Смит представили дифференциальную приватность на ICALP 2006 и TCC 2006, мотивированные атаками, которые обошли предыдущие определения приватности, такие как k-анонимность. Формулировка Дворк предоставила первое компонуемое, независимое от злоумышленника определение приватности. В течение следующего десятилетия эта основа была расширена приближенной DP (ε, δ), реньи-дифференциальной приватностью и DP-SGD для глубокого обучения. Крупные технологические компании приняли DP в производственных системах для агрегированных статистик и обучения моделей в 2010-х годах.
Когда применять
Дифференциальная приватность подходит для публикации статистики или обучения моделей машинного обучения на конфиденциальных персональных данных — таких как медицинские записи, следы местоположения или финансовые транзакции — где требуется формальная, проверяемая гарантия приватности. Она предполагает, что аналитик может ограничить чувствительность запросов и допустить некоторую потерю точности из-за шума. Она не подходит, когда требуются почти точные выходные данные на уровне отдельных лиц, когда ε должно быть очень малым, а набор данных крошечный, или когда неинтерактивная выдача данных не требуется. Альтернативы включают k-анонимность (более слабая гарантия) и безопасные многосторонние вычисления (когда данные должны оставаться распределенными).
Ограничения и замечания
- Добавляет шум к результатам запросов, снижая статистическую точность — компромисс становится серьезным для запросов с высокой чувствительностью или небольших наборов данных.
- Бюджет приватности ε не имеет интуитивно понятной абсолютной шкалы; выбор значимого значения ε требует экспертных знаний в предметной области и эмпирической калибровки.
- Наивная композиция быстро ухудшает приватность при большом количестве запросов; для рабочих нагрузок машинного обучения требуются продвинутые счетчики (Rényi DP, moments accountant).
- Не защищает от всех угроз приватности: коррелированные атрибуты или вспомогательные источники данных все еще могут позволить сделать выводы даже при использовании DP.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Предоставляет строгую, математически доказуемую гарантию приватности в наихудшем случае, независимую от фоновых знаний злоумышленника.
- Компонуемость: теоремы о последовательной и параллельной композиции позволяют учитывать бюджет приватности в сложных конвейерах анализа.
- Невосприимчивость к постобработке: любая функция, примененная к дифференциально приватному результату, остается дифференциально приватной.
- Применимость как к интерактивному ответу на запросы, так и к неинтерактивному машинному обучению (например, DP-SGD для нейронных сетей).
Применение
- Обучение дифференциально приватных моделей машинного обучения с использованием DP-SGD (например, классификаторов нейронных сетей на конфиденциальных медицинских или финансовых данных).
- Публикация микроданных переписи и агрегированных статистик с формальными гарантиями приватности для национальных статистических агентств.
- Сбор телеметрии и статистики использования с устройств пользователей без раскрытия индивидуальных поведенческих паттернов.
- Выпуск синтетических наборов данных, которые статистически похожи на исходные конфиденциальные данные, но при этом удовлетворяют формальному ограничению DP.
- Системы федеративного обучения, где локальные обновления моделей приватизируются перед агрегацией от распределенных клиентов.
Как это работает
Как это работает
Перед добавлением шума аналитик вычисляет глобальную чувствительность функции запроса f — максимальное изменение выходных данных f, которое может возникнуть в результате добавления или удаления записи одного человека. Запросы с высокой чувствительностью (например, вычисление суммы по неограниченной области) требуют большего шума; запросы с низкой чувствительностью (например, подсчет с ограниченными вкладами) требуют меньшего, напрямую контролируя компромисс между точностью и приватностью.
Формула
\Delta f = \max_{D, D': \|D - D'\|_1 = 1} \|f(D) - f(D')\|_1Строится распределение Лапласа с параметром масштаба b = Δf / ε. Бюджет приватности ε (эпсилон) определяет количество вводимого шума: малое ε означает сильную приватность, но большой шум и снижение точности, тогда как большое ε означает меньший шум, но более слабые гарантии приватности. Механизм Лапласа оптимален для запросов с ограниченной L1-чувствительностью; механизм Гаусса предпочтителен, когда L2-чувствительность более естественна.
Формула
\text{Lap}(x \mid \mu, b) = \frac{1}{2b} \exp\!\left(-\frac{|x - \mu|}{b}\right), \quad b = \frac{\Delta f}{\varepsilon}Дифференциально приватный ответ генерируется путем вычисления истинного запроса f(D) на наборе данных D и последующего добавления независимой выборки из откалиброванного распределения Лапласа (или Гаусса). Этот зашумленный результат публикуется. Поскольку шум генерируется независимо для каждого запроса, композиция нескольких дифференциально приватных механизмов приводит к аддитивному потреблению бюджета приватности, требуя тщательного учета по всему конвейеру анализа.
Формула
\mathcal{M}(D) = f(D) + \text{Lap}\!\left(0, \frac{\Delta f}{\varepsilon}\right)Основная гарантия гласит, что для любых двух соседних наборов данных D и D', отличающихся ровно одной записью, и для любого подмножества выходных данных S, отношение вероятностей попадания выходных данных механизма в S ограничено e^ε. Это ограничение выполняется независимо от фоновых знаний злоумышленника, обеспечивая гарантию приватности в наихудшем случае, семантически осмысленную, компонуемую, расширяемую до групповой приватности и невосприимчивую к атакам постобработки.
Формула
\Pr[\mathcal{M}(D) \in S] \leq e^{\varepsilon} \cdot \Pr[\mathcal{M}(D') \in S] \quad \forall S \subseteq \text{Range}(\mathcal{M})Частые ошибки
- Установка ε слишком большой (например, ε > 10) обеспечивает незначительную практическую приватность, несмотря на формальную метку DP — всегда интерпретируйте ε в контексте.
- Игнорирование неограниченности чувствительности: запросы по неограниченным областям (сырые суммы без обрезки) дают бесконечную чувствительность и нарушают работу механизма.
- Рассмотрение DP как полного решения проблемы приватности: оно ограничивает риск раскрытия информации об отдельных лицах, но не предотвращает выводы на уровне групп или агрегированные выводы.
- Неспособность учесть композицию по всему конвейеру данных; каждый запрос или шаг обучения модели потребляет бюджет и должен отслеживаться.
Часто задаваемые вопросы
Какое значение является хорошим для бюджета приватности ε?
Универсального ответа нет. В академической литературе ε ≤ 1 считается сильной приватностью, ε в диапазоне [1, 10] — умеренной, а ε > 10 — слабой. На практике соответствующее значение ε зависит от размера набора данных, чувствительности данных и количества комбинированных запросов. Некоторые производственные развертывания используют значения ε в низких однозначных числах после тщательной эмпирической оценки результирующей точности и риска раскрытия информации.
Чем дифференциальная приватность отличается от k-анонимности?
K-анонимность — это синтаксическое свойство выпущенного набора данных: каждая запись неотличима от по крайней мере k−1 других по квазиидентификаторам. Дифференциальная приватность — это семантическая, вероятностная гарантия механизма, который генерирует выходные данные. DP строго сильнее: она компонуема, не делает предположений о фоновых знаниях злоумышленника и доказанно устойчива к атакам связывания, которые обычно побеждают k-анонимность.
Можно ли применить дифференциальную приватность к моделям глубокого обучения?
Да. Алгоритм DP-SGD, формализованный Абади и др. (2016) на основе фреймворка Дворк, обрезает градиенты по отдельным примерам для ограничения чувствительности, а затем добавляет Гауссов шум перед каждым обновлением градиента. Moments accountant или Rényi DP accountant отслеживают потерю приватности на этапах обучения, позволяя обучать дифференциально приватные нейронные сети с доказуемой гарантией (ε, δ)-DP для конечной модели.
Похожие методы
Источники
Dwork, C. (2006). Differential privacy. International Colloquium on Automata, Languages and Programming (ICALP), 1–12.
Открыть ссылку DOIСкопировано.