Skip to content
Назад к результатам поиска

Дифференциальная приватность

Автор метода
Cynthia Dwork
Год
2006
Тип
Privacy-preserving randomized mechanism
Семейство
Privacy-preserving analysis

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Дифференциальная приватность — это математическая основа для публикации статистической информации о наборе данных, обеспечивающая строгие гарантии невозможности идентификации или вывода отдельных записей.

Предложенная Синтией Дворк в 2006 году, она формализует приватность как вероятностное ограничение: присутствие или отсутствие любой отдельной записи в наборе данных изменяет распределение выходных данных не более чем в e^ε раз, где ε — бюджет приватности, контролирующий компромисс между приватностью и полезностью.

Интуиция метода

Представьте себе опрос, в котором каждый респондент сначала подбрасывает монету: орел означает ответить правдиво, решка — дать случайный ответ. Агрегированные статистики остаются осмысленными, поскольку случайные ответы в совокупности компенсируют друг друга, однако ни один индивидуальный ответ не может быть точно установлен. Дифференциальная приватность обобщает эту идею — она вводит тщательно откалиброванный шум в результаты запросов таким образом, что выходные данные выглядят почти одинаково независимо от того, включены ли данные одного человека или нет, что делает вывод о принадлежности практически невозможным.

История

Синтия Дворк, Фрэнк МакШерри, Кобби Ниссим и Адам Смит представили дифференциальную приватность на ICALP 2006 и TCC 2006, мотивированные атаками, которые обошли предыдущие определения приватности, такие как k-анонимность. Формулировка Дворк предоставила первое компонуемое, независимое от злоумышленника определение приватности. В течение следующего десятилетия эта основа была расширена приближенной DP (ε, δ), реньи-дифференциальной приватностью и DP-SGD для глубокого обучения. Крупные технологические компании приняли DP в производственных системах для агрегированных статистик и обучения моделей в 2010-х годах.

Когда применять

Дифференциальная приватность подходит для публикации статистики или обучения моделей машинного обучения на конфиденциальных персональных данных — таких как медицинские записи, следы местоположения или финансовые транзакции — где требуется формальная, проверяемая гарантия приватности. Она предполагает, что аналитик может ограничить чувствительность запросов и допустить некоторую потерю точности из-за шума. Она не подходит, когда требуются почти точные выходные данные на уровне отдельных лиц, когда ε должно быть очень малым, а набор данных крошечный, или когда неинтерактивная выдача данных не требуется. Альтернативы включают k-анонимность (более слабая гарантия) и безопасные многосторонние вычисления (когда данные должны оставаться распределенными).

Ограничения и замечания

  • Добавляет шум к результатам запросов, снижая статистическую точность — компромисс становится серьезным для запросов с высокой чувствительностью или небольших наборов данных.
  • Бюджет приватности ε не имеет интуитивно понятной абсолютной шкалы; выбор значимого значения ε требует экспертных знаний в предметной области и эмпирической калибровки.
  • Наивная композиция быстро ухудшает приватность при большом количестве запросов; для рабочих нагрузок машинного обучения требуются продвинутые счетчики (Rényi DP, moments accountant).
  • Не защищает от всех угроз приватности: коррелированные атрибуты или вспомогательные источники данных все еще могут позволить сделать выводы даже при использовании DP.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Предоставляет строгую, математически доказуемую гарантию приватности в наихудшем случае, независимую от фоновых знаний злоумышленника.
  • Компонуемость: теоремы о последовательной и параллельной композиции позволяют учитывать бюджет приватности в сложных конвейерах анализа.
  • Невосприимчивость к постобработке: любая функция, примененная к дифференциально приватному результату, остается дифференциально приватной.
  • Применимость как к интерактивному ответу на запросы, так и к неинтерактивному машинному обучению (например, DP-SGD для нейронных сетей).

Применение

  • Обучение дифференциально приватных моделей машинного обучения с использованием DP-SGD (например, классификаторов нейронных сетей на конфиденциальных медицинских или финансовых данных).
  • Публикация микроданных переписи и агрегированных статистик с формальными гарантиями приватности для национальных статистических агентств.
  • Сбор телеметрии и статистики использования с устройств пользователей без раскрытия индивидуальных поведенческих паттернов.
  • Выпуск синтетических наборов данных, которые статистически похожи на исходные конфиденциальные данные, но при этом удовлетворяют формальному ограничению DP.
  • Системы федеративного обучения, где локальные обновления моделей приватизируются перед агрегацией от распределенных клиентов.

Как это работает

Как это работает

1

Перед добавлением шума аналитик вычисляет глобальную чувствительность функции запроса f — максимальное изменение выходных данных f, которое может возникнуть в результате добавления или удаления записи одного человека. Запросы с высокой чувствительностью (например, вычисление суммы по неограниченной области) требуют большего шума; запросы с низкой чувствительностью (например, подсчет с ограниченными вкладами) требуют меньшего, напрямую контролируя компромисс между точностью и приватностью.

Формула
\Delta f = \max_{D, D': \|D - D'\|_1 = 1} \|f(D) - f(D')\|_1
2

Строится распределение Лапласа с параметром масштаба b = Δf / ε. Бюджет приватности ε (эпсилон) определяет количество вводимого шума: малое ε означает сильную приватность, но большой шум и снижение точности, тогда как большое ε означает меньший шум, но более слабые гарантии приватности. Механизм Лапласа оптимален для запросов с ограниченной L1-чувствительностью; механизм Гаусса предпочтителен, когда L2-чувствительность более естественна.

Формула
\text{Lap}(x \mid \mu, b) = \frac{1}{2b} \exp\!\left(-\frac{|x - \mu|}{b}\right), \quad b = \frac{\Delta f}{\varepsilon}
3

Дифференциально приватный ответ генерируется путем вычисления истинного запроса f(D) на наборе данных D и последующего добавления независимой выборки из откалиброванного распределения Лапласа (или Гаусса). Этот зашумленный результат публикуется. Поскольку шум генерируется независимо для каждого запроса, композиция нескольких дифференциально приватных механизмов приводит к аддитивному потреблению бюджета приватности, требуя тщательного учета по всему конвейеру анализа.

Формула
\mathcal{M}(D) = f(D) + \text{Lap}\!\left(0, \frac{\Delta f}{\varepsilon}\right)
4

Основная гарантия гласит, что для любых двух соседних наборов данных D и D', отличающихся ровно одной записью, и для любого подмножества выходных данных S, отношение вероятностей попадания выходных данных механизма в S ограничено e^ε. Это ограничение выполняется независимо от фоновых знаний злоумышленника, обеспечивая гарантию приватности в наихудшем случае, семантически осмысленную, компонуемую, расширяемую до групповой приватности и невосприимчивую к атакам постобработки.

Формула
\Pr[\mathcal{M}(D) \in S] \leq e^{\varepsilon} \cdot \Pr[\mathcal{M}(D') \in S] \quad \forall S \subseteq \text{Range}(\mathcal{M})

Частые ошибки

  • Установка ε слишком большой (например, ε > 10) обеспечивает незначительную практическую приватность, несмотря на формальную метку DP — всегда интерпретируйте ε в контексте.
  • Игнорирование неограниченности чувствительности: запросы по неограниченным областям (сырые суммы без обрезки) дают бесконечную чувствительность и нарушают работу механизма.
  • Рассмотрение DP как полного решения проблемы приватности: оно ограничивает риск раскрытия информации об отдельных лицах, но не предотвращает выводы на уровне групп или агрегированные выводы.
  • Неспособность учесть композицию по всему конвейеру данных; каждый запрос или шаг обучения модели потребляет бюджет и должен отслеживаться.

Часто задаваемые вопросы

Какое значение является хорошим для бюджета приватности ε?

Универсального ответа нет. В академической литературе ε ≤ 1 считается сильной приватностью, ε в диапазоне [1, 10] — умеренной, а ε > 10 — слабой. На практике соответствующее значение ε зависит от размера набора данных, чувствительности данных и количества комбинированных запросов. Некоторые производственные развертывания используют значения ε в низких однозначных числах после тщательной эмпирической оценки результирующей точности и риска раскрытия информации.

Чем дифференциальная приватность отличается от k-анонимности?

K-анонимность — это синтаксическое свойство выпущенного набора данных: каждая запись неотличима от по крайней мере k−1 других по квазиидентификаторам. Дифференциальная приватность — это семантическая, вероятностная гарантия механизма, который генерирует выходные данные. DP строго сильнее: она компонуема, не делает предположений о фоновых знаниях злоумышленника и доказанно устойчива к атакам связывания, которые обычно побеждают k-анонимность.

Можно ли применить дифференциальную приватность к моделям глубокого обучения?

Да. Алгоритм DP-SGD, формализованный Абади и др. (2016) на основе фреймворка Дворк, обрезает градиенты по отдельным примерам для ограничения чувствительности, а затем добавляет Гауссов шум перед каждым обновлением градиента. Moments accountant или Rényi DP accountant отслеживают потерю приватности на этапах обучения, позволяя обучать дифференциально приватные нейронные сети с доказуемой гарантией (ε, δ)-DP для конечной модели.

Похожие методы

Источники

  1. Dwork, C. (2006). Differential privacy. International Colloquium on Automata, Languages and Programming (ICALP), 1–12.

    Открыть ссылку DOI
    Скопировано.