Skip to content
返回搜索结果

差分隐私

提出者
Cynthia Dwork
年份
2006
类型
Privacy-preserving randomized mechanism
类别
Privacy-preserving analysis

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

差分隐私是一种数学框架,用于在提供严格保证个体记录无法被识别或推断的前提下,发布关于数据集的统计信息。该框架由 Cynthia Dwork 于 2006 年提出,它将隐私形式化为一个概率界限:任何单个个体在数据集中是否存在,最多只会将输出分布改变一个 e^ε 的乘法因子,其中 ε 是控制隐私-实用性权衡的隐私预算。

方法背后的直觉

设想一项调查,每位受访者先抛硬币:正面表示如实回答,反面表示给出随机答案。由于随机答案在总体上会相互抵消,因此汇总统计数据仍然有意义,但无法确定任何单个答案的来源。差分隐私将这一思想推广 — 它向查询结果注入经过精心校准的噪声,使得无论是否包含某个人的数据,输出看起来几乎相同,从而基本不可能进行成员推断。

历史学

Cynthia Dwork、Frank McSherry、Kobbi Nissim 和 Adam Smith 于 2006 年在 ICALP 和 TCC 会议上引入了差分隐私,其动机是应对击败早期隐私定义(如 k-匿名性)的攻击。Dwork 的表述首次提供了可组合的、与对手无关的隐私定义。在接下来的十年中,该框架通过近似 DP (ε, δ)、Rényi 差分隐私以及用于深度学习的 DP-SGD 得到了扩展。主要科技公司在 2010 年代将 DP 应用于生产系统,用于聚合统计数据和模型训练。

何时使用

当发布敏感个人数据(如健康记录、位置轨迹或金融交易)的统计信息或训练机器学习模型时,差分隐私是适用的 — 特别是当需要正式、可审计的隐私保证时。它假设分析师能够界定查询敏感度并容忍噪声带来的准确性损失。当需要接近精确的个体级别输出、ε 必须非常小且数据集很小时,或者不需要非交互式数据发布时,它不适用。替代方法包括 k-匿名性(保证较弱)和安全多方计算(当数据必须保持分布式时)。

局限与注意事项

  • 向查询结果添加噪声,降低统计准确性 — 对于高敏感度查询或小型数据集,权衡会变得很严重。
  • 隐私预算 ε 缺乏直观的绝对尺度;选择有意义的 ε 值需要领域专业知识和经验校准。
  • 朴素组合在多次查询中会迅速降低隐私性;对于机器学习工作负载,需要高级核算器(Rényi DP、矩量核算器)。
  • 不能防止所有隐私危害:即使在 DP 下,相关的属性或辅助数据源仍可能允许推断。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 提供严格的、数学上可证明的最坏情况隐私保证,独立于攻击者的背景知识。
  • 可组合性:顺序和并行组合定理允许在复杂的分析流程中进行隐私预算核算。
  • 免疫于后处理:应用于差分隐私输出的任何函数都保持差分隐私。
  • 适用于交互式查询应答和非交互式机器学习(例如,神经网络的 DP-SGD)。

应用

  • 使用 DP-SGD 训练差分隐私机器学习模型(例如,在敏感健康或金融数据上进行神经网络分类器训练)。
  • 为国家统计机构发布具有正式隐私保证的人口普查微数据和汇总统计数据。
  • 收集用户设备的遥测和使用统计数据,而无需暴露个体行为模式。
  • 发布在统计上类似于敏感原始数据但满足正式 DP 界限的合成数据集。
  • 在联邦学习系统中,本地模型更新在跨分布式客户端聚合之前进行隐私化。

使用方式

使用方式

1

在添加噪声之前,分析师会计算查询函数 f 的全局敏感度 — 这是通过添加或删除单个个体的记录可能导致 f 输出的最大变化。高敏感度查询(例如,计算无界域上的总和)需要更多噪声;低敏感度查询(例如,具有有界贡献的计数)需要更少噪声,直接控制准确性-隐私权衡。

公式
\Delta f = \max_{D, D': \|D - D'\|_1 = 1} \|f(D) - f(D')\|_1
2

构造一个尺度参数为 b = Δf / ε 的拉普拉斯分布。隐私预算 ε(epsilon)控制注入多少噪声:小的 ε 意味着强隐私但噪声大且准确性降低,而大的 ε 意味着噪声小但隐私保证较弱。拉普拉斯机制对于具有有界 L1 敏感度的查询是最优的;当 L2 敏感度更自然时,则首选高斯机制。

公式
\text{Lap}(x \mid \mu, b) = \frac{1}{2b} \exp\!\left(-\frac{|x - \mu|}{b}\right), \quad b = \frac{\Delta f}{\varepsilon}
3

通过在数据集 D 上计算真实查询 f(D) 的值,然后添加来自校准后的拉普拉斯(或高斯)分布的独立样本,来生成差分隐私响应。此带噪声的结果被公开。由于每次查询的噪声都是独立绘制的,因此组合多个差分隐私机制会累加消耗隐私预算,需要在整个分析流程中进行仔细核算。

公式
\mathcal{M}(D) = f(D) + \text{Lap}\!\left(0, \frac{\Delta f}{\varepsilon}\right)
4

核心保证指出,对于任意两个相邻的数据集 D 和 D'(它们仅在一个记录上有所不同),以及任意输出子集 S,机制输出落在 S 中的概率比有界于 e^ε。此界限与对手的背景知识无关,提供了最坏情况下的、语义上有意义的隐私保证,该保证是可组合的、可扩展到群体隐私的,并且免疫于后处理攻击。

公式
\Pr[\mathcal{M}(D) \in S] \leq e^{\varepsilon} \cdot \Pr[\mathcal{M}(D') \in S] \quad \forall S \subseteq \text{Range}(\mathcal{M})

常见陷阱

  • 将 ε 设置得过大(例如,ε > 10)会提供可忽略的实际隐私,尽管有正式的 DP 标签 — 务必结合上下文解释 ε。
  • 忽略敏感度无界性:对无界域的查询(未经裁剪的原始总和)会产生无限敏感度并破坏机制。
  • 将 DP 视为完整的隐私解决方案:它限制了个人披露风险,但不能防止群体级别或聚合推断。
  • 未能核算整个数据流程中的组合;每次查询或模型训练步骤都会消耗预算,必须进行跟踪。

常见问题

隐私预算 ε 的一个好值是多少?

没有普遍的答案。在学术文献中,ε ≤ 1 被认为是强隐私,ε 在 [1, 10] 之间被认为是中等隐私,ε > 10 被认为是弱隐私。在实践中,合适的 ε 取决于数据集大小、数据敏感性以及组合查询的数量。一些生产部署在使用仔细的经验评估了由此产生的准确性和披露风险后,会使用个位数较低的 ε 值。

差分隐私与 k-匿名性有何不同?

k-匿名性是发布数据集中的一种语法属性 — 每个记录在准标识符上与至少 k-1 个其他记录无法区分。差分隐私是一种关于生成输出的机制的语义、概率保证。DP 严格更强:它是可组合的,不假定攻击者的背景知识,并且已被证明能抵抗通常会击败 k-匿名性的链接攻击。

差分隐私能否应用于深度学习模型?

可以。DP-SGD 算法由 Abadi 等人(2016 年)基于 Dwork 的框架形式化,它通过裁剪每个样本的梯度来界定敏感度,然后在每次梯度更新前添加高斯噪声。矩量核算器或 Rényi DP 核算器跨训练步骤跟踪隐私损失,从而能够以最终模型上可证明的 (ε, δ)-DP 保证来训练差分隐私神经网络。

相关方法

参考文献

  1. Dwork, C. (2006). Differential privacy. International Colloquium on Automata, Languages and Programming (ICALP), 1–12.

    打开 DOI 文献
    已复制。