用于披露控制的合成数据生成
- 提出者
- Donald Rubin
- 年份
- 1993
- 类型
- Privacy-preserving data synthesis
- 类别
- Privacy-preserving analysis
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
合成数据生成是一种统计披露限制技术,由Donald Rubin于1993年提出。在该技术中,机密数据集中的值被来自已拟合的后验预测分布的样本替换,而不是直接发布。由此产生的合成记录保留了原始数据的联合统计结构,同时防止了真实个体的识别,使分析人员能够使用一个可公开发布的、在大多数推断目的上表现与原始数据相似的数据集。
方法背后的直觉
想象一位雕塑家,他没有将一件珍贵的原始雕像借给你,而是递给你一个用同一个模具制作的完美石膏模型。你可以测量每一个尺寸,测试其重量分布,研究其比例,而不会有损坏原件的风险。合成数据的工作方式相同:模型学习真实数据的“形状”,并生成具有该形状的合成记录,因此研究人员可以获得分析上有用的材料,而记录背后的真实个体则保持隐藏。
历史学
Donald Rubin在1993年关于统计披露限制的讨论论文中提出了合成数据生成,他改编了他在20世纪70-80年代为处理缺失数据而开发的多元插补框架。Roderick Little随后阐述了该理论,区分了完全合成和部分合成方法。在21世纪初,美国人口普查局对几项调查进行了合成公众使用文件试点。2014年后生成对抗网络和变分自编码器的兴起极大地扩展了工具集,使得深度学习合成器能够处理复杂的表格和纵向数据。
何时使用
当数据集包含敏感的个人信息或商业机密信息,这些信息在法律上或道德上无法以原始形式共享,但发布某个版本的数据将有益于研究或政策分析时,请使用合成数据生成。它非常适合大型、复杂的微观数据文件,因为简单的掩码技术会破坏其分析效用。关键假设是合成模型捕捉了相关的联合分布,并且预期分析与合成器的设计目的相一致。当研究问题依赖于个体记录的真实性、合成模型严重错误指定,或利用细微分布伪影进行对抗性重新识别攻击是一个严重问题时,它不适用。替代方法包括差分隐私、数据飞碟和基于查询的访问系统。
局限与注意事项
- 推断有效性严重依赖于合成模型的正确指定;错误指定的模型会产生具有偏差分布的合成数据,误导分析人员。
- 合并规则需要了解数据是完全合成还是部分合成,以及生成了多少个副本,这些细节必须随发布一起提供。
- 为具有极端偏斜、稀疏类别或复杂分层结构的变量生成高保真合成数据在技术上仍然具有挑战性。
- 成员推断和属性披露攻击表明,合成数据集并非绝对隐私;正式的隐私保证需要额外的机制,如差分隐私。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 发布一个完全自包含的数据集,分析人员可以使用标准软件和工作流程进行分析,无需特殊基础设施。
- 基于严格的贝叶斯多元插补框架,在正确应用合并规则时提供有效的方差估计。
- 能够重现简单的掩码方法会扭曲的复杂多元关系、稀有子群体分布和纵向结构。
- 能够自然地扩展到高维微观数据,并可以整合辅助公共数据以提高合成器的保真度。
应用
- 国家统计机构在保护受访者身份的同时,发布人口普查和家庭调查的公众使用微观数据文件。
- 医疗保健系统在不暴露HIPAA或GDPR保护的健康信息的情况下,共享患者记录用于流行病学研究。
- 金融机构为欺诈检测模型开发和监管压力测试练习生成合成交易数据集。
- 社会科学数据档案馆通过合成教学数据集来增强受限访问的纵向研究,用于课堂教学。
- 科技公司在真实日志过于敏感无法直接使用时,生成合成用户行为日志,用于机器学习模型的训练和基准测试。
使用方式
使用方式
一个生成模型——从贝叶斯参数模型到序列回归或深度生成网络——被拟合到机密原始数据集上。目标是捕捉所有变量的完整联合分布,包括它们的协方差和边际特征,以便合成器能够编码分析人员在下游推断中需要的一切。
公式
p(X_{\text{synth}} \mid X_{\text{obs}}) = \int p(X_{\text{synth}} \mid \theta)\, p(\theta \mid X_{\text{obs}})\, d\theta合成过程不是使用模型参数的单一估计值,而是从给定观测数据的后验分布中抽取一个新的参数向量。这个贝叶斯步骤将参数不确定性传播到每个合成副本中,防止过度自信的推断,并将合成框架在形式上与Rubin的多元插补理论对齐。
公式
\theta^{*} \sim p(\theta \mid X_{\text{obs}})使用抽取的参数向量,模拟一个与原始数据集维度相同但全新的数据集。此步骤重复M次(通常M=5-20),以生成M个独立的合成副本,每个副本都反映了后验分布的一次不同抽取,因此捕捉了由抽样变异性和参数估计引起的所有不确定性。
公式
X_{\text{synth}}^{(m)} \sim p(X \mid \theta^{*}), \quad m = 1, \ldots, M分析人员在M个合成数据集中的每一个上运行他们的统计程序,获得M个点估计和方差估计。这些估计使用Rubin的合并规则进行组合:总体估计是M个估计的平均值,总方差是将副本内方差与一个按(M+1)/M缩放的副本间分量相加,从而得到有效的频率学置信区间和假设检验。
公式
\bar{Q} = \frac{1}{M} \sum_{m=1}^{M} \hat{Q}^{(m)}, \quad T = \frac{1}{M}\sum_{m=1}^{M} U^{(m)} + \frac{M+1}{M} B_M常见陷阱
- 仅发布一个合成副本(M=1)会使合并规则框架失效,并产生过度自信的标准误差。
- 在非代表性子样本上拟合合成模型,然后以总体规模生成合成记录,会引入分析人员可能无法检测到的系统性偏差。
- 在需要个体真实性的分析(如记录链接或地理微观定位)中,将合成数据视为真实数据的完美替代品,会导致实质性错误的结论。
- 从合成模型中省略稀有但具有分析重要性的亚组,可能导致这些亚组在合成输出中缺失或严重失真。
常见问题
我需要多少个合成副本(M)?
Rubin的合并规则至少需要M=2个副本才能估计副本间方差。实践中,M=5到20是标准值:较小的M会增加方差估计并降低统计功效,而非常大的M则收益递减。最佳选择取决于总方差中有多少归因于合成不确定性相对于副本内抽样变异性。
合成数据是否等同于GDPR下的匿名数据?
监管机构通常谨慎对待合成数据。如果合成模型记忆或近似个体记录,输出仍可能被视为个人数据。GDPR下的真正匿名化要求重新识别在合理程度上不可能;只有当证明了可证明的低成员推断风险时,合成数据才能达到这一标准,通常通过在合成过程之上添加正式的差分隐私保证来实现。
我可以使用深度生成模型代替贝叶斯回归合成器吗?
是的。GAN、VAE和扩散模型已被用作合成器,并且可以捕捉参数模型所遗漏的高度非线性依赖关系。然而,它们缺乏支持Rubin合并规则的原则性后验抽样解释,因此需要额外的工作来量化合成不确定性,并确保从GAN发布的M个副本能够产生有效的推断,而不是M个几乎相同的相同生成分布的副本。
相关方法
参考文献
Rubin, D. B. (1993). Statistical disclosure limitation. Journal of Official Statistics, 9(2), 461–468.
打开出版物文献已复制。