Skip to content
検索結果に戻る

差分プライバシー

提唱者
Cynthia Dwork
年
2006
種類
Privacy-preserving randomized mechanism
系統
Privacy-preserving analysis

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

差分プライバシーは、個々のレコードが特定されたり推測されたりしないという厳格な保証を提供しながら、データセットに関する統計情報を公開するための数学的フレームワークです。2006年にシンシア・ドワークによって導入されたこのフレームワークは、プライバシーを確率的境界として形式化します。すなわち、データセットにおける個々の個人の存在または不在は、プライバシーと有用性のトレードオフを制御するプライバシーバジェットεを用いて、出力分布を最大でe^εの乗数だけ変化させます。

手法の背後にある直感

各回答者が最初にコインを投げるアンケートを想像してください。表が出たら正直に答える、裏が出たらランダムな答えを返す。ランダムな答えは集計時に相殺されるため、集計統計は意味のあるものになりますが、個々の答えを特定することはできません。差分プライバシーは、このアイデアを一般化します。クエリ結果に慎重に調整されたノイズを注入することで、ある個人のデータが含まれているかどうかにかかわらず、出力がほぼ同じように見えるようにし、メンバーシップ推論を実質的に不可能にします。

歴史学

シンシア・ドワーク、フランク・マクスウェリー、コビ・ニッシム、アダム・スミスは、k-匿名性などの以前のプライバシー定義を破る攻撃に動機付けられ、2006年のICALPとTCCで差分プライバシーを導入しました。ドワークの定式化は、最初の composable(組み合わせ可能)で、敵対者に依存しないプライバシー定義を提供しました。その後10年間で、このフレームワークは近似DP(ε、δ)、Rényi差分プライバシー、およびディープラーニングのためのDP-SGDに拡張されました。主要なテクノロジー企業は、2010年代に集計統計とモデルトレーニングのために本番システムでDPを採用しました。

使うべき場面

差分プライバシーは、健康記録、位置情報トレース、または金融取引などの機密性の高い個人データに関する統計情報の公開や機械学習モデルのトレーニングに適しています。そこでは、正式で監査可能なプライバシー保証が必要です。このフレームワークは、アナリストがクエリ感度を制限でき、ノイズによるある程度の精度低下を許容できることを前提としています。個々のレベルでのほぼ正確な出力が必要な場合、εが非常に小さくデータセットが非常に小さい場合、または非対話的なデータ公開が不要な場合には適していません。代替手段には、k-匿名性(より弱い保証)やセキュアマルチパーティ計算(データが分散したままでなければならない場合)があります。

限界と注意点

  • クエリ結果にノイズを追加するため、統計的精度が低下します。高感度クエリや小規模データセットでは、トレードオフが深刻になります。
  • プライバシーバジェットεには直感的な絶対スケールが欠けており、意味のあるε値を選択するには、ドメインの専門知識と経験的なキャリブレーションが必要です。
  • 単純な合成は、多くのクエリでプライバシーを急速に低下させます。MLワークロードには、高度な会計士(Rényi DP、モーメント会計士)が必要です。
  • すべてのプライバシー侵害から保護するわけではありません。相関属性や補助的なデータソースは、DP下でも推論を可能にする可能性があります。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 攻撃者の背景知識に依存しない、厳密で数学的に証明可能な最悪ケースのプライバシー保証を提供します。
  • Composable(組み合わせ可能):逐次および並列の合成定理により、複雑な分析パイプライン全体でのプライバシーバジェットの会計処理が可能になります。
  • Post-processing(事後処理)に対して耐性がある:差分プライベートな出力に適用される任意の関数は、差分プライベートなままです。
  • 対話型クエリ応答と非対話型機械学習(例:ニューラルネットワークのDP-SGD)の両方に適用可能です。

応用

  • DP-SGD(例:機密性の高い健康または金融データのニューラルネットワーク分類器)を使用した差分プライベートな機械学習モデルのトレーニング。
  • 国立統計機関のために、正式なプライバシー保証を伴う国勢調査のミクロデータおよび集計統計の公開。
  • 個々の行動パターンを公開することなく、ユーザーデバイスからのテレメトリおよび使用統計の収集。
  • 正式なDP境界を満たしながら、機密性の高い元のデータセットと統計的に類似する合成データセットのリリース。
  • ローカルモデルの更新が、分散クライアント全体での集計の前にプライベート化されるフェデレーテッドラーニングシステム。

使い方

使い方

1

ノイズを追加する前に、アナリストはクエリ関数fのグローバル感度を計算します。これは、単一の個人のレコードを追加または削除することによってfの出力に生じる可能性のある最大の変化です。感度の高いクエリ(例:無限ドメインでの合計の計算)はより多くのノイズを必要とし、感度の低いクエリ(例:境界付き貢献のカウント)はより少ないノイズで済み、精度とプライバシーのトレードオフを直接制御します。

数式
\Delta f = \max_{D, D': \|D - D'\|_1 = 1} \|f(D) - f(D')\|_1
2

スケールパラメータb = Δf / εのラプラス分布が構築されます。プライバシーバジェットε(イプシロン)は、注入されるノイズの量を制御します。εが小さいとプライバシーは強くなりますが、ノイズは大きく精度は低下します。一方、εが大きいとノイズは少なくなりますが、プライバシー保証は弱くなります。ラプラス機構は、L1感度が制限されたクエリに最適です。L2感度がより自然な場合はガウス機構が好まれます。

数式
\text{Lap}(x \mid \mu, b) = \frac{1}{2b} \exp\!\left(-\frac{|x - \mu|}{b}\right), \quad b = \frac{\Delta f}{\varepsilon}
3

差分プライベートな応答は、データセットD上の真のクエリf(D)を評価し、次に調整されたラプラス(またはガウス)分布からの独立したサンプルを追加することによって生成されます。このノイズの多い結果が公開されます。ノイズはクエリごとに独立して描画されるため、複数の差分プライベートな機構を組み合わせると、プライバシーバジェットは加算的に消費され、分析パイプライン全体で慎重な会計処理が必要になります。

数式
\mathcal{M}(D) = f(D) + \text{Lap}\!\left(0, \frac{\Delta f}{\varepsilon}\right)
4

コア保証は、レコードがちょうど1つだけ異なる2つの隣接するデータセットDとD'、および任意の出力サブセットSに対して、機構の出力がSに入る確率比がe^εによって制限されることを示しています。この境界は、攻撃者の背景知識に関係なく有効であり、 composable(組み合わせ可能)、group-privacy-extendable(グループプライバシー拡張可能)、post-processing attacks(事後処理攻撃)に対して耐性がある、最悪ケースの、意味的に意味のあるプライバシー保証を提供します。

数式
\Pr[\mathcal{M}(D) \in S] \leq e^{\varepsilon} \cdot \Pr[\mathcal{M}(D') \in S] \quad \forall S \subseteq \text{Range}(\mathcal{M})

よくある落とし穴

  • εを大きすぎる値(例:ε > 10)に設定すると、正式なDPラベルにもかかわらず、実質的なプライバシーはほとんど提供されません。常に文脈でεを解釈してください。
  • 感度の無限性を無視すること:無限ドメイン(クリッピングなしの生の合計)に対するクエリは、無限の感度をもたらし、機構を破綻させます。
  • DPを完全なプライバシーソリューションとして扱うこと:個々の開示リスクを制限しますが、グループレベルまたは集計レベルの推論を防ぐことはできません。
  • データパイプライン全体での合成を考慮しないこと。各クエリまたはモデルトレーニングステップはバジェットを消費し、追跡する必要があります。

よくある質問

プライバシーバジェットεの良い値は何ですか?

普遍的な答えはありません。学術文献では、ε ≤ 1は強力なプライバシー、εが[1, 10]の範囲は中程度、ε > 10は弱いと見なされます。実際には、適切なεは、データセットのサイズ、データの感度、および合成されるクエリの数に依存します。一部の本番環境では、結果の精度と開示リスクの慎重な経験的評価の後、一桁台前半のε値が使用されます。

差分プライバシーはk-匿名性とどのように異なりますか?

k-匿名性は、公開されるデータセットの構文的プロパティです。各レコードは、準識別子に関して少なくともk-1の他のレコードと区別がつきません。差分プライバシーは、出力を生成する機構に関する意味論的、確率的な保証です。DPは厳密に強力です。 composable(組み合わせ可能)であり、攻撃者の背景知識に関する仮定をせず、k-匿名性を日常的に破るリンケージ攻撃に対して耐性があることが証明されています。

差分プライバシーはディープラーニングモデルに適用できますか?

はい。ドワークのフレームワークに基づき、Abadiら(2016)によって形式化されたDP-SGDアルゴリズムは、サンプルごとの勾配をクリッピングして感度を制限し、各勾配更新の前にガウスノイズを追加します。モーメント会計士またはRényi DP会計士は、トレーニングステップ全体でのプライバシー損失を追跡し、最終モデルに対する証明可能な(ε、δ)-DP保証を持つ差分プライベートなニューラルネットワークのトレーニングを可能にします。

関連する手法

参考文献

  1. Dwork, C. (2006). Differential privacy. International Colloquium on Automata, Languages and Programming (ICALP), 1–12.

    DOI 文献を開く
    コピーしました。