Privacy Differenziale
- Introdotto da
- Cynthia Dwork
- Anno
- 2006
- Tipo
- Privacy-preserving randomized mechanism
- Famiglia
- Privacy-preserving analysis
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
La privacy differenziale è un framework matematico per il rilascio di informazioni statistiche su un dataset, fornendo al contempo garanzie rigorose che i singoli record non possano essere identificati o inferiti.
Introdotta da Cynthia Dwork nel 2006, formalizza la privacy come un limite probabilistico: la presenza o assenza di un singolo individuo nel dataset modifica la distribuzione di output al massimo per un fattore moltiplicativo di e^ε, dove ε è il "budget di privacy" che controlla il tradeoff privacy-utilità.
L’intuizione alla base del metodo
Immaginate un sondaggio in cui ogni intervistato lancia prima una moneta: "testa" significa rispondere sinceramente, "croce" significa dare una risposta casuale. Le statistiche aggregate rimangono significative perché le risposte casuali si annullano nell'aggregato, eppure nessuna singola risposta può essere individuata. La privacy differenziale generalizza questa idea: inietta rumore accuratamente calibrato nei risultati delle query in modo che l'output appaia quasi lo stesso sia che i dati di una persona siano inclusi o meno, rendendo l'inferenza di appartenenza essenzialmente impossibile.
Storia
Cynthia Dwork, Frank McSherry, Kobbi Nissim e Adam Smith hanno introdotto la privacy differenziale all'ICALP 2006 e al TCC 2006, motivati da attacchi che avevano sconfitto precedenti definizioni di privacy come la k-anonimità. La formulazione di Dwork ha fornito la prima definizione di privacy componibile e agnostica rispetto all'avversario. Nel decennio successivo il framework è stato esteso con DP approssimata (ε, δ), Rényi differential privacy e DP-SGD per il deep learning. Le principali aziende tecnologiche hanno adottato la DP nei sistemi di produzione per statistiche aggregate e addestramento di modelli durante gli anni 2010.
Quando usarlo
La privacy differenziale è appropriata quando si pubblicano statistiche o si addestrano modelli di machine learning su dati personali sensibili — come cartelle cliniche, tracce di localizzazione o transazioni finanziarie — dove è richiesta una garanzia di privacy formale e verificabile. Presuppone che l'analista possa limitare la sensibilità delle query e tollerare una certa perdita di accuratezza dovuta al rumore. Non è adatta quando sono necessari output quasi esatti a livello individuale, quando ε deve essere molto piccolo e il dataset è minuscolo, o quando il rilascio di dati non interattivo non è necessario. Le alternative includono la k-anonimità (garanzia più debole) e il calcolo multipartitico sicuro (quando i dati devono rimanere distribuiti).
Limiti e considerazioni
- Aggiunge rumore ai risultati delle query, riducendo l'accuratezza statistica — il tradeoff diventa severo per query ad alta sensibilità o dataset piccoli.
- Il budget di privacy ε manca di una scala assoluta intuitiva; la scelta di un valore ε significativo richiede competenza nel dominio e calibrazione empirica.
- La composizione "ingenua" degrada rapidamente la privacy su molte query; sono necessari "accountant" avanzati (Rényi DP, moments accountant) per i carichi di lavoro di ML.
- Non protegge da tutti i danni alla privacy: attributi correlati o fonti di dati ausiliarie possono comunque consentire inferenze anche sotto DP.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Fornisce una garanzia di privacy "worst-case" rigorosa e matematicamente dimostrabile, indipendente dalla conoscenza pregressa dell'attaccante.
- Componibile: i teoremi di composizione sequenziale e parallela consentono la contabilizzazione del budget di privacy attraverso pipeline di analisi complesse.
- Immune alla post-elaborazione: qualsiasi funzione applicata a un output differenzialmente privato rimane differenzialmente privata.
- Applicabile sia all'interrogazione interattiva che al machine learning non interattivo (ad esempio, DP-SGD per le reti neurali).
Applicazioni
- Addestramento di modelli di machine learning differenzialmente privati utilizzando DP-SGD (ad esempio, classificatori di reti neurali su dati sanitari o finanziari sensibili).
- Pubblicazione di microdati censuari e statistiche aggregate con garanzie formali di privacy per le agenzie statistiche nazionali.
- Raccolta di telemetria e statistiche di utilizzo da dispositivi utente senza esporre i modelli di comportamento individuali.
- Rilascio di dataset sintetici che assomigliano statisticamente agli originali sensibili pur soddisfacendo un limite DP formale.
- Sistemi di apprendimento federato in cui gli aggiornamenti del modello locale vengono privatizzati prima dell'aggregazione tra client distribuiti.
Come funziona
Come funziona
Prima di aggiungere rumore, l'analista calcola la sensibilità globale della funzione di query f — la massima variazione nell'output di f che potrebbe derivare dall'aggiunta o rimozione del record di un singolo individuo. Le query ad alta sensibilità (ad esempio, il calcolo di una somma su un dominio illimitato) richiedono più rumore; le query a bassa sensibilità (ad esempio, il conteggio con contributi limitati) richiedono meno, controllando direttamente il tradeoff accuratezza-privacy.
Formula
\Delta f = \max_{D, D': \|D - D'\|_1 = 1} \|f(D) - f(D')\|_1Viene costruita una distribuzione di Laplace con parametro di scala b = Δf / ε. Il budget di privacy ε (epsilon) governa la quantità di rumore iniettato: un piccolo ε significa forte privacy ma grande rumore e ridotta accuratezza, mentre un grande ε significa meno rumore ma garanzie di privacy più deboli. Il meccanismo di Laplace è ottimale per query con sensibilità L1 limitata; il meccanismo gaussiano è preferito quando la sensibilità L2 è più naturale.
Formula
\text{Lap}(x \mid \mu, b) = \frac{1}{2b} \exp\!\left(-\frac{|x - \mu|}{b}\right), \quad b = \frac{\Delta f}{\varepsilon}La risposta differenzialmente privata viene prodotta valutando la vera query f(D) sul dataset D e quindi aggiungendo un'estrazione indipendente dalla distribuzione di Laplace (o Gaussiana) calibrata. Questo risultato rumoroso viene rilasciato pubblicamente. Poiché il rumore viene estratto indipendentemente per ogni query, la composizione di più meccanismi differenzialmente privati consuma il budget di privacy in modo additivo, richiedendo un'attenta contabilizzazione lungo l'intera pipeline di analisi.
Formula
\mathcal{M}(D) = f(D) + \text{Lap}\!\left(0, \frac{\Delta f}{\varepsilon}\right)La garanzia fondamentale afferma che per qualsiasi coppia di dataset "vicini" D e D' che differiscono esattamente per un record, e per qualsiasi sottoinsieme di output S, il rapporto di probabilità che l'output del meccanismo ricada in S è limitato da e^ε. Questo limite vale indipendentemente dalla conoscenza pregressa dell'avversario, fornendo una garanzia di privacy "worst-case" e semanticamente significativa che è componibile, estendibile alla privacy di gruppo e immune agli attacchi di post-elaborazione.
Formula
\Pr[\mathcal{M}(D) \in S] \leq e^{\varepsilon} \cdot \Pr[\mathcal{M}(D') \in S] \quad \forall S \subseteq \text{Range}(\mathcal{M})Errori comuni
- Impostare ε troppo grande (ad esempio, ε > 10) fornisce una privacy pratica trascurabile nonostante un'etichetta DP formale — interpretare sempre ε nel contesto.
- Ignorare la non limitatezza della sensibilità: le query su domini illimitati (somme grezze senza "clipping") producono sensibilità infinita e "rompono" il meccanismo.
- Trattare la DP come una soluzione completa per la privacy: essa limita il rischio di divulgazione individuale ma non impedisce inferenze a livello di gruppo o aggregate.
- Non tenere conto della composizione lungo l'intera pipeline di dati; ogni query o fase di addestramento del modello consuma budget e deve essere tracciata.
Domande frequenti
Qual è un buon valore per il budget di privacy ε?
Non esiste una risposta universale. Nella letteratura accademica ε ≤ 1 è considerato privacy forte, ε in [1, 10] moderata, ed ε > 10 debole. In pratica, l'ε appropriato dipende dalla dimensione del dataset, dalla sensibilità dei dati e dal numero di query composte. Alcune implementazioni in produzione utilizzano valori di ε nelle singole cifre basse dopo un'attenta valutazione empirica dell'accuratezza e del rischio di divulgazione risultanti.
In che modo la privacy differenziale differisce dalla k-anonimità?
La k-anonimità è una proprietà sintattica di un dataset rilasciato — ogni record è indistinguibile da almeno altri k−1 su quasi-identificatori. La privacy differenziale è una garanzia semantica e probabilistica sul meccanismo che produce l'output. La DP è strettamente più forte: è componibile, non fa ipotesi sulla conoscenza pregressa dell'attaccante ed è dimostrata resistente agli attacchi di collegamento che sconfiggono regolarmente la k-anonimità.
La privacy differenziale può essere applicata ai modelli di deep learning?
Sì. L'algoritmo DP-SGD, formalizzato da Abadi et al. (2016) basandosi sul framework di Dwork, "clippa" i gradienti per campione per limitare la sensibilità e quindi aggiunge rumore gaussiano prima di ogni aggiornamento del gradiente. Il "moments accountant" o il "Rényi DP accountant" traccia la perdita di privacy attraverso le fasi di addestramento, consentendo l'addestramento di reti neurali differenzialmente private con una garanzia (ε, δ)-DP dimostrabile sul modello finale.
Metodi correlati
Fonti
Dwork, C. (2006). Differential privacy. International Colloquium on Automata, Languages and Programming (ICALP), 1–12.
Apri il riferimento DOICopiato.