Skip to content
Retour aux résultats

Confidentialité différentielle

Introduite par
Cynthia Dwork
Année
2006
Type
Privacy-preserving randomized mechanism
Famille
Privacy-preserving analysis

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

La confidentialité différentielle est un cadre mathématique permettant de publier des informations statistiques sur un ensemble de données tout en offrant des garanties rigoureuses que les enregistrements individuels ne peuvent pas être identifiés ou inférés.

Introduite par Cynthia Dwork en 2006, elle formalise la confidentialité comme une borne probabiliste : la présence ou l'absence d'un individu dans l'ensemble de données modifie la distribution de sortie d'au plus un facteur multiplicatif de e^ε, où ε est le budget de confidentialité contrôlant le compromis confidentialité-utilité.

L’intuition derrière la méthode

Imaginez une enquête où chaque répondant lance d'abord une pièce : face signifie répondre honnêtement, pile signifie donner une réponse aléatoire. Les statistiques agrégées restent significatives car les réponses aléatoires s'annulent globalement, mais aucune réponse individuelle ne peut être identifiée. La confidentialité différentielle généralise cette idée — elle injecte un bruit soigneusement calibré dans les résultats des requêtes afin que la sortie semble presque la même, que les données d'une personne soient incluses ou non, rendant l'inférence d'appartenance pratiquement impossible.

Histoire

Cynthia Dwork, Frank McSherry, Kobbi Nissim et Adam Smith ont introduit la confidentialité différentielle à l'ICALP 2006 et au TCC 2006, motivés par des attaques qui avaient vaincu les définitions de confidentialité antérieures telles que le k-anonymat. La formulation de Dwork a fourni la première définition de confidentialité composable et agnostique à l'adversaire. Au cours de la décennie suivante, le cadre a été étendu avec la DP approximative (ε, δ), la confidentialité différentielle de Rényi et le DP-SGD pour l'apprentissage profond. Les grandes entreprises technologiques ont adopté la DP dans les systèmes de production pour les statistiques agrégées et l'entraînement de modèles au cours des années 2010.

Quand l’utiliser

La confidentialité différentielle est appropriée lors de la publication de statistiques ou de l'entraînement de modèles d'apprentissage automatique sur des données personnelles sensibles — telles que des dossiers de santé, des traces de localisation ou des transactions financières — lorsqu'une garantie de confidentialité formelle et vérifiable est requise. Elle suppose que l'analyste peut borner la sensibilité des requêtes et tolérer une certaine perte de précision due au bruit. Elle n'est pas adaptée lorsque des sorties quasi-exactes au niveau individuel sont nécessaires, lorsque ε doit être très petit et que l'ensemble de données est minuscule, ou lorsque la publication de données non interactive est inutile. Les alternatives incluent la k-anonymat (garantie plus faible) et le calcul multipartite sécurisé (lorsque les données doivent rester distribuées).

Limites et points d’attention

  • Ajoute du bruit aux résultats des requêtes, réduisant la précision statistique — le compromis devient sévère pour les requêtes à haute sensibilité ou les petits ensembles de données.
  • Le budget de confidentialité ε n'a pas d'échelle absolue intuitive ; le choix d'une valeur ε significative nécessite une expertise du domaine et une calibration empirique.
  • La composition naïve dégrade rapidement la confidentialité sur de nombreuses requêtes ; des comptables avancés (Rényi DP, moments accountant) sont nécessaires pour les charges de travail d'apprentissage automatique.
  • Ne protège pas contre tous les préjudices liés à la confidentialité : des attributs corrélés ou des sources de données auxiliaires peuvent toujours permettre l'inférence même sous DP.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Fournit une garantie de confidentialité rigoureuse, mathématiquement prouvable dans le pire des cas, indépendante des connaissances de l'attaquant.
  • Composable : les théorèmes de composition séquentielle et parallèle permettent la comptabilité du budget de confidentialité à travers des pipelines d'analyse complexes.
  • Immunisé contre le post-traitement : toute fonction appliquée à une sortie différentiellement confidentielle reste différentiellement confidentielle.
  • Applicable à la fois aux requêtes interactives et à l'apprentissage automatique non interactif (par exemple, DP-SGD pour les réseaux de neurones).

Applications

  • Entraîner des modèles d'apprentissage automatique différentiellement confidentiels à l'aide de DP-SGD (par exemple, des classifieurs de réseaux de neurones sur des données de santé ou financières sensibles).
  • Publier des microdonnées de recensement et des statistiques agrégées avec des garanties de confidentialité formelles pour les agences statistiques nationales.
  • Collecter des données de télémétrie et des statistiques d'utilisation à partir des appareils des utilisateurs sans exposer les modèles de comportement individuels.
  • Publier des ensembles de données synthétiques qui ressemblent statistiquement aux originaux sensibles tout en satisfaisant une borne DP formelle.
  • Systèmes d'apprentissage fédéré où les mises à jour de modèles locaux sont privatisées avant l'agrégation entre clients distribués.

Comment ça marche

Comment ça marche

1

Avant d'ajouter du bruit, l'analyste calcule la sensibilité globale de la fonction de requête f — le changement maximal dans la sortie de f qui pourrait résulter de l'ajout ou de la suppression de l'enregistrement d'un seul individu. Les requêtes à haute sensibilité (par exemple, le calcul d'une somme sur un domaine non borné) nécessitent plus de bruit ; les requêtes à faible sensibilité (par exemple, le comptage avec des contributions bornées) en nécessitent moins, contrôlant directement le compromis précision-confidentialité.

Formule
\Delta f = \max_{D, D': \|D - D'\|_1 = 1} \|f(D) - f(D')\|_1
2

Une distribution de Laplace avec un paramètre d'échelle b = Δf / ε est construite. Le budget de confidentialité ε (epsilon) régit la quantité de bruit injecté : un petit ε signifie une forte confidentialité mais un bruit important et une précision réduite, tandis qu'un grand ε signifie moins de bruit mais des garanties de confidentialité plus faibles. Le mécanisme de Laplace est optimal pour les requêtes avec une sensibilité L1 bornée ; le mécanisme gaussien est préféré lorsque la sensibilité L2 est plus naturelle.

Formule
\text{Lap}(x \mid \mu, b) = \frac{1}{2b} \exp\!\left(-\frac{|x - \mu|}{b}\right), \quad b = \frac{\Delta f}{\varepsilon}
3

La réponse différentiellement confidentielle est produite en évaluant la vraie requête f(D) sur l'ensemble de données D, puis en ajoutant un tirage indépendant de la distribution de Laplace (ou gaussienne) calibrée. Ce résultat bruité est rendu public. Parce que le bruit est tiré indépendamment pour chaque requête, la composition de plusieurs mécanismes différentiellement confidentiels consomme le budget de confidentialité de manière additive, nécessitant une comptabilité minutieuse tout au long du pipeline d'analyse.

Formule
\mathcal{M}(D) = f(D) + \text{Lap}\!\left(0, \frac{\Delta f}{\varepsilon}\right)
4

La garantie fondamentale stipule que pour deux ensembles de données voisins D et D' différant d'exactement un enregistrement, et pour tout sous-ensemble de sortie S, le rapport de probabilité de la sortie du mécanisme tombant dans S est borné par e^ε. Cette borne est valable quelle que soit la connaissance de l'adversaire, offrant une garantie de confidentialité dans le pire des cas, sémantiquement significative, composable, extensible à la confidentialité de groupe et immunisée contre les attaques de post-traitement.

Formule
\Pr[\mathcal{M}(D) \in S] \leq e^{\varepsilon} \cdot \Pr[\mathcal{M}(D') \in S] \quad \forall S \subseteq \text{Range}(\mathcal{M})

Pièges courants

  • Définir ε trop grand (par exemple, ε > 10) offre une confidentialité pratique négligeable malgré une étiquette DP formelle — toujours interpréter ε dans son contexte.
  • Ignorer la non-bornitude de la sensibilité : les requêtes sur des domaines non bornés (sommes brutes sans écrêtage) produisent une sensibilité infinie et brisent le mécanisme.
  • Traiter la DP comme une solution complète de confidentialité : elle borne le risque de divulgation individuelle mais n'empêche pas les inférences au niveau du groupe ou agrégées.
  • Ne pas tenir compte de la composition sur l'ensemble du pipeline de données ; chaque requête ou étape d'entraînement de modèle consomme du budget et doit être suivie.

Questions fréquentes

Quelle est une bonne valeur pour le budget de confidentialité ε ?

Il n'y a pas de réponse universelle. Dans la littérature académique, ε ≤ 1 est considéré comme une forte confidentialité, ε dans [1, 10] comme modérée, et ε > 10 comme faible. En pratique, le ε approprié dépend de la taille de l'ensemble de données, de la sensibilité des données et du nombre de requêtes composées. Certaines implémentations en production utilisent des valeurs de ε dans les faibles chiffres après une évaluation empirique minutieuse de la précision et du risque de divulgation résultants.

En quoi la confidentialité différentielle diffère-t-elle du k-anonymat ?

Le k-anonymat est une propriété syntaxique d'un ensemble de données publié — chaque enregistrement est indiscernable d'au moins k-1 autres sur des quasi-identifiants. La confidentialité différentielle est une garantie sémantique et probabiliste sur le mécanisme qui produit la sortie. La DP est strictement plus forte : elle est composable, ne fait aucune hypothèse sur les connaissances de l'attaquant et est prouvée résistante aux attaques par lien qui déjouent régulièrement le k-anonymat.

La confidentialité différentielle peut-elle être appliquée aux modèles d'apprentissage profond ?

Oui. L'algorithme DP-SGD, formalisé par Abadi et al. (2016) en s'appuyant sur le cadre de Dwork, écrête les gradients par échantillon pour borner la sensibilité, puis ajoute du bruit gaussien avant chaque mise à jour de gradient. Le moments accountant ou le Rényi DP accountant suit la perte de confidentialité à travers les étapes d'entraînement, permettant l'entraînement de réseaux de neurones différentiellement confidentiels avec une garantie (ε, δ)-DP prouvable sur le modèle final.

Méthodes associées

Sources

  1. Dwork, C. (2006). Differential privacy. International Colloquium on Automata, Languages and Programming (ICALP), 1–12.

    Ouvrir la référence DOI
    Copié.