Prywatność różnicowa
- Autor metody
- Cynthia Dwork
- Rok
- 2006
- Typ
- Privacy-preserving randomized mechanism
- Rodzina
- Privacy-preserving analysis
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Prywatność różnicowa to matematyczne ramy publikowania informacji statystycznych o zbiorze danych, przy jednoczesnym zapewnieniu rygorystycznych gwarancji, że poszczególne rekordy nie mogą zostać zidentyfikowane ani wywnioskowane.
Wprowadzona przez Cynthiię Dwork w 2006 roku, formalizuje prywatność jako probabilistyczne ograniczenie: obecność lub brak pojedynczej osoby w zbiorze danych zmienia rozkład wyjściowy co najwyżej o czynnik multiplikatywny e^ε, gdzie ε jest budżetem prywatności kontrolującym kompromis między prywatnością a użytecznością.
Intuicja stojąca za metodą
Wyobraźmy sobie ankietę, w której każdy respondent najpierw rzuca monetą: orzeł oznacza odpowiedź zgodną z prawdą, reszka oznacza odpowiedź losową. Zagregowane statystyki pozostają znaczące, ponieważ losowe odpowiedzi znoszą się w agregacie, a jednak żadna indywidualna odpowiedź nie może zostać przypisana. Prywatność różnicowa uogólnia tę ideę — wprowadza starannie skalibrowany szum do wyników zapytań, tak aby wynik wyglądał prawie tak samo, niezależnie od tego, czy dane jednej osoby są uwzględnione, czy nie, co czyni wnioskowanie o przynależności zasadniczo niemożliwym.
Historia
Cynthia Dwork, Frank McSherry, Kobbi Nissim i Adam Smith wprowadzili prywatność różnicową na konferencjach ICALP 2006 i TCC 2006, motywowani atakami, które pokonały wcześniejsze definicje prywatności, takie jak k-anonimowość. Formuła Dwork była pierwszą definicją prywatności, którą można komponować i która jest niezależna od atakującego. W ciągu następnej dekady ramy zostały rozszerzone o przybliżoną DP (ε, δ), prywatność różnicową Rényi i DP-SGD dla głębokiego uczenia. Główne firmy technologiczne przyjęły DP w systemach produkcyjnych do statystyk zagregowanych i trenowania modeli w latach 2010.
Kiedy stosować
Prywatność różnicowa jest odpowiednia przy publikowaniu statystyk lub trenowaniu modeli uczenia maszynowego na wrażliwych danych osobowych — takich jak dane medyczne, ślady lokalizacji lub transakcje finansowe — gdzie wymagana jest formalna, możliwa do audytu gwarancja prywatności. Zakłada, że analityk może ograniczyć wrażliwość zapytań i tolerować pewną utratę dokładności z powodu szumu. Nie nadaje się, gdy potrzebne są wyniki bliskie dokładnym na poziomie indywidualnym, gdy ε musi być bardzo małe, a zbiór danych jest niewielki, lub gdy nie jest wymagane nieinteraktywne wydawanie danych. Alternatywy obejmują k-anonimowość (słabsza gwarancja) i bezpieczne obliczenia wielostronne (gdy dane muszą pozostać rozproszone).
Ograniczenia i uwagi
- Dodaje szum do wyników zapytań, zmniejszając dokładność statystyczną — kompromis staje się poważny w przypadku zapytań o wysokiej wrażliwości lub małych zbiorów danych.
- Budżet prywatności ε nie ma intuicyjnej skali absolutnej; wybór znaczącej wartości ε wymaga wiedzy dziedzinowej i kalibracji empirycznej.
- Naiwna kompozycja szybko pogarsza prywatność przy wielu zapytaniach; zaawansowane księgowanie (Rényi DP, księgowy momentów) jest potrzebne dla obciążeń ML.
- Nie chroni przed wszystkimi szkodami dla prywatności: skorelowane atrybuty lub pomocnicze źródła danych mogą nadal pozwalać na wnioskowanie nawet w ramach DP.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Zapewnia rygorystyczną, matematycznie udowodnioną gwarancję prywatności w najgorszym przypadku, niezależną od wiedzy atakującego.
- Możliwość komponowania: twierdzenia o kompozycji sekwencyjnej i równoległej pozwalają na księgowanie budżetu prywatności w złożonych potokach analizy.
- Odporność na post-processing: dowolna funkcja zastosowana do różnicowo prywatnego wyniku pozostaje różnicowo prywatna.
- Możliwość zastosowania zarówno do interaktywnego odpowiadania na zapytania, jak i do nieinteraktywnego uczenia maszynowego (np. DP-SGD dla sieci neuronowych).
Zastosowania
- Trenowanie różnicowo prywatnych modeli uczenia maszynowego przy użyciu DP-SGD (np. klasyfikatorów sieci neuronowych na wrażliwych danych medycznych lub finansowych).
- Publikowanie danych mikro i statystyk zagregowanych z formalnymi gwarancjami prywatności dla krajowych agencji statystycznych.
- Zbieranie telemetrii i statystyk użytkowania z urządzeń użytkowników bez ujawniania indywidualnych wzorców zachowań.
- Uwalnianie syntetycznych zbiorów danych, które statystycznie przypominają wrażliwe oryginały, jednocześnie spełniając formalne ograniczenie DP.
- Systemy uczenia federacyjnego, w których lokalne aktualizacje modelu są prywatyzowane przed agregacją między rozproszonymi klientami.
Jak to działa
Jak to działa
Przed dodaniem szumu analityk oblicza globalną wrażliwość funkcji zapytania f — maksymalną zmianę wyniku f, która może wyniknąć z dodania lub usunięcia rekordu pojedynczej osoby. Zapytania o wysokiej wrażliwości (np. obliczanie sumy na nieograniczonym obszarze) wymagają większego szumu; zapytania o niskiej wrażliwości (np. zliczanie z ograniczonymi wkładami) wymagają mniejszego, bezpośrednio kontrolując kompromis między dokładnością a prywatnością.
Wzór
\Delta f = \max_{D, D': \|D - D'\|_1 = 1} \|f(D) - f(D')\|_1Konstruuje się rozkład Laplace'a o parametrze skali b = Δf / ε. Budżet prywatności ε (epsilon) określa, ile szumu jest wprowadzane: małe ε oznacza silną prywatność, ale duży szum i zmniejszoną dokładność, podczas gdy duże ε oznacza mniejszy szum, ale słabsze gwarancje prywatności. Mechanizm Laplace'a jest optymalny dla zapytań o ograniczonej wrażliwości L1; mechanizm Gaussa jest preferowany, gdy wrażliwość L2 jest bardziej naturalna.
Wzór
\text{Lap}(x \mid \mu, b) = \frac{1}{2b} \exp\!\left(-\frac{|x - \mu|}{b}\right), \quad b = \frac{\Delta f}{\varepsilon}Otrzymuje się odpowiedź różnicowo prywatną poprzez obliczenie prawdziwego zapytania f(D) na zbiorze danych D, a następnie dodanie niezależnej próbki z skalibrowanego rozkładu Laplace'a (lub Gaussa). Ten zaszumiony wynik jest publikowany. Ponieważ szum jest losowany niezależnie dla każdego zapytania, komponowanie wielu mechanizmów różnicowo prywatnych zużywa budżet prywatności addytywnie, wymagając starannego księgowania w całym potoku analizy.
Wzór
\mathcal{M}(D) = f(D) + \text{Lap}\!\left(0, \frac{\Delta f}{\varepsilon}\right)Podstawowa gwarancja stwierdza, że dla dowolnych dwóch sąsiadujących zbiorów danych D i D' różniących się dokładnie jednym rekordem, i dla dowolnego podzbioru wyników S, stosunek prawdopodobieństwa, że wyjście mechanizmu znajdzie się w S, jest ograniczony przez e^ε. To ograniczenie obowiązuje niezależnie od wiedzy o tle atakującego, zapewniając gwarancję prywatności w najgorszym przypadku, semantycznie znaczącą, którą można komponować, rozszerzać na grupy i która jest odporna na ataki post-processingowe.
Wzór
\Pr[\mathcal{M}(D) \in S] \leq e^{\varepsilon} \cdot \Pr[\mathcal{M}(D') \in S] \quad \forall S \subseteq \text{Range}(\mathcal{M})Częste pułapki
- Ustawienie ε zbyt dużego (np. ε > 10) zapewnia znikomą praktyczną prywatność pomimo formalnego oznaczenia DP — zawsze interpretuj ε w kontekście.
- Ignorowanie nieograniczonej wrażliwości: zapytania na nieograniczonych domenach (surowe sumy bez przycinania) dają nieskończoną wrażliwość i psują mechanizm.
- Traktowanie DP jako kompletnego rozwiązania problemu prywatności: ogranicza ryzyko ujawnienia indywidualnego, ale nie zapobiega wnioskom na poziomie grupy lub agregatom.
- Niewłaściwe księgowanie kompozycji w całym potoku danych; każde zapytanie lub krok trenowania modelu zużywa budżet i musi być śledzony.
Najczęściej zadawane pytania
Jaka jest dobra wartość budżetu prywatności ε?
Nie ma uniwersalnej odpowiedzi. W literaturze akademickiej ε ≤ 1 jest uważane za silną prywatność, ε w przedziale [1, 10] za umiarkowaną, a ε > 10 za słabą. W praktyce odpowiednie ε zależy od wielkości zbioru danych, wrażliwości danych i liczby skomponowanych zapytań. Niektóre wdrożenia produkcyjne używają wartości ε w niskich jednocyfrowych zakresach po starannej ocenie empirycznej wynikającej dokładności i ryzyka ujawnienia.
Czym prywatność różnicowa różni się od k-anonimowości?
K-anonimowość jest właściwością syntaktyczną udostępnianego zbioru danych — każdy rekord jest nierozróżnialny od co najmniej k−1 innych pod względem quasi-identyfikatorów. Prywatność różnicowa jest semantyczną, probabilistyczną gwarancją mechanizmu generującego wynik. DP jest ściśle silniejsza: można ją komponować, nie zakłada wiedzy o tle atakującego i udowodniono, że jest odporna na ataki łączące, które rutynowo pokonują k-anonimowość.
Czy prywatność różnicowa może być stosowana do modeli głębokiego uczenia?
Tak. Algorytm DP-SGD, sformalizowany przez Abadi et al. (2016) w oparciu o ramy Dwork, przycina gradienty dla poszczególnych próbek, aby ograniczyć wrażliwość, a następnie dodaje szum Gaussa przed każdą aktualizacją gradientu. Księgowy momentów lub księgowy DP Rényi śledzi stratę prywatności w krokach trenowania, umożliwiając trenowanie różnicowo prywatnych sieci neuronowych z udowodnioną gwarancją (ε, δ)-DP na końcowym modelu.
Pokrewne metody
Źródła
Dwork, C. (2006). Differential privacy. International Colloquium on Automata, Languages and Programming (ICALP), 1–12.
Otwórz odnośnik DOISkopiowano.