Skip to content
Voltar aos resultados

Privacidade Diferencial

Proposto por
Cynthia Dwork
Ano
2006
Tipo
Privacy-preserving randomized mechanism
Família
Privacy-preserving analysis

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Privacidade diferencial é um arcabouço matemático para divulgar informações estatísticas sobre um conjunto de dados, fornecendo garantias rigorosas de que registros individuais não podem ser identificados ou inferidos.

Introduzida por Cynthia Dwork em 2006, formaliza a privacidade como um limite probabilístico: a presença ou ausência de qualquer indivíduo no conjunto de dados altera a distribuição de saída em no máximo um fator multiplicativo de e^ε, onde ε é o orçamento de privacidade que controla o trade-off privacidade-utilidade.

A intuição por trás do método

Imagine uma pesquisa onde cada respondente primeiro joga uma moeda: cara significa responder honestamente, coroa significa dar uma resposta aleatória. As estatísticas agregadas permanecem significativas porque as respostas aleatórias se cancelam no agregado, mas nenhuma resposta individual pode ser determinada. A privacidade diferencial generaliza essa ideia — injeta ruído cuidadosamente calibrado nos resultados de consultas para que a saída pareça quase a mesma, independentemente de os dados de uma pessoa estarem incluídos ou não, tornando a inferência de pertencimento essencialmente impossível.

História

Cynthia Dwork, Frank McSherry, Kobbi Nissim e Adam Smith introduziram a privacidade diferencial no ICALP 2006 e TCC 2006, motivados por ataques que derrotaram definições de privacidade anteriores, como k-anonimato. A formulação de Dwork forneceu a primeira definição de privacidade composível e agnóstica ao adversário. Na década seguinte, o arcabouço foi estendido com DP aproximada (ε, δ), privacidade diferencial de Rényi e DP-SGD para aprendizado profundo. Grandes empresas de tecnologia adotaram DP em sistemas de produção para estatísticas agregadas e treinamento de modelos durante a década de 2010.

Quando usar

A privacidade diferencial é apropriada ao publicar estatísticas ou treinar modelos de aprendizado de máquina em dados pessoais sensíveis — como registros de saúde, rastros de localização ou transações financeiras — onde uma garantia de privacidade formal e auditável é necessária. Assume que o analista pode limitar a sensibilidade da consulta e tolerar alguma perda de precisão devido ao ruído. Não é adequada quando saídas em nível individual quase exatas são necessárias, quando ε deve ser muito pequeno e o conjunto de dados é minúsculo, ou quando a liberação de dados não interativa é desnecessária. Alternativas incluem k-anonimato (garantia mais fraca) e computação segura multipartidária (quando os dados devem permanecer distribuídos).

Limitações e considerações

  • Adiciona ruído aos resultados das consultas, reduzindo a precisão estatística — o trade-off torna-se severo para consultas de alta sensibilidade ou conjuntos de dados pequenos.
  • O orçamento de privacidade ε carece de uma escala absoluta intuitiva; a escolha de um valor ε significativo requer expertise de domínio e calibração empírica.
  • A composição ingênua degrada a privacidade rapidamente em muitas consultas; contadores avançados (DP de Rényi, contador de momentos) são necessários para cargas de trabalho de ML.
  • Não protege contra todos os danos à privacidade: atributos correlacionados ou fontes de dados auxiliares ainda podem permitir inferências mesmo sob DP.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Fornece uma garantia de privacidade rigorosa, matematicamente comprovável, de pior caso, independente do conhecimento de fundo do adversário.
  • Composável: teoremas de composição sequencial e paralela permitem a contabilidade do orçamento de privacidade em pipelines de análise complexos.
  • Imune a pós-processamento: qualquer função aplicada a uma saída diferencialmente privada permanece diferencialmente privada.
  • Aplicável tanto a respostas interativas a consultas quanto a aprendizado de máquina não interativo (por exemplo, DP-SGD para redes neurais).

Aplicações

  • Treinamento de modelos de aprendizado de máquina diferencialmente privados usando DP-SGD (por exemplo, classificadores de redes neurais em dados sensíveis de saúde ou financeiros).
  • Publicação de microdados de censo e estatísticas agregadas com garantias de privacidade formais para agências estatísticas nacionais.
  • Coleta de telemetria e estatísticas de uso de dispositivos de usuários sem expor padrões comportamentais individuais.
  • Divulgação de conjuntos de dados sintéticos que se assemelham estatisticamente aos originais sensíveis, ao mesmo tempo em que satisfazem um limite DP formal.
  • Sistemas de aprendizado federado onde atualizações de modelos locais são privatizadas antes da agregação entre clientes distribuídos.

Como funciona

Como funciona

1

Antes de adicionar ruído, o analista calcula a sensibilidade global da função de consulta f — a mudança máxima na saída de f que pode resultar da adição ou remoção do registro de um único indivíduo. Consultas de alta sensibilidade (por exemplo, calcular uma soma sobre um domínio ilimitado) exigem mais ruído; consultas de baixa sensibilidade (por exemplo, contagem com contribuições limitadas) exigem menos, controlando diretamente o trade-off precisão-privacidade.

Fórmula
\Delta f = \max_{D, D': \|D - D'\|_1 = 1} \|f(D) - f(D')\|_1
2

Uma distribuição de Laplace com parâmetro de escala b = Δf / ε é construída. O orçamento de privacidade ε (épsilon) governa a quantidade de ruído injetada: ε pequeno significa privacidade forte, mas ruído grande e precisão reduzida, enquanto ε grande significa menos ruído, mas garantias de privacidade mais fracas. O mecanismo de Laplace é ótimo para consultas com sensibilidade L1 limitada; o mecanismo Gaussiano é preferido quando a sensibilidade L2 é mais natural.

Fórmula
\text{Lap}(x \mid \mu, b) = \frac{1}{2b} \exp\!\left(-\frac{|x - \mu|}{b}\right), \quad b = \frac{\Delta f}{\varepsilon}
3

A resposta diferencialmente privada é produzida avaliando a consulta verdadeira f(D) no conjunto de dados D e, em seguida, adicionando um sorteio independente da distribuição de Laplace (ou Gaussiana) calibrada. Este resultado ruidoso é divulgado publicamente. Como o ruído é sorteado independentemente para cada consulta, a composição de múltiplos mecanismos diferencialmente privados consome o orçamento de privacidade aditivamente, exigindo contabilidade cuidadosa em todo o pipeline de análise.

Fórmula
\mathcal{M}(D) = f(D) + \text{Lap}\!\left(0, \frac{\Delta f}{\varepsilon}\right)
4

A garantia central afirma que, para quaisquer dois conjuntos de dados vizinhos D e D' que diferem em exatamente um registro, e para qualquer subconjunto de saída S, a razão de probabilidade da saída do mecanismo cair em S é limitada por e^ε. Este limite vale independentemente do conhecimento de fundo do adversário, fornecendo uma garantia de privacidade de pior caso, semanticamente significativa, que é composível, extensível à privacidade de grupo e imune a ataques de pós-processamento.

Fórmula
\Pr[\mathcal{M}(D) \in S] \leq e^{\varepsilon} \cdot \Pr[\mathcal{M}(D') \in S] \quad \forall S \subseteq \text{Range}(\mathcal{M})

Erros comuns

  • Definir ε muito grande (por exemplo, ε > 10) fornece privacidade prática negligenciável, apesar de um rótulo DP formal — sempre interprete ε em contexto.
  • Ignorar a ilimitação da sensibilidade: consultas em domínios ilimitados (somas brutas sem recorte) produzem sensibilidade infinita e quebram o mecanismo.
  • Tratar DP como uma solução completa de privacidade: limita o risco de divulgação individual, mas não impede inferências em nível de grupo ou agregadas.
  • Falhar em contabilizar a composição em todo o pipeline de dados; cada consulta ou etapa de treinamento de modelo consome orçamento e deve ser rastreada.

Perguntas frequentes

Qual é um bom valor para o orçamento de privacidade ε?

Não há resposta universal. Na literatura acadêmica, ε ≤ 1 é considerado privacidade forte, ε em [1, 10] moderada, e ε > 10 fraca. Na prática, o ε apropriado depende do tamanho do conjunto de dados, da sensibilidade dos dados e do número de consultas compostas. Algumas implantações em produção usam valores de ε em dígitos baixos após avaliação empírica cuidadosa da precisão resultante e do risco de divulgação.

Como a privacidade diferencial difere do k-anonimato?

K-anonimato é uma propriedade sintática de um conjunto de dados divulgado — cada registro é indistinguível de pelo menos k−1 outros em quasi-identificadores. Privacidade diferencial é uma garantia semântica e probabilística sobre o mecanismo que produz a saída. DP é estritamente mais forte: é composível, não faz suposições sobre o conhecimento de fundo do adversário e é comprovadamente resistente a ataques de ligação que rotineiramente derrotam o k-anonimato.

A privacidade diferencial pode ser aplicada a modelos de aprendizado profundo?

Sim. O algoritmo DP-SGD, formalizado por Abadi et al. (2016) com base no arcabouço de Dwork, limita os gradientes por amostra para controlar a sensibilidade e, em seguida, adiciona ruído Gaussiano antes de cada atualização de gradiente. O contador de momentos ou o contador de DP de Rényi rastreia a perda de privacidade em todas as etapas de treinamento, permitindo o treinamento de redes neurais diferencialmente privadas com uma garantia (ε, δ)-DP comprovável no modelo final.

Métodos relacionados

Fontes

  1. Dwork, C. (2006). Differential privacy. International Colloquium on Automata, Languages and Programming (ICALP), 1–12.

    Abrir referência DOI
    Copiado.