Saltar al contenido
Volver a los resultados

Privacidad diferencial

Propuesto por
Cynthia Dwork
Año
2006
Tipo
Privacy-preserving randomized mechanism
Familia
Privacy-preserving analysis

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

La privacidad diferencial es un marco matemático para la publicación de información estadística sobre un conjunto de datos, al tiempo que proporciona garantías rigurosas de que los registros individuales no pueden ser identificados o inferidos.

Introducida por Cynthia Dwork en 2006, formaliza la privacidad como un límite probabilístico: la presencia o ausencia de cualquier individuo en el conjunto de datos cambia la distribución de salida en un factor multiplicativo máximo de e^ε, donde ε es el presupuesto de privacidad que controla el equilibrio entre privacidad y utilidad.

La intuición detrás del método

Imagine una encuesta en la que cada encuestado lanza una moneda: cara significa responder con la verdad, cruz significa dar una respuesta aleatoria. Las estadísticas agregadas siguen siendo significativas porque las respuestas aleatorias se anulan en el agregado, pero ninguna respuesta individual puede ser identificada. La privacidad diferencial generaliza esta idea: inyecta ruido cuidadosamente calibrado en los resultados de las consultas para que la salida parezca casi la misma, independientemente de si los datos de una persona están incluidos o no, lo que hace que la inferencia de membresía sea esencialmente imposible.

Historia

Cynthia Dwork, Frank McSherry, Kobbi Nissim y Adam Smith introdujeron la privacidad diferencial en ICALP 2006 y TCC 2006, motivados por ataques que derrotaron definiciones de privacidad anteriores como la k-anonimidad. La formulación de Dwork proporcionó la primera definición de privacidad componible y agnóstica al adversario. Durante la década siguiente, el marco se amplió con DP aproximada (ε, δ), privacidad diferencial de Rényi y DP-SGD para el aprendizaje profundo. Las principales empresas tecnológicas adoptaron la DP en sistemas de producción para estadísticas agregadas y entrenamiento de modelos durante la década de 2010.

Cuándo usarlo

La privacidad diferencial es apropiada cuando se publican estadísticas o se entrenan modelos de aprendizaje automático sobre datos personales sensibles —como registros de salud, rastros de ubicación o transacciones financieras— donde se requiere una garantía de privacidad formal y auditable. Asume que el analista puede acotar la sensibilidad de la consulta y tolerar cierta pérdida de precisión debido al ruido. No es adecuada cuando se necesitan resultados casi exactos a nivel individual, cuando ε debe ser muy pequeño y el conjunto de datos es minúsculo, o cuando la publicación de datos no interactiva es innecesaria. Las alternativas incluyen la k-anonimidad (garantía más débil) y la computación multipartita segura (cuando los datos deben permanecer distribuidos).

Limitaciones y consideraciones

  • Añade ruido a los resultados de las consultas, reduciendo la precisión estadística; el compromiso se vuelve severo para consultas de alta sensibilidad o conjuntos de datos pequeños.
  • El presupuesto de privacidad ε carece de una escala absoluta intuitiva; la elección de un valor de ε significativo requiere experiencia en el dominio y calibración empírica.
  • La composición ingenua degrada rápidamente la privacidad en muchas consultas; se necesitan contadores avanzados (Rényi DP, moments accountant) para las cargas de trabajo de ML.
  • No protege contra todos los daños a la privacidad: los atributos correlacionados o las fuentes de datos auxiliares aún pueden permitir la inferencia incluso bajo DP.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Proporciona una garantía de privacidad rigurosa, matemáticamente demostrable en el peor de los casos, independiente del conocimiento previo del atacante.
  • Componible: los teoremas de composición secuencial y paralela permiten la contabilidad del presupuesto de privacidad en cadenas de análisis complejas.
  • Inmune al postprocesamiento: cualquier función aplicada a una salida diferencialmente privada sigue siendo diferencialmente privada.
  • Aplicable tanto a la respuesta interactiva a consultas como al aprendizaje automático no interactivo (por ejemplo, DP-SGD para redes neuronales).

Aplicaciones

  • Entrenamiento de modelos de aprendizaje automático diferencialmente privados utilizando DP-SGD (por ejemplo, clasificadores de redes neuronales en datos sensibles de salud o financieros).
  • Publicación de microdatos censales y estadísticas agregadas con garantías formales de privacidad para agencias estadísticas nacionales.
  • Recopilación de telemetría y estadísticas de uso de dispositivos de usuario sin exponer patrones de comportamiento individuales.
  • Publicación de conjuntos de datos sintéticos que se asemejan estadísticamente a los originales sensibles, al tiempo que satisfacen un límite formal de DP.
  • Sistemas de aprendizaje federado donde las actualizaciones del modelo local se privatizan antes de la agregación entre clientes distribuidos.

Cómo funciona

Cómo funciona

1

Antes de añadir ruido, el analista calcula la sensibilidad global de la función de consulta f, es decir, el cambio máximo en la salida de f que podría resultar de añadir o eliminar el registro de un solo individuo. Las consultas de alta sensibilidad (por ejemplo, calcular una suma sobre un dominio no acotado) requieren más ruido; las consultas de baja sensibilidad (por ejemplo, el recuento con contribuciones acotadas) requieren menos, controlando directamente el equilibrio entre precisión y privacidad.

Fórmula
\Delta f = \max_{D, D': \|D - D'\|_1 = 1} \|f(D) - f(D')\|_1
2

Se construye una distribución de Laplace con parámetro de escala b = Δf / ε. El presupuesto de privacidad ε (épsilon) rige la cantidad de ruido inyectado: un ε pequeño significa una privacidad fuerte pero un ruido grande y una precisión reducida, mientras que un ε grande significa menos ruido pero garantías de privacidad más débiles. El mecanismo de Laplace es óptimo para consultas con sensibilidad L1 acotada; el mecanismo gaussiano se prefiere cuando la sensibilidad L2 es más natural.

Fórmula
\text{Lap}(x \mid \mu, b) = \frac{1}{2b} \exp\!\left(-\frac{|x - \mu|}{b}\right), \quad b = \frac{\Delta f}{\varepsilon}
3

La respuesta diferencialmente privada se produce evaluando la consulta verdadera f(D) en el conjunto de datos D y luego añadiendo una extracción independiente de la distribución de Laplace (o Gaussiana) calibrada. Este resultado ruidoso se publica. Debido a que el ruido se extrae de forma independiente para cada consulta, la composición de múltiples mecanismos diferencialmente privados consume el presupuesto de privacidad de forma aditiva, lo que requiere una contabilidad cuidadosa en toda la cadena de análisis.

Fórmula
\mathcal{M}(D) = f(D) + \text{Lap}\!\left(0, \frac{\Delta f}{\varepsilon}\right)
4

La garantía central establece que para dos conjuntos de datos vecinos D y D' que difieren en exactamente un registro, y para cualquier subconjunto de salida S, la razón de probabilidad de que la salida del mecanismo caiga en S está acotada por e^ε. Este límite se mantiene independientemente del conocimiento previo del adversario, proporcionando una garantía de privacidad en el peor de los casos, semánticamente significativa, que es componible, extensible a la privacidad de grupo e inmune a los ataques de postprocesamiento.

Fórmula
\Pr[\mathcal{M}(D) \in S] \leq e^{\varepsilon} \cdot \Pr[\mathcal{M}(D') \in S] \quad \forall S \subseteq \text{Range}(\mathcal{M})

Errores comunes

  • Establecer ε demasiado grande (por ejemplo, ε > 10) proporciona una privacidad práctica insignificante a pesar de una etiqueta DP formal; siempre interprete ε en contexto.
  • Ignorar la falta de acotación de la sensibilidad: las consultas en dominios no acotados (sumas brutas sin recorte) producen una sensibilidad infinita y rompen el mecanismo.
  • Tratar la DP como una solución completa de privacidad: acota el riesgo de divulgación individual, pero no evita las inferencias a nivel de grupo o agregadas.
  • No tener en cuenta la composición en toda la cadena de datos; cada consulta o paso de entrenamiento del modelo consume presupuesto y debe ser rastreado.

Preguntas frecuentes

¿Cuál es un buen valor para el presupuesto de privacidad ε?

No hay una respuesta universal. En la literatura académica, ε ≤ 1 se considera una privacidad fuerte, ε entre [1, 10] moderada, y ε > 10 débil. En la práctica, el ε apropiado depende del tamaño del conjunto de datos, la sensibilidad de los datos y el número de consultas compuestas. Algunas implementaciones en producción utilizan valores de ε en los dígitos bajos después de una cuidadosa evaluación empírica de la precisión resultante y el riesgo de divulgación.

¿En qué se diferencia la privacidad diferencial de la k-anonimidad?

La k-anonimidad es una propiedad sintáctica de un conjunto de datos publicado: cada registro es indistinguible de al menos otros k-1 en cuasi-identificadores. La privacidad diferencial es una garantía semántica y probabilística sobre el mecanismo que produce la salida. La DP es estrictamente más fuerte: es componible, no hace suposiciones sobre el conocimiento previo del atacante y se ha demostrado que es resistente a los ataques de vinculación que rutinariamente derrotan la k-anonimidad.

¿Se puede aplicar la privacidad diferencial a los modelos de aprendizaje profundo?

Sí. El algoritmo DP-SGD, formalizado por Abadi et al. (2016) basándose en el marco de Dwork, recorta los gradientes por muestra para acotar la sensibilidad y luego añade ruido gaussiano antes de cada actualización de gradiente. El moments accountant o el Rényi DP accountant rastrean la pérdida de privacidad a lo largo de los pasos de entrenamiento, lo que permite entrenar redes neuronales diferencialmente privadas con una garantía DP (ε, δ) demostrable en el modelo final.

Métodos relacionados

Fuentes

  1. Dwork, C. (2006). Differential privacy. International Colloquium on Automata, Languages and Programming (ICALP), 1–12.

    Abrir referencia DOI
    Copiado.