Privasi Diferensial
- Diperkenalkan oleh
- Cynthia Dwork
- Tahun
- 2006
- Jenis
- Privacy-preserving randomized mechanism
- Keluarga
- Privacy-preserving analysis
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Privasi diferensial adalah kerangka kerja matematis untuk merilis informasi statistik tentang suatu kumpulan data sambil memberikan jaminan ketat bahwa catatan individu tidak dapat diidentifikasi atau disimpulkan.
Diperkenalkan oleh Cynthia Dwork pada tahun 2006, kerangka ini memformalkan privasi sebagai batas probabilistik: keberadaan atau ketidakberadaan individu tunggal dalam kumpulan data mengubah distribusi keluaran paling banyak dengan faktor perkalian e^ε, di mana ε adalah anggaran privasi yang mengontrol keseimbangan privasi–utilitas.
Intuisi di balik metode
Bayangkan sebuah survei di mana setiap responden pertama-tama melempar koin: gambar berarti menjawab dengan jujur, angka berarti memberikan jawaban acak. Statistik agregat tetap bermakna karena jawaban acak saling meniadakan dalam agregat, namun tidak ada jawaban individu yang dapat ditentukan. Privasi diferensial menggeneralisasi ide ini — ia menyuntikkan derau yang dikalibrasi dengan hati-hati ke dalam hasil kueri sehingga keluaran terlihat hampir sama apakah data seseorang disertakan atau tidak, membuat inferensi keanggotaan pada dasarnya tidak mungkin.
Sejarah
Cynthia Dwork, Frank McSherry, Kobbi Nissim, dan Adam Smith memperkenalkan privasi diferensial di ICALP 2006 dan TCC 2006, dimotivasi oleh serangan yang mengalahkan definisi privasi sebelumnya seperti k-anonimitas. Formulasi Dwork memberikan definisi privasi pertama yang dapat dikomposisikan dan independen dari penyerang. Selama dekade berikutnya kerangka kerja diperluas dengan DP perkiraan (ε, δ), privasi diferensial Rényi, dan DP-SGD untuk pembelajaran mendalam. Perusahaan teknologi besar mengadopsi DP dalam sistem produksi untuk statistik agregat dan pelatihan model selama tahun 2010-an.
Kapan digunakan
Privasi diferensial sesuai ketika menerbitkan statistik atau melatih model pembelajaran mesin pada data pribadi yang sensitif — seperti catatan kesehatan, jejak lokasi, atau transaksi keuangan — di mana jaminan privasi formal yang dapat diaudit diperlukan. Ini mengasumsikan bahwa analis dapat membatasi sensitivitas kueri dan mentolerir beberapa kehilangan akurasi dari derau. Ini tidak cocok ketika keluaran tingkat individu yang hampir tepat diperlukan, ketika ε harus sangat kecil dan kumpulan data sangat kecil, atau ketika rilis data non-interaktif tidak diperlukan. Alternatifnya termasuk k-anonimitas (jaminan lebih lemah) dan komputasi multi-pihak yang aman (ketika data harus tetap terdistribusi).
Batasan dan pertimbangan
- Menambahkan derau ke hasil kueri, mengurangi akurasi statistik — keseimbangan menjadi parah untuk kueri sensitivitas tinggi atau kumpulan data kecil.
- Anggaran privasi ε tidak memiliki skala absolut yang intuitif; memilih nilai ε yang bermakna memerlukan keahlian domain dan kalibrasi empiris.
- Komposisi naif menurunkan privasi dengan cepat di banyak kueri; akuntan lanjutan (DP Rényi, akuntan momen) diperlukan untuk beban kerja ML.
- Tidak melindungi terhadap semua bahaya privasi: atribut yang berkorelasi atau sumber data tambahan masih dapat memungkinkan inferensi bahkan di bawah DP.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Memberikan jaminan privasi kasus terburuk yang ketat, terbukti secara matematis, independen dari pengetahuan latar belakang penyerang.
- Dapat dikomposisikan: teorema komposisi sekuensial dan paralel memungkinkan akuntansi anggaran privasi di seluruh alur analisis yang kompleks.
- Kebal terhadap pasca-pemrosesan: fungsi apa pun yang diterapkan pada keluaran privasi diferensial tetap bersifat privasi diferensial.
- Dapat diterapkan pada kueri interaktif dan pembelajaran mesin non-interaktif (misalnya, DP-SGD untuk jaringan saraf).
Penerapan
- Melatih model pembelajaran mesin privasi diferensial menggunakan DP-SGD (misalnya, pengklasifikasi jaringan saraf pada data kesehatan atau keuangan yang sensitif).
- Menerbitkan data mikro sensus dan statistik agregat dengan jaminan privasi formal untuk badan statistik nasional.
- Mengumpulkan telemetri dan statistik penggunaan dari perangkat pengguna tanpa mengekspos pola perilaku individu.
- Merilis kumpulan data sintetis yang secara statistik menyerupai data asli yang sensitif sambil memenuhi batas DP formal.
- Sistem pembelajaran federasi di mana pembaruan model lokal diprivatisasi sebelum agregasi di seluruh klien terdistribusi.
Cara kerjanya
Cara kerjanya
Sebelum menambahkan derau, analis menghitung sensitivitas global dari fungsi kueri f — perubahan maksimum dalam keluaran f yang dapat diakibatkan oleh penambahan atau penghapusan catatan individu tunggal. Kueri sensitivitas tinggi (misalnya, menghitung jumlah pada domain tak terbatas) memerlukan lebih banyak derau; kueri sensitivitas rendah (misalnya, menghitung dengan kontribusi terbatas) memerlukan lebih sedikit, secara langsung mengontrol keseimbangan akurasi–privasi.
Rumus
\Delta f = \max_{D, D': \|D - D'\|_1 = 1} \|f(D) - f(D')\|_1Distribusi Laplace dengan parameter skala b = Δf / ε dibangun. Anggaran privasi ε (epsilon) mengatur berapa banyak derau yang disuntikkan: ε kecil berarti privasi kuat tetapi derau besar dan akurasi berkurang, sementara ε besar berarti derau lebih sedikit tetapi jaminan privasi lebih lemah. Mekanisme Laplace optimal untuk kueri dengan sensitivitas L1 terbatas; mekanisme Gaussian lebih disukai ketika sensitivitas L2 lebih alami.
Rumus
\text{Lap}(x \mid \mu, b) = \frac{1}{2b} \exp\!\left(-\frac{|x - \mu|}{b}\right), \quad b = \frac{\Delta f}{\varepsilon}Keluaran yang bersifat privasi diferensial dihasilkan dengan mengevaluasi kueri sebenarnya f(D) pada kumpulan data D dan kemudian menambahkan sampel independen dari distribusi Laplace (atau Gaussian) yang dikalibrasi. Hasil yang berderau ini dirilis secara publik. Karena derau diambil secara independen untuk setiap kueri, mengkomposisikan beberapa mekanisme privasi diferensial mengonsumsi anggaran privasi secara aditif, memerlukan akuntansi yang cermat di seluruh alur analisis.
Rumus
\mathcal{M}(D) = f(D) + \text{Lap}\!\left(0, \frac{\Delta f}{\varepsilon}\right)Jaminan inti menyatakan bahwa untuk setiap dua kumpulan data tetangga D dan D' yang berbeda persis dalam satu catatan, dan untuk setiap subset keluaran S, rasio probabilitas keluaran mekanisme jatuh dalam S dibatasi oleh e^ε. Batas ini berlaku terlepas dari pengetahuan latar belakang penyerang, memberikan jaminan privasi kasus terburuk yang bermakna secara semantik yang dapat dikomposisikan, dapat diperluas ke privasi kelompok, dan kebal terhadap serangan pasca-pemrosesan.
Rumus
\Pr[\mathcal{M}(D) \in S] \leq e^{\varepsilon} \cdot \Pr[\mathcal{M}(D') \in S] \quad \forall S \subseteq \text{Range}(\mathcal{M})Kesalahan umum
- Menetapkan ε terlalu besar (misalnya, ε > 10) memberikan privasi praktis yang dapat diabaikan meskipun memiliki label DP formal — selalu interpretasikan ε dalam konteks.
- Mengabaikan ketidakbatasan sensitivitas: kueri pada domain tak terbatas (jumlah mentah tanpa pemotongan) menghasilkan sensitivitas tak terbatas dan merusak mekanisme.
- Memperlakukan DP sebagai solusi privasi yang lengkap: ini membatasi risiko pengungkapan individu tetapi tidak mencegah inferensi tingkat kelompok atau agregat.
- Gagal memperhitungkan komposisi di seluruh alur data; setiap langkah kueri atau pelatihan model mengonsumsi anggaran dan harus dilacak.
Pertanyaan yang sering diajukan
Berapa nilai yang baik untuk anggaran privasi ε?
Tidak ada jawaban universal. Dalam literatur akademik, ε ≤ 1 dianggap privasi kuat, ε dalam [1, 10] moderat, dan ε > 10 lemah. Dalam praktiknya, ε yang sesuai bergantung pada ukuran kumpulan data, sensitivitas data, dan jumlah kueri yang dikomposisikan. Beberapa penerapan produksi menggunakan nilai ε dalam satu digit rendah setelah evaluasi empiris yang cermat terhadap akurasi dan risiko pengungkapan yang dihasilkan.
Bagaimana privasi diferensial berbeda dari k-anonimitas?
K-anonimitas adalah properti sintaktik dari kumpulan data yang dirilis — setiap catatan tidak dapat dibedakan dari setidaknya k−1 catatan lain pada pengidentifikasi kuasi. Privasi diferensial adalah jaminan semantik, probabilistik pada mekanisme yang menghasilkan keluaran. DP secara ketat lebih kuat: ia dapat dikomposisikan, tidak membuat asumsi tentang pengetahuan latar belakang penyerang, dan terbukti tahan terhadap serangan penautan yang secara rutin mengalahkan k-anonimitas.
Bisakah privasi diferensial diterapkan pada model pembelajaran mendalam?
Ya. Algoritma DP-SGD, yang diformalkan oleh Abadi dkk. (2016) berdasarkan kerangka kerja Dwork, memotong gradien per sampel untuk membatasi sensitivitas dan kemudian menambahkan derau Gaussian sebelum setiap pembaruan gradien. Akuntan momen atau akuntan DP Rényi melacak kehilangan privasi di seluruh langkah pelatihan, memungkinkan pelatihan jaringan saraf privasi diferensial dengan jaminan (ε, δ)-DP yang dapat dibuktikan pada model akhir.
Metode terkait
Sumber
Dwork, C. (2006). Differential privacy. International Colloquium on Automata, Languages and Programming (ICALP), 1–12.
Buka referensi DOIDisalin.